龙空技术网

聊聊大数据spark、strom、hive等使用场景

IT男的秘密 146

前言:

此时兄弟们对“简述apache使用场景”可能比较重视,你们都需要了解一些“简述apache使用场景”的相关资讯。那么小编也在网络上收集了一些关于“简述apache使用场景””的相关资讯,希望我们能喜欢,同学们一起来了解一下吧!

Spark:拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。数据过于繁杂,并且需要让计算通过迭代,并在内存中,极大地提高效率的场景

Strom:一个分布式实时计算系统,Storm是一个任务并行连续计算引擎。 Storm本身并不典型在Hadoop集群上运行,它使用Apache ZooKeeper的和自己的主/从工作进程,协调拓扑,主机和工作者状态,保证信息的语义。无论如何, Storm必定还是可以从HDFS文件消费或者从文件写入到HDFS。

Hive:基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

应用场景:十分适合数据仓库的统计分析。

Hbase:

应用场景: 数据量太大,以至于传统RDBMS无法胜任、

联机业务功能开发、

离线数据分析(数据仓库)

标签: #简述apache使用场景