龙空技术网

大数据开发工作者们,Hadoop的这三大发行版本你都了解吗?

圆仔的AI信息库 1284

前言:

目前小伙伴们对“apache版本的差异”可能比较重视,大家都需要分析一些“apache版本的差异”的相关知识。那么小编同时在网上搜集了一些关于“apache版本的差异””的相关文章,希望我们能喜欢,各位老铁们一起来学习一下吧!

一、Apache Hadoop 版本

由 Apache 基金会所开发的分布式系统基础架构。官网链接:

Apache Hadoop 发行版分为两大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比于第一代的有了非常大的变化,可以说是一套全新的架构。均包含 HDFS Federation 和 YARN 两个系统。

推荐使用版本:Hadoop 2.x 比如 hadoop-2.5.0

下载链接:

Apache Hadoop 版本的特点:完全开源免费

Apache Hadoop 版本的缺点:复杂的集群设置、复杂的版本与生态系统、商业支持

二、Cloudera Hadoop 版本

Cloudera 公司的 Hadoop 发行版,包含:CDH3、CDH4、CDH5 三个版本,也是最早将 Hadopp进行商用的公司。

官网链接:

Cloudera 对 hadoop 做了相应的改变。Cloudera 公司的发行版,我们将该版本称为 CDH(Cloudera Distribution Hadoop)。

CDH3 对应的是 Apache hadoop 1.x,CDH4/CDH5 对应的是Apache hadoop 2.x,推荐使用版本:

CDH5,下载地址:

Cloudera 主要产品为 CDH、Cloudera Manager、Cloudera Support

Cloudera Hadoop 的特点:免费开源,更新速度快,比 Apache hadoop 在兼容性,安全性,稳定性上有增强。安装、升级文档详细。提供 Cloudera Manager,可以在几个小时内部署好一个 hadoop集群,并对集群的节点及服务进行实时监控。

三、Hortonworks Hadoop 版本

Hortonworks 公司的 Hadoop 发行版。官网链接:

Hortonworks,一家Hadoop 初创公司, 2011 年从雅虎剥离。一直以来,这家公司都带有一点神秘色彩,很少有高管变动的新闻稿,融资情况也不清楚,甚至还有一些半真半假的谣言——该公司拒绝了来自微软和英特尔收购。

推荐使用版本:最新版本 HDP 2.x 版本,比如 HDP 2.1 版本

下载地址:

Hortonworks Hadoop 的特点:免费开源,

HDP 包括稳定版本的 Apache Hadoop 的所有关键组件,集成和测试封装。

安装方便 HDP 包括一个现代化的,直观的用户界面的安装和配置工具。

管理和监控服务 HDP 包括直观的仪表板,为监测集群和建立警示。

数据集成服务HDP 包括开源数据整合工具 Talend。

元数据服务 HDP 包括的 Apache HCatalog,从而简化了 Hadoop 的应用程序之间和Hadoop 和其他数据系统之间的数据共享。

如何选择Hadoop版本

当前Hadoop版本比较混乱,让很多用户不知所措。实际上,当前Hadoop只有两个版本:Hadoop 1.0和Hadoop 2.0,其中,Hadoop 1.0由一个分布式文件系统HDFS和一个离线计算框架MapReduce组成,而Hadoop 2.0则包含一个支持NameNode横向扩展的HDFS,一个资源管理系统YARN和一个运行在YARN上的离线计算框架MapReduce。相比于Hadoop 1.0,Hadoop 2.0功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。

当我们决定是否采用某个软件用于开源环境时,通常需要考虑以下几个因素:

(1)是否为开源软件,即是否免费。

(2) 是否有稳定版,这个一般软件官方网站会给出说明。

(3) 是否经实践验证,这个可通过检查是否有一些大点的公司已经在生产环境中使用知道。

(4) 是否有强大的社区支持,当出现一个问题时,能够通过社区、论坛等网络资源快速获取解决方法。

我是小媛(#^.^#),如果你觉得我的内容还不错,记得关注收藏,更多大数据行业资讯,技术干货等着你的学习。

标签: #apache版本的差异