HDP简介

今天咱们主要来学习一下关于"Ambari与HDP的生产集群环境搭建过程"。本次我们是基于虚拟机进行搭建，真实环境与我们实际搭建没有什么太大的差异，一般生产环境是一个正式的物理机，可能硬件设备环境配置高一点。关于"Ambari与HDP"生产搭建用的人非常多，像原生的搭建集群的方式一般在大公司中不多见，Ambari与HDP并不是所有公司都会使用这个平台去搭建，Ambari是属于Apache的,HDP是Hortonworks旗下的，大家可以上网搜索资料进入官网查看一下，在网站上可以看到此公司的相关产品，我们这边用得最多的就是基于Data Platforms（HDP），例如：Data Flow(HDF) 是关于物流的，我们一般都使用Data Platforms（HDP）较多，可以进入网站下载一些安装包以及安装过程详解，这是Hortonworks里面所集成的一些大数据生产圈的一些组件，例如：Batch、Script,sql,Nosql,Stream等等，还有关于权限的一些组件例如：Ranger、knox、Atlos、HDFS Encryption等等，还有协调服务、管理、监控等相关内容，都是基于大数据平台搭建的相关内容。我们主要是使用Ambari监控，也是用于大数据平台搭建的一个向导，还有一些关于Hortonworks安装包的版本说明，在HDP的包里面下载之后就是一个压缩包，压缩包相对比较大差不多有个10G这么大，大家在安装之前需要留足空间，这个包里面整合了很多东西，例如：Pig、Hive、Druid、Solr、Spark，Zeppclin、HBase等等相关内容,还有一些权限管理系统，还有些权限任务。 每一个HDP的版本里面集成组件的相应版本我们可以从官网了解到并下载。安装的时候我们只需要安装Spark的安装包即可，也有一些Hive版本需要找到相对应的版本去下载，网站上也有一些相关的文档供大家学习，但是需要具备一定的英语阅读能力。里面还有一个Sandbox一般是可以独立运行，一般可以安装在虚拟机里面用来测试，相对要求电脑硬件配置较低，这个Sandbox的组件官网都有，对于虚拟机的配置最低8个G的内存，建立离线安装，因为这是国外的一个网站不建议在线安装方式进行安装，如果是离线安装需要优先下载安装文件，安装文件大小大概4个G，安装过程可以根据官网提供的文档进行安装。

环境准备：ntp--java--selinux-hosts-hostname-ip环境搭建过程详解

搭建环境之前需要规划一下集群环境的节点：也就是你需要那些物理机组建成集群机，这里面例出了六台，我们采用离线安装方式.

计算节点如下图：

首先配置安装一台虚拟机如下：

点击下一步继续将虚拟机保存到文件到磁盘中。

内存配置至少需要3G,我目前配置就采用4G如下图所示：

新建一个文件夹，将虚拟机存储在这个目录下：

安装centos6,选择镜像文件如下图：

等待安装过程，等Linux系统安装完成设置相关选项，就可以正常在LINUX环境下进行搭建我们的集群环境。

重启系统，并进行登录。

修改一下IP地址如下图所示：

修改IP地址参照集群节点准备的机器IP地址进行修改。

保存文件如下图所示：

启动

关闭防火墙

配置集群机IP：

环境配置安装完成。

启动服务，设置一下终端配置颜色如下图：

查看服务进程状态

接下来安装配置JDK

设置开机启动

设置永久关闭，配置修改一下文件，再启动查看是否设置成功。

总结：今天我们主要学习了关于HDP的简介以及学习基于Ambari+HDP生产集群环境搭建过程，首先我们进入官网简单了解一下HDP是什么，它有什么作用，我们一般会在那些场景中应用，然后学习了如何搭建Ambari+HDP生产集群环境，所以目前集群环境是基于虚拟机的LINUX操作系统中完成集群机搭建，所以需要新建虚拟机，配置硬件环境与网络过程，安装完成之后需要配置虚拟机的时区等相关内容，接着学习了关于"centos6"LINUX操作系统的环境安装，基于LINUX操作系统搭建Ambari+HDP生产环境，请大家依次按照文档中给出的操作步步，一步步操作就能完成环境的搭建过程，搭建Ambari+HDP生产环境需要配置集群环境的节点的ip，配置完成ip可以通过命令行来检查是否设置成功。关闭Linux环境服务的防火墙，设置开机自启动，验证服务状态是能正常运行，启动服务。配置JDK环境，修改配置文件java_home等相关路径，最后检查java版本号是否能正常显示，正常显示表明环境配置完成。设置开机启动，重启检验基于Ambari+HDP生产环境搭建完成。