龙空技术网

Hadoop集群部署之大数据平台组件配置——基于CM和CDH

天津旅游本地君 191

前言:

当前看官们对“apache目录权限777”都比较看重,大家都想要分析一些“apache目录权限777”的相关内容。那么小编在网上网罗了一些有关“apache目录权限777””的相关内容,希望各位老铁们能喜欢,兄弟们一起来了解一下吧!

CDH(Cloudera’s Distribution Including Apache Hadoop)是大数据平台Hadoop的Cloudera发行版。

Cloudera Manager(简称CM)是Cloudera公司开发的一款CDH大数据集群部署运维工具,具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。

CM提供HDFS,YARN,MapReduce,HBase,Hive等组件,可满足大数据的存储和数据分析、数据仓库、数据挖掘的需要。本文介绍集群部署时CM组件的部署安装。

1 CM组件安装

集群规划

1.1 配置CM运行环境

选择CM 企业版试用版本

在群集安装时,选择方法-》更多选项,删除远程地址。

消除主机正确性检查的警告:

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

1.2 增加report数据库

CDH运行时生成的报告需要使用的数据库。

create database report;

create user 'reportmanager'@'%' identified by 'reportmanager';

grant all on report.* TO 'reportmanager'@'%';

grant all on report.* TO 'reportmanager'@'localhost' identified by 'reportmanager';

1.3 安装HDFS

修改目录,将/etc修改为/home/cdh

注意:HDFS的节点路径不能有777权限,应使用755。

安装完成后进入主界面

1.4 增加HDFS的节点

需要先将主机加入集群。

群集-》HDFS-》实例-》添加角色实例。

自定义-》选择主机,按照向导逐步完成。

1.5 ZooKeeper

规划:3个节点的zk

集群-》操作-》添加服务,选择ZooKeeper。

主机选择01,02,03,部署3个节点的zk

按照向导,默认安装。

1.6 YARN

集群规划

修改目录,将/etc修改为/home/cdh,其他默认

1.7 HBase

集群规划

默认安装

1.8 Hive

集群规划

默认安装

1.9 Impala

集群规划

修改目录,将/etc修改为/home/cdh,其他默认

如果服务未启动,执行重启

1.10 Solr

默认安装Solr,需要HDFS,ZooKeeper支持

1.11 Flume

添加Flume服务,在指定主机(03)安装agent

安装完成后在03主机可以运行flume命令

1.12 Sqoop

添加Sqoop2服务,在指定主机(02)安装agent

安装完成后,在主机运行sqoop命令

sqoop import --connect jdbc:mysql://172.18.0.5:3306/test --username root --password root --table student -m 1

查看结果

1.13 Oozie

添加Oozie服务,在指定主机(01)安装

1.14 HUE

安装loadBalance依赖服务

yum install httpd -y

yum install mod_ssl –y

添加hue服务,在指定主机(01)安装Server,在01,03安装Load Balancer。

1.15 Spark

添加hue服务,在(01)安装Server,在01,02,03安装Gateway。

主机端可以进行spark交互

关于spark gateway不启动和不适用的说明

spark gateway标识的服务器具有spark-shell和spark-submit环境,没有服务,所以显示为灰色不适用。在节点中打开spark-shell正常使用就OK。

1.16 CM、HUE、Oozie时区统一

CM设置时区:CM服务器的时区设置

HUE设置时区:修改为 Asia/Shanghai

标签: #apache目录权限777