前言:
当前看官们对“apache目录权限777”都比较看重,大家都想要分析一些“apache目录权限777”的相关内容。那么小编在网上网罗了一些有关“apache目录权限777””的相关内容,希望各位老铁们能喜欢,兄弟们一起来了解一下吧!CDH(Cloudera’s Distribution Including Apache Hadoop)是大数据平台Hadoop的Cloudera发行版。
Cloudera Manager(简称CM)是Cloudera公司开发的一款CDH大数据集群部署运维工具,具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。
CM提供HDFS,YARN,MapReduce,HBase,Hive等组件,可满足大数据的存储和数据分析、数据仓库、数据挖掘的需要。本文介绍集群部署时CM组件的部署安装。
1 CM组件安装
集群规划
1.1 配置CM运行环境
选择CM 企业版试用版本
在群集安装时,选择方法-》更多选项,删除远程地址。
消除主机正确性检查的警告:
echo 10 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
1.2 增加report数据库
CDH运行时生成的报告需要使用的数据库。
create database report;
create user 'reportmanager'@'%' identified by 'reportmanager';
grant all on report.* TO 'reportmanager'@'%';
grant all on report.* TO 'reportmanager'@'localhost' identified by 'reportmanager';
1.3 安装HDFS
修改目录,将/etc修改为/home/cdh
注意:HDFS的节点路径不能有777权限,应使用755。
安装完成后进入主界面
1.4 增加HDFS的节点
需要先将主机加入集群。
群集-》HDFS-》实例-》添加角色实例。
自定义-》选择主机,按照向导逐步完成。
1.5 ZooKeeper
规划:3个节点的zk
集群-》操作-》添加服务,选择ZooKeeper。
主机选择01,02,03,部署3个节点的zk
按照向导,默认安装。
1.6 YARN
集群规划
修改目录,将/etc修改为/home/cdh,其他默认
1.7 HBase
集群规划
默认安装
1.8 Hive
集群规划
默认安装
1.9 Impala
集群规划
修改目录,将/etc修改为/home/cdh,其他默认
如果服务未启动,执行重启
1.10 Solr
默认安装Solr,需要HDFS,ZooKeeper支持
1.11 Flume
添加Flume服务,在指定主机(03)安装agent
安装完成后在03主机可以运行flume命令
1.12 Sqoop
添加Sqoop2服务,在指定主机(02)安装agent
安装完成后,在主机运行sqoop命令
sqoop import --connect jdbc:mysql://172.18.0.5:3306/test --username root --password root --table student -m 1
查看结果
1.13 Oozie
添加Oozie服务,在指定主机(01)安装
1.14 HUE
安装loadBalance依赖服务
yum install httpd -y
yum install mod_ssl –y
添加hue服务,在指定主机(01)安装Server,在01,03安装Load Balancer。
1.15 Spark
添加hue服务,在(01)安装Server,在01,02,03安装Gateway。
主机端可以进行spark交互
关于spark gateway不启动和不适用的说明
spark gateway标识的服务器具有spark-shell和spark-submit环境,没有服务,所以显示为灰色不适用。在节点中打开spark-shell正常使用就OK。
1.16 CM、HUE、Oozie时区统一
CM设置时区:CM服务器的时区设置
HUE设置时区:修改为 Asia/Shanghai
标签: #apache目录权限777