一 Hadoop基础

1.1 介绍

Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要解决海量数据存储和海量数据的计算问题。

1.2 集群概述

Hadoop集群包括两个集群：

HDFS集群YARN集群。

两个集群逻辑上分离、通常物理上在一起，两个集群都是标准的主从架构集群，两个集群互相之间没有依赖、互不影响。

HDFS集群：

主角色NameNode从角色DataNode主角色辅助角色SecondaryNameNode。

YARN集群：

主角色ResourceManager从角色NodeManager

MapReduce是计算框架、代码层面的组件，没有集群之说。

1.3 下载地址

1.4 服务器规划

三台服务器

192.168.0.54192.168.0.58192.168.0.59

操作系统：CentOS7.2

配置：4核CPU、8G内存、100G磁盘空间

二 Hadoop集群安装

2.1 主机名修改

3台机器分别执行

hostnamectl set-hostname hadoop01

hostnamectl set-hostname hadoop02

hostnamectl set-hostname hadoop03

2.2 hosts映射

3台机器分别执行

cat >>/etc/hosts << EOF

192.168.0.63 node1 hadoop01

192.168.0.64 node2 hadoop02

192.168.0.65 node3 hadoop03

EOF

2.3 关闭防火墙

3台机器分别执行

systemctl stop firewalld

systemctl disable firewalld

2.4 配置ssh免密登录

node1->node1/node2/node3

ssh-keygen

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

2.5 集群时间同步

3台机器分别执行

yum install ntpdate -y

ntpdate ntp4.aliyun.com

定时同步

10 00 * * * ntpdate ntp4.aliyun.com >/dev/null 2>&1

2.6 创建统一工作目录

3台机器分别执行

mkdir -p /web/{server,data,software}

2.7 安装JDK1.8

jdk下载地址：

将安装包上传到/web/software目录下

解压缩包

cd /web/software

tar xf jdk-8u333-linux-x64.tar.gz -C /web/server/

设置环境变量

vim /etc/profile

export JAVA_HOME=/web/server/jdk1.8.0_333

export PATH=${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:${PATH}

export CLASSPATH=${CLASSPATH}:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib

export JRE_HOME=${JAVA_HOME}/jre

使环境变量生效

source /etc/profile

查看是否安装成功

java -version

2.8 上传解压hadoop安装包

3台机器分别执行

cd /web/software

tar xf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /web/server/

2.9 修改配置文件

hadoop01执行

cd /web/server/hadoop-3.3.0/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/web/server/jdk1.8.0_333

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

vim core-site.xml

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://node1:8020</value>

</property>

<!-- 设置Hadoop本地保存数据路径 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/web/data/hadoop-3.3.0</value>

</property>

<!-- 设置HDFS web UI用户身份 -->

<property>

<name>hadoop.http.staticuser.user</name>

<value>root</value>

</property>

<!-- 整合hive 用户代理设置 -->

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

<!-- 文件系统垃圾桶保存时间 -->

<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>

vim hdfs-site.xml

<!-- 设置SNN进程运行机器位置信息 -->

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>node2:9868</value>

</property>

vim mapred-site.xml

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<!-- MR程序历史服务地址 -->

<property>

<name>mapreduce.jobhistory.address</name>

<value>node1:10020</value>

</property>

<!-- MR程序历史服务器web端地址 -->

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>node1:19888</value>

</property>

<property>

<name>yarn.app.mapreduce.am.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

<property>

<name>mapreduce.map.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

<property>

<name>mapreduce.reduce.env</name>

<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>

</property>

vim yarn-site.xml

<!-- 设置YARN集群主角色运行机器位置 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>node1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<!-- 是否将对容器实施物理内存限制 -->

<property>

<name>yarn.nodemanager.pmem-check-enabled</name>

<value>false</value>

</property>

<!-- 是否将对容器实施虚拟内存限制。 -->

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

<!-- 开启日志聚集 -->

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<!-- 设置yarn历史服务器地址 -->

<property>

<name>yarn.log.server.url</name>

<value>;/value>

</property>

<!-- 历史日志保存的时间 7天 -->

<property>

<name>yarn.log-aggregation.retain-seconds</name>

<value>604800</value>

</property>

vim workers

192.168.0.63 hadoop01

192.168.0.64 hadoop02

192.168.0.65 hadoop03

另外两台服务器同样的配置

scp -r hadoop-3.3.0/ node2:/web/server/

scp -r hadoop-3.3.0/ node3:/web/server/

2.10 配置Hadoop环境变量

3台机器分别执行

vim /etc/profile

export HADOOP_HOME=/web/server/hadoop-3.3.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.11 Hadoop初始化操作

hadoop01服务器执行

首次启动之前需要format操作；

format只能进行一次，后续不再需要；

如果多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别，通过删除所有机器hadoop.tmp.dir目录重新format解决。

hdfs namenode -format

2.12 Hadoop集群启动

HDFS集群

start-dfs.shstop-dfs.sh

YARN集群

start-yarn.shstop-yarn.sh

Hadoop集群

start-all.shstop-all.sh

2.13 进程状态、日志查看

jps

日志路径

/web/server/hadoop-3.3.0/logs

2.14 页面查看

HDFS集群

NameNode所在机器

YARN集群

ResourceManager所在机器

至此，Hadoop集群安装完成，感谢观看。