前言：
今天朋友们对“centos垃圾箱在哪”大约比较关注，姐妹们都需要了解一些“centos垃圾箱在哪”的相关文章。那么小编同时在网上网罗了一些关于“centos垃圾箱在哪””的相关内容，希望你们能喜欢，我们一起来了解一下吧！1、环境准备
1.1、centOS7：内核版本3.10.0-1160.49.1.el7.x86_64
1.2、关闭防火墙：systemctl disable firewalld
1.3、三台机器地址：192.168.137.129、192.168.137.130、192.168.137.131
1.4、三台机器的hostname：cat /etc/hostname
localhost.localdomain1
localhost.localdomain2
localhost.localdomain2
第一台虚拟机
第二台虚拟机
第三台虚拟机
1.5、配置hosts：vim /etc/hosts，添加如下内容
192.168.137.129 hp1 localhost.localdomain1
192.168.137.130 hp2 localhost.localdomain2
192.168.137.131 hp3 localhost.localdomain3
1.6、新建目录：
mkdir -p /export/server/
mkdir -p /export/data/
mkdir -p /export/software/
1.7、配置jdk环境：
通过yum安装的jdk
vim /etc/profile添加如下内容：
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
jdk环境配置
若配置java环境报此错误：Similar command is: 'lz'，执行以下命令：
export PATH=/bin:/usr/bin:$PATH
2、hadoop配置
2.1、hadoop下载地址：
本篇下载的hadoop3.2.0版本
hadoop下载
2.2、本地hadoop-3.2.0.tar.gz上传到1.6新建的server目录中，并解压:
scp -r hadoop-3.2.0.tar.gz root@192.168.137.129:/export/server
tar -xvzf hadoop-3.2.0.tar.gz
2.3、配置hadoop
配置hadoop需要进入如下目录：/export/server/hadoop-3.2.0/etc/hadoop
2.3.1、配置hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.312.b07-1.el7_9.x86_64/jre
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
2.3.2、配置core-site.xml
<!-- 默认使用文件系统 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hp1:8020</value>`
</property>
<!-- 本地保存数据的路径 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/export/data/hadoop-3.2.0</value>
</property>
<!-- 设置HDFS web UI用户身份-->
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<!-- 整合hive用户代理设置-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<!-- 文件系统垃圾桶保存时间-->
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
2.3.3、配置hdfs-site.xml
<!-- SNN进程运行机器位置信息 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hp2:9868</value>
</property>
2.3.4、配置mapred-site.xml
<!-- MR程序默认运行模式：yarn集群模式 local本地模式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- MR程序历史服务器地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hp1:10020</value>
</property>
<!-- MR程序历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hp1:19888</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>yarn.app.mapreduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
2.3.5、配置yarn-site.xml
<!-- YAREN集群主角色运行机器位置 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hp1</value>
</property>
<property>
<name>yarn.resourcemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 是否对容器实施物理内存限制 -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!-- 是否对容器实施虚拟内存限制 -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<!-- 开启日志聚集 -->
<property>
<name>yarn.log-aggregation-enabled</name>
<value>true</value>
</property>
<!-- yarn历史服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>;/value>
</property>
<!-- 历史日志保存7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2.3.6、配置workers
localhost.localdomain1
localhost.localdomain2
localhost.localdomain3
2.4、配置hadoop环境变量：vim /etc/prifile
export HADOOP_HOME=/export/server/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
hadoop环境变量
2.5、免密登录设置
在192.168.137.129虚拟机上执行如下命令：
ssh-keygen -t rsa
ll -a
cd .ssh
ssh-copy-id -i id_rsa.pub root@192.168.137.129
ssh-copy-id -i id_rsa.pub root@192.168.137.130
ssh-copy-id -i id_rsa.pub root@192.168.137.131
2.6、进行格式化操作（NameNode format）
hdfs namenode -format
2.7、启动
start-dfs.sh
start-yarn.sh
2.8、停止
stop-all.sh
3、说明
三台虚拟机上都要进行【2、hadoop配置】配置
4、测试集群环境
4.1、查看hdfs：
hdfs
4.2、查看yarn
yarn
5、报错处理
5.1、ping 192.168.137.129正常，浏览器访问报错，就在hdfs-site.xml中配置如下：
<property>
<name>dfs.namenode.http-address</name>
<value>192.168.137.129:9870</value>
</property>
5.2、执行了多次hdfs namenode -forma命令，浏览器访问出现Live Nodes为0的情况，如下图：
图为修改之后的情况，这里举例说明
解决方法：将/export/data目录删除，再新建data目录。进入export目录（cd /export），删除data（rm -rf data），新建data（mkdir data）。所有虚拟机都要这么做。修改之前上图中的指标全部为0，修改之后就会与上图一样。
标签： #centos垃圾箱在哪
