龙空技术网

大数据开发前要做什么准备?8台Hadoop服务器进行集群规划前配置

石哥话科技 547

前言:

今天小伙伴们对“hadoop与php”大约比较关怀,我们都需要知道一些“hadoop与php”的相关知识。那么小编同时在网络上汇集了一些对于“hadoop与php””的相关资讯,希望大家能喜欢,看官们快快来学习一下吧!


前期准备

安装好CentOS Linux 8 并升级完内核和软件包之后再进行Hadoop的安装。

参考文章:

1、知道Linux是怎么安装的吗?安装个CentOS Linux 8开始大数据开发

2、Linux内核怎么升级?升级有什么好处?CentOS8升级内核并开启BBR


手里有一台3年前的服务器Dell R620,上面安装了两路CPU型号是Xeon E5-2603 V2 1.8GHz,内存没有插满只有64GB,8个硬盘位插满共8块SAS硬盘。为了后续的测试方便,8块硬盘没有组RAID,在每块硬盘上放一个VMWare的CentOS Linux 8虚拟机。后续的所有的大数据相关的测试都是在这台服务器上进行。服务器配置不高,但是足够咱们在上面折腾各种服务了。

通过VMware将虚拟机分布在这8块硬盘上,模拟在一个机架上的8台服务器:

编号:/BJ0/LG0/hadoop221-228

其中:221-222:NameNode,223-228:DataNode

集群规划

集群规划如下:(服务器编号为hadoop221-hadoop228)

注:

1、NameNodes和zkfc一一对应;

2、DataNode和NodeManager都是works文件配置;

3、Zookeeper至少3个,必须奇数台;

4、journalnode至少3个,必须奇数;

5、NameNodes一个active另一个Standby;

6、ResourceManager一个active另一个Standby;

7、zkfc :DFSZKFailoverControlle作为一个ZK集群的客户端,用来监控NN的状态信息。

特别提示

我们以下所有操作都可以先在一台服务器上操作,完毕以后再将这个虚拟服务器复制成出来7份,完成最终的部署。

安装时间同步软件chrony

根据上面的集群规划,在221-228这8台服务器上安装chrony。从CentOS7开始已经默认使用chrony作为网络时间同步软件了,ntpd作为过时的产品,我们也就不在研究使用了。

若要安装使用Chrony,参考下面这篇文章:如何保证大数据开发的服务器时间同步?chrony服务安装与配置

配置时我们把服务端server都配置成192.168.1.222,这样后面复制出来的其它服务器就能直接在222服务器上获取时间了。


防火墙和SELINUX设置

因为Hadoop需要开启的端口很多,而且牵涉到很多的权限,所以我们在测试时将防火墙和SELINUX都关掉。

在生产环境中,需要针对不同的开放端口做针对性的设置。

关闭防火墙

运行以下命令,关闭防火墙

systemctl stop firewalld #临时关闭防火墙

systemctl disable firewalld #禁止开机启动防火墙

systemctl status firewalld #查看防火墙状态。

关闭SELINUX

运行以下命令:

vi /etc/selinux/config #SELINUX配置文件

相关参数修改如下:

#SELINUX=enforcing

SELINUX=disabled

重启服务器,然后查看SELINUX状态:

reboot #重启

getenforce #查询SELinux的运行模式,permissive(宽容模式);enforcing(强制模式);

/usr/sbin/sestatus -v #查看SELINUX的状态

显示如下内容,则说明SELINUX已经关闭了

hostname相关设置

运行下面的命令,修改本机的hostname:

hostnamectl set-hostname hadoop221 #修改hostname

运行下面的命令查看设置好的hostname:

cat /etc/hostname

如果显示如下的内容,则说明修改成功

222-228服务器上的hostname修改,等服务器安装完毕以后统一操作。


hosts相关设置

由于后续的管理需要一次次的录入IP地址,不利于管理,我们在hosts里面把服务器的hostname跟IP地址对应起来,输入下面的命令开始操作:

vi /etc/hosts

内容设置成如下所示:

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.221 hadoop221

192.168.1.222 hadoop222

192.168.1.223 hadoop223

192.168.1.224 hadoop224

192.168.1.225 hadoop225

192.168.1.226 hadoop226

192.168.1.227 hadoop227

192.168.1.228 hadoop228

192.168.1.229 hadoop229

192.168.1.230 hadoop230

添加Hadoop用户

添加hadoop用户,我们默认登录的是Tristone用户,需要切换到root用户执行以下命令:

#useradd hadoop

录入一遍"jiqun996"回车,再录入一遍"jiqun996"回车后将hadoop用户密码设置为"jiqun996"

#passwd hadoop

大数据开发钱的准备工作就做完了,后面就可以开始安装Zookeeper、Hadoop、HBase、Python和PHP等软件了。

标签: #hadoop与php