前言:
目前朋友们对“centos安装hadoop视频教程”大约比较讲究,咱们都需要分析一些“centos安装hadoop视频教程”的相关知识。那么小编在网摘上搜集了一些对于“centos安装hadoop视频教程””的相关知识,希望看官们能喜欢,朋友们快快来学习一下吧!本地模式:伪分布模式,本地开发。
部署环境:
OS:CentOS7
Java、SSH
配置阿里云 yum 源
下载repo文件:https//mirrors.aliyun.com/repo/Centos-7.repo
备份并替换系统的repo文件
cp Centos-7.repo /etc/yum.repos.d/ cd /etc/yum.repos.d/ mv CentOS-Base.repo CentOS-Base.repo.bak mv Centos-7.repo CentOS-Base.repo
执行yum源更新命令
yum clean all yum makecache yum update -y安装常用软件
yum install -y openssh-server vim gcc gcc-c++ glibc-headers bzip2-devel lzo-devel curl wget openssh-clients zlib-devel autoconf automake cmake libtool openssl-devel fuse-devel snappy-devel telnet unzip zip net-tools.x86_64 firewalld systemd关闭防火墙
查看防火墙状态:firewall-cmd --state
关闭防火墙:systemctl stop firewalld.service
禁止防火墙开机启动: systemctl disable firewalld.service
查看服务是否开机启动: systemctl is-enabled firewalld.service
关闭SELinux
查看关闭状态
/usr/sbin/sestatus -v
关闭方法
vim /etc/selinux/config
把文件里的SELINUX=disabled
重启服务器 reboot
启动之后用/usr/sbin/sestatus -v 查看selinux的修改状态
安装JDK
解压安装完成后,修改/etc/profile
#使修改生效source /etc/profile#查看系统变量值echo $PATH#检查JDK 配置情况java -version
jdk1.8 已成功安装
配置SSH密钥,免密登录
#创建.ssh目录mkdir ~/.ssh #生成ssh公私钥 ssh-keygen -t rsa -f ~/.ssh/id_rsa -P '' #输出公钥文件内容并且重新输入到~/.ssh/authorized_keys文件中 cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys #给~/.ssh文件加上700权限chmod 700 ~/.ssh #给~/.ssh/authorized_keys加上600权限 chmod 600 ~/.ssh/authorized_keys配置hosts 文件下载并安装Hadoop
1.下载地址:
我本机安装的是hadoop2.10.1版本
2.解压tar.gz tar -zxvf hadoop-2.10.1.tar.gz
我本地的安装路径是:/etc/hadoop-2.10.1/
3.配置hadoop
修改/etc/hadoop-2.10.1/etc/hadoop/hadoop-env.sh 文件的java环境,将java安装路径加进去:
配置hadoop环境变量
vim /etc/profile
使之生效: source /etc/profile
配置/etc/hadoop-2.10.1/etc/hadoop/core-site.xml
配置 /etc/hadoop-2.10.1/etc/hadoop/hdfs-site.xml文件
分配配置dfs.name.dir、 dfs.data.dir、 dfs.replication
配置 yarn:
把mapred-site.xml.template 重命名为mapred-site.xml:
mv mapred-site.xml.template mapred-site.xml
配置yarn.site.xml: vim /etc/hadoop-2.10.1/etc/hadoop/yarn.site.xml
端口号默认8088,我修改为 8099
hdfs的启动与停止
第一次启动hdfs需要格式化,之后启动就不需要
cd /etc/hadoop-2.10.1
./bin/hdfs namenode -format
启动命令:./sbin/start-dfs.sh
停止命令:./sbin/stop-dfs.sh
访问:
yarn的启动与停止
启动:./sbin/start-yarn.sh
停止:./sbin/stop-yarn.sh
访问8099端口:我本地虚拟机的ip地址是192.168.78.128
用jps命令查看启动了什么进程