大数据基础学习3-安装Hadoop

重学IT的老猫 06-03 271

前言：

目前朋友们对“centos安装hadoop视频教程”大约比较讲究，咱们都需要分析一些“centos安装hadoop视频教程”的相关知识。那么小编在网摘上搜集了一些对于“centos安装hadoop视频教程””的相关知识，希望看官们能喜欢，朋友们快快来学习一下吧！

本地模式：伪分布模式，本地开发。

部署环境：

OS：CentOS7

Java、SSH

配置阿里云 yum 源

下载repo文件：https//mirrors.aliyun.com/repo/Centos-7.repo

备份并替换系统的repo文件

cp Centos-7.repo /etc/yum.repos.d/ cd /etc/yum.repos.d/ mv CentOS-Base.repo CentOS-Base.repo.bak mv Centos-7.repo CentOS-Base.repo

执行yum源更新命令

yum clean all yum makecache yum update -y

安装常用软件

yum install -y openssh-server vim gcc gcc-c++ glibc-headers bzip2-devel lzo-devel curl wget openssh-clients zlib-devel autoconf automake cmake libtool openssl-devel fuse-devel snappy-devel telnet unzip zip net-tools.x86_64 firewalld systemd

关闭防火墙

查看防火墙状态：firewall-cmd --state

关闭防火墙：systemctl stop firewalld.service

禁止防火墙开机启动： systemctl disable firewalld.service

查看服务是否开机启动： systemctl is-enabled firewalld.service

关闭SELinux

查看关闭状态

/usr/sbin/sestatus -v

关闭方法

vim /etc/selinux/config

把文件里的SELINUX=disabled

重启服务器 reboot

启动之后用/usr/sbin/sestatus -v 查看selinux的修改状态

安装JDK

解压安装完成后，修改/etc/profile

#使修改生效source /etc/profile#查看系统变量值echo $PATH#检查JDK 配置情况java -version

jdk1.8 已成功安装

配置SSH密钥，免密登录

#创建.ssh目录mkdir ~/.ssh   #生成ssh公私钥                         ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ''    #输出公钥文件内容并且重新输入到~/.ssh/authorized_keys文件中        cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys #给~/.ssh文件加上700权限chmod 700 ~/.ssh        #给~/.ssh/authorized_keys加上600权限       chmod 600 ~/.ssh/authorized_keys

配置hosts 文件下载并安装Hadoop

1.下载地址：

我本机安装的是hadoop2.10.1版本

2.解压tar.gz tar -zxvf hadoop-2.10.1.tar.gz

我本地的安装路径是：/etc/hadoop-2.10.1/

3.配置hadoop

修改/etc/hadoop-2.10.1/etc/hadoop/hadoop-env.sh 文件的java环境，将java安装路径加进去：

配置hadoop环境变量

vim /etc/profile

使之生效： source /etc/profile

配置/etc/hadoop-2.10.1/etc/hadoop/core-site.xml

core-site.xml