一、了解hadoop：

这里不具体阐述概念，有兴趣的同学可以自己上网去查。我们知道hadoop，有单机安装，伪分布安装和分布安装。同时hadoop的环境是Linux，所以我们还需要安装Linux系统。因为我们的习惯是使用windows，所以对于Linux上来就安装软件之类的，困难度很大。并且我们要搭建集群，需要多台硬件的，不可能为了搭建集群，去买三台电脑。从成本和使用我们需要懂虚拟化方面的知识。这里的虚拟化其实就是我们需要懂得虚拟机的使用。因为hadoop安装在Linux中，才能真正发挥作用。所以我们也不会使用windows。基于以上内容。所以我们需要懂得：1.虚拟化 2.Linux 3.Java基础

二、详细介绍

（一）.虚拟化

首先了解虚拟机网络分为三种：

（1）briage：桥接模式全都需要手工配置，而且这里还需要明白自己是本机拨号上网，还是路由拨号上网。

（2）host-only：创建一个与网内其他机器相隔离的虚拟系统

（3）nat：虚拟系统无法和本局域网中的其他真实主机进行通讯

这些都不适合我们的hadoop集群。hadoop要求主机与虚拟机与网络，这三者都是通的，在安装的过程中，才不会遇到麻烦，所以这就是虚拟化方面的困难。

下面总结了在虚拟化方面需要做的：

（1）.明白为什么虚拟化，虚拟化的价值

（2）.明白虚拟机的三种网络模式

（3）.掌握搭建集群的知识

上面的知识具备了我们开始动手：

第一步：下载软件：VMwareWorkstation 10.0.0简体中文正式版官方下载

第二步：下载我们就需要安装和使用。

在这里我们安装完毕虚拟机，安装完毕Linux，我们需要返回第一步，进行网络设置。但是在网络设置中，我们会遇到各种各样的困难，因为缺乏Linux知识。

同时这里补充一些虚拟化的基础知识：

（1）、虚拟网卡概述

（2）、VMware虚拟机网络设置方法

（3）、虚拟机（Linux操作系统）三种网络模式切换遇到的问题

（二）.Linux

（1）、Linux基础知识

对于Linux的学习也是一个过程，因为可能你连最简单的开机和关机命令都不会，更不要谈配置网络。这里面给大家提供刚开始学习所查阅的资料和经验总结。

首先我们需要使用一些命令，进行网络配置，但是在网络配置中，这里面又必须懂得虚拟机的一些知识，所以前面的虚拟机知识需要掌握扎实一些。

对于网络配置：

集群搭建：主机宽带拨号上网，虚拟机使用桥接模式，该如何ping通外网

集群搭建必备：虚拟机之一实现Host-only方式上网

集群搭建必备：nat模式设置静态ip，达到上网与主机相互通信

其实还是上面三个，但是我们会遇到各种不会的命令，即使能查到命令，我们也不能使用。为什么会这样，因为各种有的命令，是需要使用安装包的。我们在配置网络过程中，同样会遇到各种各样的奇怪的配置。在我们的Linux的系统，不能找到文件。这里只举ubuntu。网络配置文件/etc/network/interfaces。我们配置完毕之后，有各种网络重启方式：

这是一种网络重启方式，但是有时候并不管用。

那么这时候我们遇到困难了，刚接触命令不起作用，该怎么办？

下面都是经过实践的内容，也算是经验，大家可以参考:

1、云技术基础：学习hadoop使用零基础linux(Ubuntu)笔记

2、搭建集群必知：Linux常用命令及修改文件总结（不断更新）

3、Linux网络接口ifconfig命令及认识网络接口lo

4、linux入门详细介绍

5、虚拟机安装linux网络配置资料大全

6、解决遇到Linux网络配置，从熟悉网络配置文件入手

7、linux入门大全：包括零基础入门，Linux详细介绍

8、Linux重启方式init 0init1 init 3 init 5 init 6 这几个启动级别都代表什么意思？

9、Ubuntu常用命令总结及修改DNS的多种方法总结

10、Linux关机各种关机命令总结

11、Linux基础必懂：eth0,eth1,eth2,lo是什么意思？

12、linux中pwd命令详解

13、linux之vi编辑器

14、linux yum命令详解

15、Linux下chkconfig命令详解

（2）、Linux安装hadoop

要部署集群，首先需要安装java，然后安装hadoop。首先我们还是从零基础开始。

我们需要下载和本地电脑相匹配的jdk，是32位的下载32位，是64位的下载64位。这里我们从最简单的入手。在这过程中，可能遇到问题的是环境变量的配置，造成命令不能识别。而这里你需要学习新的Linux知识。不过如果前面你已经配置完网络，有了这个基础，在学习新的知识，压力明显变小了。

下面给大家分享一下，在Linux中如何安装Java和hadoop。

Hadoop安装过程：Hadoop单机环境搭建权威指南（ubuntu）

安装完毕，我们该怎么用，该怎么测试安装成功。

集群安装完毕，该如何测试和使用集群-hadoop单机

通过上面帖子，我们很容易安装完成，如果是刚熟悉Linux，需要补充下面知识，才能顺利完成。

linux中Javajdk环境变量的含义

linux(ubuntu)安装Java jdk环境变量设置总结

Linux中source命令学习

linux文件目录特殊符号的含义，总结以备以后查询

（三）JAVA语言

（1）了解Java

Java包含下面三种

J2EE java企业版，主要用于web开发

J2SE java 标准版，主要用于WEB开发，但是缺少企业版的一些特性，一般情况下java下的应用都是指J2SE的开发。

J2ME java 微小版，主要用于手机等的开发

因此如果我们想处理、并展示数据，可以使用J2EE，更详细参考

hadoop开发--Java零基础之J2EE、J2SE、J2ME的区别

（2）JAVA使用

1.环境变量配置

对于惯用集成环境的开发者来讲，这有点不适应，比如.net，安装开发环境vs，直接开发就好了，为啥还需要配置环境变量。

环境变量可以让我们找到jdk的命令，这个或许.net的一点好处，就是都封装起来了。别的不用关心了。对于环境变量，我们需要配置java_home,path路径，更详细参考：

hadoop开发--Java零基础之开发工具环境变量配置

2.开发工具选择

开发工具有很多种，不同的人习惯不同，开发工具也不一样，这里列出个人认为比较常用：

1.eclipse

2.MyEclipse

3.maven

更多工具参考hadoop开发—Java零基础,开发选择什么开发工具比较合适

而其中maven可以和eclipse一起使用，也可以单独使用，后面开发中它还是比较常用的，比如我们下载hadoop源码，编译hadoop，都是需要maven来完成的。maven的学习可以参考

源码编译maven系列视频教程汇总

3.Java编译

Java可以一处编译处处运行，原因是因为jvm。编译后的效果，可以查看：

Java零基础，学习hadoop：为什么要编译Java源代码，编译后会有什么效果

4.如何打开Java项目

Java项目的开发，还是比较特别的，是通过导入的方式，折合其它比如.net项目，直接点击图标就能打开，Java项目，例如通过eclipse的import导入，详细参考：零基础教你如何导入Java项目到eclipse中

本人有hadoop部分学习视频，如下图：

，有需要的同学可以私信我，我给大家发下载链接