Hadoop集群安装和搭建

Hadoop集群安装和搭建
前言
   Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建，配置和测试。
一、虚拟机的安装
 VMware (Virtual Machine ware）是一个“虚拟PC”软件公司，提供服务器、桌面虚拟化的解决方案。
可以自己安装
二、Linux系统安装
1.环境准备
Centos7镜像文件(mini)
我使用的：CentOS-7-x86_64-DVD-2009.iso
清华大学开源软件镜像站
2.虚拟机安装
2.1 新建虚拟机，选择典型

2.2 选择安装程序光盘映像文件（iso）

2.3 虚拟机名称和位置
需要空的文件夹

2.4 指定磁盘容量

2.5 虚拟机配置如下

三、Centos系统安装
1.开启虚拟机
2.安装 CentOS7
直接回车

3.选择语言（默认为English）
拉到最下面，选择中文->简体中文->继续。

4.日期和时间亚洲/上海（这里默认为最小）

5.安装位置
点进去，点击完成就可以了


6.系统网络和主机名

7.开始安装

8.设置ROOT密码和用户

设置较弱时要点击两次确认

设置用户时，可以不用设置用户全名，

9.安装完成后重启即可

10.使用root权限登录


四、静态网络配置
1.查看网络是否连通

ping www.baidu.com
1

按 Ctrl+C 可以退出

2.安装net-tools

 yum upgrade
 yum install net-tools

1
2
3

时间较长，遇到要输入的地方，输入 y 就行。有多处输入。除此之外，如果遇到没反应，又没有让输入的，不要操作。

3.查看Mac地址（enter后面）

ifconfig
1

记下inet 和 ether 的值，后面有用

4.查看ip地址的起始和结束地址

编辑 -> 虚拟网络编辑器 ->选中vMnet8 ->DHCP设置 -> 可以看到 ip 地址的起始和结束


5.修改网络配置文件
修改文和照片相同的，相同则不改。

vi /etc/sysconfig/network-scripts/ifcfg-ens33

1
2

1.输入到一定数量按 Tab 键会自动补全
2. 进入文件后 按 i 键进入编辑状态。
3. 按 Esc 键退出编辑状态。
4. 输入 :wq 保存并退出
5. 输入 :q! 不保存退出

mac地址为2步骤的 ether 值
ip地址参照4步骤自行选择（必须在起始和结束的范围内）
子网掩码默认设置为255.255.255.0
网关的值为将ip地址中最后一段的值改为2
DNS使用谷歌提供的免费dns1：8.8.8.8

WADDR="00:0c:29:c3:86:d4"//写自己的
IPADDR="192.168.30.101"//改为自己想要的
GATEWAY="192.168.30.2"
NETMASK="255.255.255.0"
DNS1="8.8.8.8" 
1
2
3
4
5

6.重启网络服务，查看是否配置成功

systemctl restart network
ping www.baidu.com

1
2
3

7.重启虚拟机后，查看是否连通网络

reboot
ifconfig
ping www.baidu.com

1
2
3
4

8. 关闭虚拟机
关闭命令

poweroff
1

五、虚拟机克隆配置
1.克隆虚拟机（右键相应虚拟机->管理->克隆）


2.创建完整克隆

3.克隆虚拟机名称和位置（等待克隆完成）

4.开启yy2，修改主机名

hostnamectl set-hostname yy2
reboot                   //修改主机名后需重启虚拟机

1
2
3

5.查看mac地址

ifconfig
1

记下ether 的值

6.网络配置文件修改（标红需要修改，IP自己设置,mac用步骤5查到地址，网关为ip地址最后改为2）

vi /etc/sysconfig/network-scripts/ifcfg-ens33

1
2

7.重新启动网络配置（查看网络是否可用）

systemctl restart network
ping www.baidu.com

1
2
3

红线处会和刚刚改的相同

8.按照以上步骤，再克隆另外一台虚拟机yy3

六、配置hosts文件和ssh免密登录

启动所有虚拟机

1.修改hosts配置文件（所有虚拟机都需要配置此文件）

vi /etc/hosts

1
2

2.生成密钥文件（四次回车）（每个虚拟机都要操作）

ssh-keygen -t rsa

1
2

千万别输入，回车到底就行。

2.将本机公钥文件复制到其它虚拟机上,在yy1上执行，先输入yes，后输入对应主机的密码，多台虚拟机配置操作相同

ssh-copy-id yy1
ssh-copy-id yy2
ssh-copy-id yy3

1
2
3
4

3.在虚拟机 yy2,yy3 都需要执行，保证三台主机都能够免密登录

ssh-copy-id yy1
ssh-copy-id yy2
ssh-copy-id yy3

1
2
3
4

3.查看是否成功免密登录

在每个虚拟机下面都相互登录，输入 exit 则退出。
保证没问题，必须都要登录尝试。

ssh yy2
1

七、Hadoop集群配置

1.在所有虚拟机根目录下新建文件夹export，export文件夹中新建data、servers和software文件

创建的文件夹可以按要求更改，但要记住路径。

会在这几个文件下配置，改环境变量时要正确输入。

删除文件夹 rm -rf 名字

mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software

1
2
3
4

2.准备安装包

hadoop-2.7.4.tar.gz
jdk-linux-x64.tar.gz

**3.下载安装软件Xshell **

打开Xshell后点击文件并选择新建，名称填yy1，主机填写yy1的IP地址，再点击用户身份验证，把yy1的账号，密码输入，就可以通过Xshell控制虚拟机，方便后续软件的传输。（重复步骤新建会话控制yy2,yy3）

我点击的是这个，中间那个我的不管用，你们可以试试。

4.在Xshell先进入software文件内，然后下载rz命令，并使用rz命令进行文件上传，此时会弹出上传的窗口，选择要上传的文件，点击确定即可将本地文件上传到Linux上。

每个虚拟机都做。

cd /export/software
yum   -y  install  lrzsz
rz

1
2
3
4

如果半天没反应，可以取消，重新操作。

输入 ls 可以查看该目录下的文件

5.安装JDK（所有虚拟机都要操作）
5.1 解压jdk

tar -zxvf jdk-linux-x64.tar.gz -C /export/servers/
1

5.2 重命名jdk目录

cd /export/servers
mv jdk1.8.0_131 jdk1.8

1
2
3

5.3 配置环境变量

Centos

ubuntu