Hadoop入门（二）：手把手带你从零基础到完整安装配置

未经允许，不得转载。——CSDN:川川菜鸟

一、集群概述

二、环境准备

未经允许，不得转载。——CSDN:川川菜鸟

2.1 VMware安装

一台电脑本身是可以装多个操作系统的，但是做不到多个操作系统切换自如，所以我们需要一款软件帮助我们达到这个目的，不然数仓项且搭建不起来。

推荐的软件为VMware，VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。

我安装的版本为16.0，安装教程点击参考：系统搭建 ，你可以只需要参考VM安装部分即可。

2.2 Centos7系统安装

清华镜像源下载：centos ,跳转下载版本,我选择第一个下载：

回到VMwarel开始创建：

D盘新建一个hadoop文件夹，专门装相关内容：

默认：

默认：








选择镜像：

确定后，开启虚拟机。。。


选择中文：

设置时间：

安装桌面版本（入门建议，对于很熟悉的人建议就是最小安装）：

安装位置设置，选择“我要分盘”

点击“完成”后，添加一个挂载点（内存）：

修改为ext4:

接着再添加一个挂载（硬盘）：

再添加剩余最后的根目录，还剩下20-1-4=15g了：

点击完成出来：


为了节约资源，把这个关闭，关闭后的话，系统崩溃后不会保存资源，实际开发不能关闭：

配置网络：

开始安装，提示这个，先配置root密码为123456

重启：

进来后：

同意协议：

完成配置：

前进：

前进：

前进：

输入上海后前进：

跳过：

自定义设置账号名后前进：

密码简单点设置为yang123.


完毕：

2.3 配置IP

1)配置vm的ip


都记得确定。

2）配置windows的IP

双击得到右侧：

配置如下：

3）配置服务器IP
打开终端：

进入管理员端：su，然后输入root密码123456

输入：

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

进去后将动态获取ip地址修改为静态：

BOOTPROTO="static"
1

底部再添加一部分设置：

# Ip address
IPADDR=192.168.10.100
# getway
GATEWAY=192.168.10.2
# Domin name resolver
DNS1=192.168.10.2
1
2
3
4
5
6

完整如下：

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO="static"
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=a4a72037-8cf6-4ebb-b197-fca3940e0f41
DEVICE=ens33
ONBOOT="yes"

# Ip address
IPADDR=192.168.10.100
NETMASK=255.255.255.0
# getway
GATEWAY=192.168.10.2
# Domin name resolver
DNS1=192.168.10.2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

保存即可。

可以查看下主机名：

vim /etc/hostname
1
2

如下：

4）主机名称映射hosts文件

进入文件：

vim /etc/hosts
1

如下：

假设我后续需要使用到八台服务器，则添加如下：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
1
2
3
4
5
6
7
8
9

如下：

查看一下整个文件夹：

重启：

reboot
1

如下：

验证IP地址：

ifconfig
1

如下：

ping一下：

如果你ping不通，可能是配置问题，参考：ping报错

查看主机名：

hostname
1

如下：

以下的所有配置已经完成：

三、 远程连接

假如有三台服务器：

如果我们在外地，比如在外面旅游，想要连接服务器，因此就需要远程连接，这里实用Xshell工具。

3.1 Xsheel安装

到腾讯软件中心下载即可：Xshell

下载好双击安装即可：





提示这个关闭：

3.2 远程连接

新建会话：

调一下外观颜色，点击确定。

连接选择即可，如下：

测试一下：

修改映射，到本地路径：

C:\Windows\System32\drivers\etc
1

修改hosts文件：

添加内容：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
1
2
3
4
5
6
7
8
9

如下：

测试一下，新建一个会话：

确定：

连接成功：

可见添加映射更方便了，以上使用192.168.10.100和hadoop100是等效的。

3.3 Xftp安装

使用xsheel连接到了服务器，如果要上传windows的文件到服务器，则需要xftp.

免费版本的获取，下载地址：https://www.xshell.com/zh/free-for-home-school/
输入：

邮箱中给了下载地址后会自动下载：

下载好后双击安装下一步下一步即可：

完成：

打开Xsheel，点击这个按钮，可以使用xftp功能了：

此时右侧为当前路径：

3.4 远程传输

把左侧的文件拖动到右侧即可，我随便拖动一个文件：

ls查看，可见传输成功：

四、虚拟机准备完成

未经允许，不得转载。——CSDN:川川菜鸟

检查网络：

CentOS还有一个源叫做 EPEL (Extra Packages for Enterprise)，里面有1万多个软件，强烈建议安装。执行命令：

yum -y install epel-release
1

如下：

关闭服务器的防火墙，公司外围本身有防火墙了：

命令如下：

一般关闭： systemctl stop firewalld.service
 永久关闭：  systemctl  disable  firewalld.service
1
2

如下：

查看是否有java:

rpm -qa | grep -i java
1

如下：

以上有多个版本，把他们卸载掉：

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
1

如下：

重启虚拟机：

reboot
1

五、克隆虚拟机

5.1 克隆

以它为模板：

我们只希望修改IP地址和主机名称为：

首先关闭客户机。 右键-管理-克隆：



注意：

单独放到一个文件夹：

再克隆一个：

接着克隆第三个：

5.2 配置修改

注意一定先进入root端，不然很多命令执行不力。

先打开hadoop102:

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

只需修改IPADDR即可：

修改名称：

vim /etc/hostname
1

如下：

重启：

reboot
1

重启后再查看主机名：

ifconfig查看ip是否已经更改成功

ping www.baidu.com测试连接外网是否成功。

同理处理其它几台虚拟机。

5.3 Xsheel配置

前面只配置了hadoop100，这里要配置另外三个。注意：能连接的前提是，这三个服务器是开机状态，别关了还说连接不上。

连接：

同理连接其它其它。全部成功如下：

六、JDK和hadoop

6.1 下载

JDK下载地址：

https://www.oracle.com/java/technologies/downloads/
1

下载：

hadoop下载地址：

https://dlcdn.apache.org/hadoop/common/hadoop-3.2.4/hadoop-3.2.4.tar.gz
1

下载好后拖动到hadoop102上面去：

6.2 安装JDK

创建文件夹software:

mkdir software
1

解压：

tar -xvf jdk-18_linux-x64_bin.tar.gz  -C software/
1

进入目录：

进入profile.d目录：

sudo cd /etc/profile.d
1

ll查看：

cd /etc/profile.d
1

ll查看：

创建一个my_env.sh文件

sudo vim my_env.sh
1

编写内容如下：

#JAVA_HOME
export  JAVA_HOME=/home/chuan/software/jdk-18.0.2.1
export PATH=$PATH:$JAVA_HOME/bin
1
2
3

接着source重新加载：

source /etc/profile
1

查看Java：

java --version
1

如下：

6.2 安装hadoop

同理解压到software文件夹

tar -xvf hadoop-3.2.4.tar.gz  -C software/
1

cd到目录下：

cd software/hadoop-3.2.4/
1

进入配置环境的文件：

sudo vim  /etc/profile.d/my_env.sh
1

添加hadoop后的文件如下：

#JAVA_HOME
export  JAVA_HOME=/home/chuan/software/jdk-18.0.2.1
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/home/chuan/software/hadoop-3.2.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

1
2
3
4
5
6
7
8
9

然后source一下：

source  /etc/profile
1

查看版本：

hadoop version
1

如下成功：

后续。。。专栏待更新

写了整整五个小时~~后续再更新