大数据技术学习笔记（二）—— Hadoop 运行环境的搭建

笔者使用镜像为：CentOS-7.5-x86_64-DVD-1804.iso

1 准备模版虚拟机hadoop100

以 CentOS-7.5-x86-1804为例，安装成功后：

1.1 修改主机名

查看当前主机名

hostname
1

修改当前主机名

vim /etc/hostname
1

修改主机名为 hadoop100

1.2 修改hosts文件

1. 修改linux的主机映射文件（hosts文件）

编辑 /etc/hosts

vim /etc/hosts
1

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
1
2
3
4
5
6

2. 修改windows的主机映射文件（hosts文件）

进入C:\Windows\System32\drivers\etc 路径，打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
1
2
3
4
5
6

1.3 修改IP地址

1.3.1 查看网络IP和网关

查看虚拟网络编辑器

查看windows环境的中VMnet8网络配置

1.3.2 修改IP地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

编辑完后，按键盘esc ，然后输入 :wq 回车即可。

重启网络

systemctl restart network
1

查看修改后的IP

ifconfig
1

或者

ip addr
1

1.4 关闭防火墙

关闭防火墙，并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld
1
2

1.5 创建普通用户

创建普通用户huwei

useradd huwei
1

修改普通用户huwei的密码

passwd huwei
1

配置 huwei 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers
1

esc，键入:set nu显示行号，找到91行，在 root 下面添加一行

esc，对该只读文件保存强制退出:wq!

1.6 创建所需目录

在 /opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software
1
2

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software
1
2

查看module、software文件夹的所有者和所属组

cd /opt/
ll
1
2

1.7 卸载虚拟机自带的open JDK

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
1

1.8 重启虚拟机

reboot
1

2 克隆虚拟机

利用模板机 hadoop100，克隆三台虚拟机：hadoop101 、hadoop102、hadoop103

然后修改克隆机IP，以下以 hadoop101 举例说明。

修改IP地址，只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

修改主机名为 hadoop101

vim /etc/hostname
1

重启！

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压

将 hadoop 和 jdk 通过传输工具上传到 /opt/software

切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/
1
2

3.2 配置JDK环境变量

新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh
1

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
1
2
3

使环境变量生效

source /etc/profile
1

3.3 测试JDK是否安装成功

java -version
1

如果能看到以上结果，则代表 Java 安装成功！

4 在hadoop101上安装Hadoop

4.1 解压安装包

切换到 /opt/software目录下，解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/
1
2

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll
1
2

重要目录

• bin目录：存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本
• etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
• lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
• sbin目录：存放启动或停止Hadoop相关服务的脚本
• share目录：存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量

编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh
1

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
1
2
3
4

使环境变量生效

source /etc/profile
1

4.3 测试Hadoop是否安装成功

hadoop version
1

如果能看到以上结果，则代表 Hadoop 安装成功！