Hadoop搭建

目录

一、安装虚拟机

二 、克隆虚拟机  

三、安装jd  k

---

一、安装虚拟机

root

123456789

 1、安装完系统后配置虚拟机ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="26020f1d-1fa0-42de-aaee-d7a8cc94fdec"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.48.136
GATEWAY=192.168.48.2
DNS1=192.168.48.2

2、修改主机名

vim /etc/hostname
 
hadoop100

3、修改映射

vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.48.100 hadoop100
192.168.48.101 hadoop101
192.168.48.102 hadoop102
192.168.48.103 hadoop103
192.168.48.104 hadoop104

在自己电脑修改host

192.168.48.102 hadoop102
192.168.48.103 hadoop103
192.168.48.104 hadoop104
 

4、安装 epel-release

 yum install -y epel-release.noarch lease

5、关闭防火墙和停止开机启动

 systemctl stop firewalld
 
 systemctl disable firewalld.service

6、添加用户和修改密码

 useradd sxd
 
 passwd sxd
 
jzy123456

7、使sxd用户拥有root权限，方便后期加sudo行使root权限命令

vim /etc/sudoers

 修改文件，在文件%wheel下加入一行

在非编辑模式下，按键yy 然后按p便复制粘贴  u为撤回

sxd     ALL=(ALL)       NOPASSWD:ALL
 
 
用:wq!保存退出

进入opt文件夹 ，删除rh文件夹，创建module文件夹，作为安装软件的存储文件夹 更改用户和用户组

cd /opt/
 
sudo rm -rf rh/
 
sudo mkdir module
 
sudo mkdir software
 
sudo chown sxd:sxd module/ software/

 rpm -qa | grep -i java

切换到root账户，删除不需要的java相关 重启虚拟机

su root
 
 rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
reboot

二 、克隆虚拟机  

克隆三个虚拟机，名称为hadoop102、hadoop103、hadoop104

将每个虚拟机更改ip、主机名

vim /etc/sysconfig/network-scripts/ifcfg-ens33
 
 
将ip改为其ip
IPADDR=192.168.48.104
 
vim /etc/hostname
 
hadoop104

三、安装jdk

1、在hadoop102上安装jdk，将hadoop-3.1.3.tar.gz、和jdk-8u212-linux-x64.tar.gz放入 /opt/software下

2、解压

 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
 tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3、配置环境变量

 
sudo vim my_env.sh
 
#JAVA_HOME 
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP_HOME 
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
 
 
source /etc/profile

4、验证

java
hadoop