hadoop 3.x 伪集群安装

摘要

伪集群适用于测试使用，在实际工作中很常用，以前都是用2.x版本，现在改用3.x版本了，安装步骤记录一下。

一.基础配置

1.1 版本

java 用的：jdk-8u321-linux-x64.tar.gz //请自行下载
hadoop用的： hadoop-3.2.3.tar.gz //请自行去官网下载hadoop官网
hadoop-3.2.3 对应的开发文档地址：document

下载之后自行解压即可

1.2配置java和hadoop 环境变量

打开 /env/profile 按照如下格式配置环境变量，路径请按照自己的解压目录修改即可
#hadoop env
export HADOOP_HOME=/soft/hadoop/hadoop-3.2.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#java env
export JAVA_HOME=/soft/jdk/jdk1.8.0_321
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

1.3修改hosts

vim /etc/hostname
我的hostname 为master

1.4配置免密登陆

• ssh-keygen -t rsa
• ssh-copy-id master //master替换成你自己的主机名

1.5 hadoop中配置导入java

vim /soft/hadoop/hadoop-3.2.3/etc/hadoop/hadoop-env.sh //请改成自己的解压位置

文件中加入： export JAVA_HOME=/soft/jdk/jdk1.8.0_321

二. hadoop 的配置

进入目录：cd /soft/hadoop/hadoop-3.2.3/etc/hadoop

2.1 配置workers

workers中内容清空，加入你的主机名，在这里我加的是master

2.2 配置core-site.xml

 
    
        fs.defaultFS
        hdfs://master:8020
    

    
    
        hadoop.tmp.dir
        /soft/hadoop/data
    

1
2
3
4
5
6
7
8
9
10
11
12

2.3 配置hdfs-site.xml

    
        dfs.replication
        1
    

    
        dfs.permissions.enabled
        false
    

      
    
        dfs.namenode.http-address
        master:50070
    

    
    
        dfs.namenode.secondary.http-address
        master:50071
    

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

2.4 配置yarn-site.xml

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        master
    

    
    
        yarn.application.classpath
        /soft/hadoop/hadoop-3.2.3/etc/hadoop:/soft/hadoop/hadoop-3.2.3/share/hadoop/common/lib/*:/soft/hadoop/hadoop-3.2.3/share/hadoop/common/*:/soft/hadoop/hadoop-3.2.3/share/hadoop/hdfs:/soft/hadoop/hadoop-3.2.3/share/hadoop/hdfs/lib/*:/soft/hadoop/hadoop-3.2.3/share/hadoop/hdfs/*:/soft/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/lib/*:/soft/hadoop/hadoop-3.2.3/share/hadoop/mapreduce/*:/soft/hadoop/hadoop-3.2.3/share/hadoop/yarn:/soft/hadoop/hadoop-3.2.3/share/hadoop/yarn/lib/*:/soft/hadoop/hadoop-3.2.3/share/hadoop/yarn/* 
    

    
    
        yarn.log-aggregation-enable
        true
    

    
    
        yarn.log.server.url
        http://master:19888/jobhistory/logs
    

    
    
        yarn.log-aggregation-seconds
        604800
    
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

关于yarna.application.classpath的值看下图：

2.5 配置mapred-site.xml

   
    
        mapreduce.framework.name
        yarn
    

    
    
        mapreduce.jobhistory.address
        master:10020
    

    
    
        mapreduce.jobhistory.webapp.address
        master:19888
    
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

三.用户相关

hadoop新版本默认以root用户启动会出错的，然而大多数时候我们安装的时候习惯用root，毕竟时自己的测试机器。 所以我就是以root用户安装启动的，那么则需要添加如下配置以支持root启动。

3.1在start-dfs.sh 和 stop-dfs.sh 中 新增！！！：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root 
1
2
3
4

start-yarn.sh 和 stop-yarn.sh 中 新增

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
1
2
3

四.初始化和启动

hdfs namenode -format
start-all.sh  //也可以：start-dfs.sh    和start-yarn.sh 分别启动，start-all.sh是一起启动。

1
2
3

上面两个都能打开表示安装成功。
window访问的时候记得修改windows中 hosts文件 比如我的就是：192.168.39.128 master