Hadoop-3.3.0 安装

*Hadoop 安装

1、下载 Hadoop
下载地址：http://hadoop.apache.org/

Hadoop 安装地址：/usr/local/hadoop/hadoop-3.3.0

2、 解压 Hadoop 到指定文件夹
tar -zxf hadoop-3.2.0.tar.gz -C /usr/local/hadoop
3、 查看 Hadoop 版本信息
cd /usr/hadoop/local/hadoop-3.2.0
./bin/hadoop version
4. Hadoop 配置
4.1 建立目录
在 /usr/hadoop/ 目录下，建立 tmp、hdfs/name、hdfs/data 目录
mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/hdfs
mkdir /usr/local/hadoop/hdfs/data
mkdir /usr/local/hadoop/hdfs/name
4.2 设置环境变量
设置环境变量
vi /etc/profile

#set hadoop path
export HADOOP_HOME=/usr/hadoop/hadoop-3.2.0
export PATH=$PATH:$HADOOP_HOME/bin
1
2
3

使环境变量生效
source /etc/profile

CentOS版本用
source ~/.bash_profile

4.3 修改 Hadoop 配置文件
配置以下 5 个文件：

hadoop-3.2.0/etc/hadoop/hadoop-env.sh
hadoop-3.2.0/etc/hadoop/core-site.xml
hadoop-3.2.0/etc/hadoop/hdfs-site.xml
hadoop-3.2.0/etc/hadoop/mapred-site.xml
hadoop-3.2.0/etc/hadoop/yarn-site.xml

4.3.1 hadoop-env.sh
#The java implementation to use.

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/java/jdk1.8.0_152
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

4.3.2 core-site.xml

 
    fs.defaultFS
    hdfs://localhost:9000
　　####注释  : HDFS的URI，文件系统://namenode标识:端口号



    hadoop.tmp.dir
    /usr/local/hadoop/tmp
    ###注释: namenode上本地的hadoop临时文件夹


1
2
3
4
5
6
7
8
9
10
11
12
13

4.3.3 hdfs-site.xml
dfs.replication 配置的是 HDFS存储时的备份数据（datanode的备份），因为我们刚开始测试，只有一个结点比较好，股设置为1.

 
   
       dfs.replication
       1
       副本个数，配置默认是3,应小于datanode机器数量
   

1
2
3
4
5
6
7

4.3.4 mapred-site.xml

    
        mapreduce.framework.name
        yarn
    

1
2
3
4
5
6

4.3.5 yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

1
2
3
4
5
6

5、HDFS 启动
(1)格式化 HDFS

Bin/hdfs namenode -format
1

格式化是对 HDFS这个分布式文件系统中的 DataNode 进行分块，统计所有分块后的初始元数据的存储在namenode中。（如果服务器再次启动，也需要进行这步，否则启动可能会失败）

(2)启动 NameNode

Sbin/hadoop-daemon.sh start namenode
1

(3)启动 DataNode

Sbin /hadoop-daemon.sh start datanode
1

(4)启动 SecondaryNameNode

Sbin/hadoop-daemon.sh start secondarynamenode
1

(5)使用 jps 命令查看是否启动成功，有结果就成功了。

(6) 然后就可以使用 bin/hdfs dfs —help 里面的命令了，比如 -ls -mkdir 等和 linux 类似的命令。

hdfs dfs -ls /
1

文章来源：https://www.cnblogs.com/liuafan/p/11052402.html