Win10下Hadoop3.2.1的安装与配置

自己一边装一边写的笔记，有问题欢迎指正鸭 ~

安装配置Hadoop的前提是已经在主机中安装并配置好JDK，没有安装配置的小伙伴可以参考：

https://blog.csdn.net/weixin_44584095/article/details/86563763

1、下载解压

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.1/

选择下方第二个：

完成后如下，解压到自己指定的位置（我直接解压到了c盘）：

2、bin文件缺少文件补充

看一下自己的bin文件里是否有hadoop.dll,以及winutils.exe，没有就去下载对应Hadoop版本的bin文件后添加：

下载地址：https://github.com/cdarlint/winutils

3、设置环境变量

首先设置名为HADOOP_HOME的系统变量（点击新建），路径名为刚刚解压到的位置，注意标黄处。

然后添加Path，双击Path进入编辑环境变量，新建一个环境变量，将Hadoop下bin的位置写入，注意标黄处。

4、配置Hadoop

在Hadoop的根目录下创建文件夹data，然后在其下创建两个子文件夹datanode和namenode：

确认…/etc/hadoop/core-site.xml文件有如下代码，没有手动添加：

   
       fs.defaultFS
       hdfs://localhost:9000
   

1
2
3
4
5
6

确认…/etc/hadoop/mapred-site.xml文件中有如下代码，没有手动添加：

   
       mapreduce.framework.name
       yarn
   

1
2
3
4
5
6

确认…/etc/hadoop/hdfs-site.xml文件中有如下代码，没有手动添加（黄色部分的地址用刚刚自己添加的namenode和datanode的地址代替）：

  
        dfs.replication
        1
   
   
        dfs.namenode.name.dir
        C:hadoop-3.2.1data
amenode
   
   
        dfs.datanode.data.dir
        C:hadoop-3.2.1datadatanode
   

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

确认…/etc/hadoop/yarn-site.xml文件中有如下代码，没有手动添加：

    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
    
    
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler
    

1
2
3
4
5
6
7
8
9
10

在…/etc/hadoop/hadoop-env.cmd文件中作如下添加：

接下来配置文件格式，cd进入文件夹C:hadoop-3.2.1in。然后运行：

hdfs namenode -format
1

此时报错如下，显示jdk路径有问题，查阅下面资料得知JAVA_HOME的路径中不能存在空格。

https://blog.csdn.net/zgy956645239/article/details/105021529

解决办法为：打开…/etc/hadoop/hadoop-env.cmd文件，将JAVA_HOME中的Program Files用PROGRA~1替换：

再次执行即成功如下：

接下来进入sbin文件，执行如下代码：

start-all.cmd
1

会弹出来四个窗口如下 ：

5、验证配置成功

访问http://localhost:8088 看看会不会显示出来如下：

访问http://localhost:9870 看看会不会显示出来如下：