Windows下安装hadoop2.7.4

Windows下安装hadoop

案例环境

该压缩包是已经简化配置后的

hadoop2.7.4下载地址文件分享 (weiyun.com)

安装步骤

解压压缩包

配置环境变量

在系统变量中添加

在path中添加

拷贝hadoop2.7.4\bin\hadoop.dll到目录C:\Windows\System32

配置文件

把/etc/hadoop/ 下目录的相关配置文件都配置一遍，直接复值下面内容即可

①yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12

②hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/hadoop/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/hadoop/data/dfs/datanode</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

③core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
1
2
3
4
5
6

4、复制一份mapred-site.xml.template，并重命名为mapred-site.xml，修改里面的内容

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

选做：配置JAVA_HOME的路径变量到/etc/hadoop/hadoop-env.cmd

情况1：自己电脑的jdk和hadoop安装在同一磁盘 ，如果自己的电脑的环境变量中有JAVA_HOME且该变量配置正确可以跳过该步骤。

因为hadoop-env.cmd中已经引用了JAVA_HOME，无需再次配置

情况2：自己电脑的jdk和hadoop安装在同一磁盘，自己的电脑的环境变量没有JAVA_HOME

配置JAVA_HOME即可

提示：hadoop-env.cmd中内容无需修改

情况三：自己电脑的jdk和hadoop没有在同一磁盘

如何解决：将自己JAVA_HOME的绝对路径配置在hadoop-env.cmd即可

验证是否安装成功

输入hadoop version

hadoop格式化(只能格式化一次)

hdfs namenode -format

启动hadoop

在cmd中执行 start-all.cmd 命令，启动Hadoop，

查看是否启动成功

注意 Hadoop2.x的namenode界面默认访问端口默认是：50070，和3.x不同

打开浏览器输入http://localhost:50070/

jps命令查看进程