hadoop入门（八）：配置历史服务器与查看

一、配置服务器

1.1 mapred-site.xml配送

cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml
1
2

添加内容：

<!-- 历史服务器端地址 --> 
<property> 
    <name>mapreduce.jobhistory.address</name> 
    <value>hadoop102:10020</value> 
</property> 
 
<!-- 历史服务器 web 端地址 --> 
<property> 
    <name>mapreduce.jobhistory.webapp.address</name> 
    <value>hadoop102:19888</value> 
</property> 
1
2
3
4
5
6
7
8
9
10
11

如下：

说明：

• 将历史服务器mapreduce.jobhistory.address配置在hadoop102:10020内部通讯端口
• 历史服务器对外暴露的接口：用户查看集群里面的历史服务，从web页面查看，这个端口用的hadoop102:19888

先关闭dfs:

stop-dfs.sh
1

再启动：

start-dfs.sh
1

如下：

1.2 分发配置

执行分发：

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
1

如下：

1.3 启动历史服务器

执行：

mapred --daemon start historyserver
1

如下：

1.4 执行测试程序

hadoop fs -mkdir /input

hadoop fs -put wcinput/word.txt /input

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar  wordcount /input/word.txt  output2
1
2
3
4
5

如下：

1.5 查看history

继续回到：http://hadoop103:8088/cluster ，如下，这是个任务历史列表，选择自己对应的：

点击ID:


查看日志：

三、HDFS浏览器删除文件（额外补充）

记录以下删除HDFS文件，前面不小心上传多了，语法如下：

hadoop fs -rm -r -skipTrash 文件地址
1

例如：

hadoop fs -rm -r -skipTrash /input/container-executor.cfg
1

再查看：

hadoop fs -ls /input
1

如下：