大数据技术之hadoop——（四）历史服务器+常用脚本

文章目录

前言

一、配置历史服务器

二、日志聚集

三、集群的停止与启动

四、常用脚本

五、常用端口号

前言

上一篇我们已经将hadoop完全分布式集群搭建完毕，这一篇则作为完全分布式集群的补全操作

---

一、配置历史服务器

为了查看程序的历史运行情况需要配置历史服务器

【1】在mapred-site.xml文件中添加以下内容：

 mapreduce.jobhistory.address
 hadoop02:10020



 mapreduce.jobhistory.webapp.address
 hadoop02:19888

1
2
3
4
5
6
7
8
9
10

【2】分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
1

【3】在hadoop02中启动历史服务器

来到hadoop目录下

bin/mapred --daemon start historyserver
1

【4】查看历史服务器是否启动 jps命令

【5】在web端查看jobhistoryhttp://hadoop02:19888/jobhistory

二、日志聚集

日志聚集：应用在运行完成之后将运行的日志信息上传到hdfs系统上

好处：方便查看程序的运行详情

注意：开启日志聚集功能需要重启NodeManager、ResourceManager和HistoryServer

【1】配置yarn-site.xml

 yarn.log-aggregation-enable
 true


 
 yarn.log.server.url 
 http://hadoop02:19888/jobhistory/logs



 yarn.log-aggregation.retain-seconds
 604800

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

【2】分发配置文件

【3】关闭nodemanager、resourcemanager、historyserver

sbin/stop-yarn.sh
bin/mapred --daemon stop historyserver
1
2

【4】启动nodemanager、resourcemanager、historyserver

sbin/start-yarn.sh
mapred --daemon start historyserver
1
2

---

三、集群的停止与启动

【1】各个模块分开启动停止(配置ssh是前提)

整体启动停止hdfs：start/stop-dfs.sh/

整体启动停止yarn：start/stop-yarn.sh/

【2】各个服务组件逐一启动停止

分别启动停止hdfs组件：hdfs --daemon strat/stop namenode/datanode/secondarynamenode

启动停止yarn：yarn --daemon start/stop resourcemanager/nodemanager

---

四、常用脚本

【1】集群启动脚本

第一步：cd /home/zhou/bin

第二步：vim myhadoop.sh (名字自定义)

第三步：修改成可执行权限 chmon 777 myhadoop.sh

#/bin/bash

if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
ssh hadoop03 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop03 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop02 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
 echo "Input Args Error..."
;;
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

【2】jps脚本 查看三台服务器的jps情况

第一步：cd /home/zhou/bin

第二步：vim jpsall.sh (名字自定义)

第三步：修改成可执行权限 chmon 777 jpsall.sh

#!/bin/bash
for host in hadoop02 hadoop03 hadoop04
do
 echo =============== $host ===============
 ssh $host jps 
done
1
2
3
4
5
6

【3】测试脚本

五、常用端口号

hadoop3.x

1. HDFS NameNode 内部通用端口：8020/9000/9820

2. HDFS NameNode 对用户的查询端口：9870 即web端访问端口号

3. YARN查看任务运行情况：8088

4. 历史服务器：19888

hadoop2.x

1. HDFS NameNode 内部通用端口：8020/9000

2. HDFS NameNode 对用户的查询端口：50070

3. YARN查看任务运行情况：8088

4. 历史服务器：19888