离线数仓-用户行为采集

一.写总体用户采集脚本
1）在/home/atguigu/bin目录下创建脚本cluster.sh
[atguigu@hadoop102 bin]$ vim cluster.sh
在脚本中填写如下内容
#!/bin/bash

case $1 in
“start”){
echo ================== 启动 集群 ==================

    #启动 Zookeeper集群
    zk.sh start

    #启动 Hadoop集群
    hdp.sh start

    #启动 Kafka采集集群
    kf.sh start

    #启动 Flume采集集群
    f1.sh start

    #启动 Flume消费集群
    f2.sh start

    };;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

“stop”){
echo ================== 停止 集群 ==================

    #停止 Flume消费集群
    f2.sh stop

    #停止 Flume采集集群
    f1.sh stop

    #停止 Kafka采集集群
    kf.sh stop

    #停止 Hadoop集群
    hdp.sh stop

    #停止 Zookeeper集群
    zk.sh stop
1
2
3
4
5
6
7
8
9
10
11
12
13
14

};;
esac
（2）增加脚本执行权限
[atguigu@hadoop102 bin]$ chmod u+x cluster.sh
（3）cluster集群启动脚本
[atguigu@hadoop102 module]$ cluster.sh start
（4）cluster集群停止脚本
[atguigu@hadoop102 module]$ cluster.sh stop

二。常见问题及解决方案
1 2NN页面不能显示完整信息
1）问题描述
访问2NN页面http://hadoop104:9868，看不到详细信息
2）解决办法
（1）在浏览器上按F12，查看问题原因。定位bug在61行
（2）找到要修改的文件
[atguigu@hadoop102 static]$ pwd
/opt/module/hadoop-3.1.3/share/hadoop/hdfs/webapps/static

[atguigu@hadoop102 static]$ vim dfs-dust.js
:set nu
修改61行
return new Date(Number(v)).toLocaleString();
（3）分发dfs-dust.js
[atguigu@hadoop102 static]$ xsync dfs-dust.js
（4）在http://hadoop104:9868/status.html 页面强制刷新