8. 将各层的任务调度起来(使用海豚调度)
8.1 遇到的重点问题
在跑任务时找不到 .bash 文件,解决办法:
# 获取脚本所有在的位置 shell_home="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )" # 切换目录 cd $shell_home找不到 hive,datax.py命令:解决办法:
# 让环境变量生效 source /etc/profile还有一个我自己遇到的问题:
我把增量表的分区(20220806和20220807)删除掉之后,执行任务分区为20220808,会一直报错(讲我删掉的分区(20220806)找不到),当我在hdfs中吧20220806建立起来后又开始报20220807找不到,我在在建立起来只后,就可以运行了。不知道原因。
8.2 在admin 下建立各层的租户,执行各层调度时候,使用各层的租户执行
8.3 在资源中心将本地跑成功的各层资源搞进来(比较恶心,只能一个一个穿)
8.4 然后再项目管理给各层建立项目(一定要管理好,否则后期很头痛)
8.5 直接在里面拖拉拽就行
指定时间变量,是$[yyyyMMdd-1] 并不是 { },注意。
只有在任务下线时候才能修改里面的数据。
8.6 指定定时任务
指定时候还要在后面的小闹钟(定时管理)里面设置上线