一百七十五、Kettle——海豚调度kettle任务的脚本需不需要配置log日志文件？

一、目的

总结一下，在用海豚调度kettle任务脚本是需不需要配置log日志文件？

二、两种情形介绍

（一）海豚配置kettle任务调度脚本时加log日志文件

#!/bin/bash
source /etc/profile

/usr/local/hurys/dc_env/kettle/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/hive_to_clickhouse/ -trans=04_Hive_to_ClickHouse_dws_turnratio_volume_30min level=Basic >>/home/log/kettle/04_Hive_to_ClickHouse_dws_turnratio_volume_30min_`date +%Y%m%d`.log 

执行任务后在/home/log/kettle/目录下可以找到日志文件

（二）海豚配置kettle任务调度脚本时不加log日志文件

#!/bin/bash
source /etc/profile

/usr/local/hurys/dc_env/kettle/data-integration/pan.sh -rep=hurys_linux_kettle_repository -user=admin -pass=admin -dir=/kafka_to_hdfs/ -trans=04_Kafka_to_HDFS_turnratio

执行任务后不生成日志文件

三、两种情形区别与适用场景

不加log日志文件，海豚调度kettle任务执行后不会生成日志文件。这种情形适用于像从Kafka到HDFS这种需要不断执行任务的场景，由于任务不停执行所以日志文件会越来越大，一旦数据量庞大就会形成巨大的日志文件，这种情形不适合加日志文件。

比如kettle任务04_Kafka_to_HDFS_turnratio

加log日志文件，海豚调度kettle任务执行后就会生自动成日志文件。这种情形适用于像从Hive到ClickHouse这种数据有限、不需要一直执行任务的场景。

比如kettle任务04_Hive_to_ClickHouse_dws_turnratio_volume_15min

最后总结一下，海豚调度kettle任务的脚本需不需要配置log日志文件，这个要因地制宜，不同的场景采用不同的方式。