ETL工具对比

ETL开发

ETL是英文Extract-Transform-Load的缩写，表示将数据从来源端，经过抽取，转换，加载到目标数据源的过程。

数据抽取

分为全量抽取和增量抽取，数据量达到百万级别建议用增量抽取，小于百万级别可用增量抽取。同时第一次抽取都采用全量抽取。抽取过程中，注意空值处理，字符匹配，以及空格处理，数据错位等等有可能影响最终数据准确性的问题。

数据抽取可以使用ETL工具完成，也可以使用Sqoop完成。目前公司所用的是开源ETL工具kettle，kettle在使用过程中会存在一些缺陷，比方说抽取过后的数据串行，大数据量时抽取速度比较慢。同时任务调度功能方面不支持关闭状态下的调度。

数据转换

数据转换的任务主要进行不一致的数据转换，数据粒度的转换，以及一些商务规则的运算

1）不一致的数据转换

这个过程是一个整合的过程，将不同业务系统的相同的数据类型的数据统一，比方说A系统，和B系统同一个字段，两种取值。这样在抽取过来要将数据统一。

2）数据粒度的转换

业务系统一般存放非常明细的数据，而数仓中的数据是用来分析的，最后的数据一般都是将业务过程的数据按照数仓的粒度进行汇总后的结果。

3）商务规则的计算

公司有很多不同的业务规则，不同的数据指标，这些指标不是简单的相加减就能完成，需要在数仓中将这些指标按照不同的计算公式进行计算。

数据加载

数据加载是ETL的最后一个环节，一般将数据加载到MySQL供BI展示平台使用。

数据采集目前采用的是开源ETL工具kettle，kettle可以采集结构化和非结构化数据，对于结构化数据采集，可选择的技术方案除了有各种ETL工具，还有专门的数据采集工具sqoop。对于日志数据，可以选择Flume进行采集。

如果是实时需求，数据是日志数据，用Flume收集，传入Kafka，如果是关系数据库中的数据，可以选择OGG，canal等技术手段。

目前公司使用的ETL工具是Kettle，且数据开发太过依赖kettle工具，虽然kettle工具对于数据清洗过滤转换等很方便，但是kettle工具的存在局限性

1、自身调度工具功能不足依赖window任务调度，windows任务调度，没有回刷调度功能，自身功能存在缺陷；

2、kettle执行任务不稳定，经常出现访问CDH平台权限受限的问题；

3、后期部署脚本变多，kettle负载会变得很大，不便于部署跟管理基于以上考虑，将脚本执行以及任务调度从kettle中分离，只保留kettle抽取同步数据的功能；

原因一是数据源有多个kettle方便管理数据连接来进行连接，

原因二是kettle方便对原始数据进行清洗过滤转换。

以下是各种主流ETL工具对比，具体选择哪种ETL工具还需考虑公司自身的需要，以及产品与公司、业务场景的契合度。