kettle经验篇：MongoDB-delete插件问题

目录

项目场景

问题分析

解决方案

MongoDB Delete插件使用总结

---

项目场景

项目使用的ODS层数据库是MongoDB；在数据中心从DB层向ODS层同步数据过程中，发现有张ODS表在同步过程中，数据突然发生锐减，甚至于该ODS表数据清0。

同步技术使用的是kettle，在该ODS表的同步转换中，只有两个控件用来处理MongDB数据：一个是kettle本身自带的MongoDB output，一个是使用的插件MongoDB Delete。

MongoDB Delete删除是按照条件删除MongoDB数据库中指定集合的数据，此转换是有两个条件：一个常量，一个主键ID。

 

kettle的MongoDB Delete 插件资源在我的资源列表中，需要的可以去下载。

问题分析

从项目场景来分析，ODS表数据锐减，甚至清0。很明显是有删除操作导致的，而kettle转换中有删除MongoDB数据功能的控件只有MongoDB Delete。

所以现在怀疑大概率是MongoDB Delete插件存在bug。

锁定了MongoDB Delete后，在转换中加了【调试】日志，想要看下同步过程中到底发生了什么。

以下是对项目上的ETL转换的日志分析 【为避免项目隐私，关键内容已打马塞克】

解决方案

在MongoDB Delete插件前加个非空过滤，即可解决该问题。经过测试，ODS数据锐减问题解决。

 

MongoDB Delete插件使用总结

经过上述的日志分析，可以将MongoDB Delete的使用总结为以下几点：

• 当删除条件为单个时

如果条件字段为NULL，则删除全表，相当于Oracle中的truncate。

• 当删除条件为多个时

如果某个条件字段为NULL，此时删除条件减1，按照非NULL的字段进行删除；如果这多个字段全部为NULL，则删除全表，相当于Oracle中的truncate。

• 非空过滤

在使用MongoDB Delete插件时，应该将删除用到条件字段全部进行非空过滤，不让空值流下去，才能保障数据不会因BUG删除。