在以hudi的MOR表作为flink cdc的源时,出现了一些并非预期的效果。hudi自身支持ChangelogModes#FULL & ChangelogModes#UPSERT 两种模式,从它们支持的RowKind来看,还以为数据写入与读取时 RowKind是一致的,其实不然;另外,如果读写分别使用了不同的模式,那又会产生什么后果,我们应该怎么使用它。
在该模式下,sink端会完整接收上流所有RowKind类型的数据,在hudi内部通过往行记录中增加元数据字段_hoodie_operation
,并将该字段的值设置为RowKind的名称(+I,-U,+U,-D),通过查看生成的rt表和ro表结构,多了一列。
org.