一、背景
更多关于Debezium Topic相关的设置可以参考博主下面这篇博客:
- Debezium系列之:深入理解 Debezium Topic的设置要求
- debezium使用database.history.kafka.topic对应的kafka topic保存数据库的ddl信息
- 可以设置永久保存topic中的数据库ddl信息,这样在debezium connector出现故障时,可以使用history topic中的数据恢复debezium connector状态正常运行
- debezium connector正常运行的时候会在内存中维护一份最新的表结构信息
二、潜在问题
- 如果出现history topic的数据量很大的情形,永久保存history topic中的数据,在debezium connector出现故障时会导致debezium connector在短时间内无法恢复,但是正常使用的过程中,理论上history topic中的数据量不会太大。
- 当出现异常导致history topic数据量增长很快时,可以考虑在debezium connector中增加如下配置,从而保证异常的ddl信息不会被