本篇博客主要介绍了如何为 Kafka Connect 编写新的连接器,以在 Kafka 和其他系统之间移动数据。主要介绍一些关键概念,然后描述了如何创建一个简单的连接器。
一、核心概念和APIs
- 为了在 Kafka 和另一个系统之间复制数据,用户为想要从中提取数据或将数据推送到的系统创建一个连接器。
- 连接器有两种形式:SourceConnector 从另一个系统导入数据(例如,JDBCSourceConnector 会将关系数据库导入 Kafka)和 SinkConnector 导出数据(例如,HDFSSinkConnecto