Flink从Kafka写入Kafka

  简介：

    本博客基于1.13.6版本Flink，在Flink实际生产过程中需要把数据从kafka中读取，处理后写入kafka中继续其他的逻辑，本博客支持精准一次写入flink操作，适用于建设实时数仓过程中以及一些需要flink处理kafka的需求中，本程序可以在本地运行，也可提交到yarn上运行，有完整的Flink代码，已完成编译，开箱简单修改即可用，避免了大家编程、编译、提交yarn上的一些错误。

本工程提供

1、项目源码及详细注释，简单修改即可用在实际生产代码

2、成功编译截图

3、linux提交命令

4、提交到yarn上截图

5、自己编译过程中可能出现的问题

6、测试kafka连接代码

7、精准一次写入kafka操作

成功编译成功信息如下

[INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ flink-kafka-to-kafka ---
[INFO] Building jar: D:\flink\flink-kafka-to-kafka\target\flink-kafka-to-kafka-1.0-SNAPSHOT.jar
[INFO] 
[INFO] --- maven-assembly-plugin:3.0.0:single (make-assembly) @ flink-kafka-to-kafka ---
[INFO] Building jar: D:\flink\flink-kafka-to-kafka\target\flink-kafka-to-kafka-1.0-SNAPSHOT-jar-with-dependencies.jar
[INFO] ---------------------------------------------