Flink学习第九天——Flink里面核心Source Sink对接 Kafka Connetor实战

 一、Docker快速部署kafka

#zk
docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper
​
#kafka
docker run -d --name xdclass_kafka \
-p 9092:9092 \
-e KAFKA_BROKER_ID=0 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.0.116:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.116:9092 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
​
​
#进入容器内部，创建topic
docker exec -it 9b5070d79dfa /bin/bash
​
cd /opt/kafka
bin/kafka-topics.sh --create --zookeeper 192.168.0.116:2181 --replication-factor 1 --partitions 1 --topic xdclass-topic
​
​
#创建生产者发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic xdclass-topic
​
​
#运行一个消费者
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic xdclass-topic --from-beginning
​

二、Flink Source 读取消息队列Kafka连接器整合实战

• 之前自定义SourceFunction，Flink官方也有提供对接外部系统的，比如读取Kafka

• flink官方