kafka

基本术语：

topic（话题）：kafka将消息分⻔别类，每一类的消息称之话题，是逻辑上的一个概念，如果是真正到磁盘上，映射的是一个partition(分区)的一个目录。

生产者（producer）: 发布消息的对象称之为生产者，只负责数据的产生，生产的来源，可以不在kafka集群上，而是来自其他的业务系统。

消费者(consumer):订阅消息并处理发布消息的对象，称为消费者。

消费者组（consumerGroup）:多个消费者可以构成消费者组，同一个消费者组的消费者，只能消费一个topic数据，不能重复消费。

broker : kafka本身可以是一个集群，集群中的每一个服务器都是一个代理，这个代理称为broker。只负责消息的存储，不管生产者和消费者,和他们没有任何关系。在集群中每个broker有唯一个ID，不能重复。

常用命令：

查看当前服务器中的所有topic主题：

kafka-topics.sh --zookeeper cluster1:2181 --list

如果是zk集群可以使用这样的命令：

kafka-topics.sh --zookeeper cluster1:2181,cluster2:2181,cluster3:2181 --list

创建topic: list

 kafka-topics.sh --zookeeper  cluster2:2181 --create --replication-factor 3  --partitions 5  --topic ordertopic

--zookeeper 链接zk

--replication-factor 指定副本数目（副本数目不能大于总的brokers数目）

--partitions 指定分区数

--topic 指定topic名称

删除topic:

kafka-topics.sh --zookeeper cluster1:2181 --delete --topic tp3

生产消息：

kafka-console-producer.sh --broker-list cluster2:9092 --topic goodstopic

消费消息：

kafka-console-consumer.sh --bootstrap-server cluster2:9092 --from-beginning --topic goodstopic

同组消费者消费消息（多个窗口）：

kafka-console-consumer.sh --bootstrap-server kafka1:9092 --consumer-propertygroup.id=gtest  --from-beginning --topic tp1

查看一个topic详情：

 kafka-topics.sh --zookeeper  cluster2:2181,cluster1:2181 --describe --topic tp1

生产者写入消息流程

 消费者两种消费模式：推送模式（push）和拉取模式（pull）