kafka安装与相关配置详解

一、安装

1、下载与解压

tar -xzf kafka_2.13-3.7.0.tgz
cd kafka_2.13-3.7.0
1
2

2、启动

bin/kafka-server-start.sh config/server.properties
1

3、后台启动

bin/kafka-server-start.sh -daemon  config/server.properties
1

4、zookeeper

[admin, brokers, cluster, config, consumers, controller, controller_epoch, feature, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]
1

kafka选择zookeeper作为服务注册中心和配置中心，相关znode节点如上，其中zookeeper时zk自身节点；
可以通过如下命令获取kafka集群cluster-id

[zk: localhost:2181(CONNECTED) 4] get  /cluster/id
{"version":"1","id":"qbPSC2UUSWS7fHAawkQXBg"}
[zk: localhost:2181(CONNECTED) 5]
1
2
3

二、配置详解

1、listeners 与 advertised.listeners

listeners=PLAINTEXT://10.240.141.55:9092,CONTROLLER://10.240.141.55:9093,INTER://10.240.141.55:9094
# Listener name, hostname and port the broker will advertise to clients.
# If not set, it uses the value for "listeners".
advertised.listeners=CONTROLLER://10.240.141.55:9093,INTER://10.240.141.55:9094
1
2
3
4

listeners 是kafka真正监听的ip与port，但是虽然设置了监听，但是不代表可以使用，需要使用advertised.listeners配置将上述监听发布出去以供客户端连接使用

2、control.plane.listener.name 与 inter.broker.listener.name

control.plane.listener.name=CONTROLLER
inter.broker.listener.name=INTER
# Maps listener names to security protocols, the default is for them to be the same. See the config documentation for more details
listener.security.protocol.map=INTER:PLAINTEXT,CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
1
2
3
4

control.plane.listener.name 用于选择哪个监听项用于客户端之间连接访问；inter.broker.listener.name用于选择哪个监听项用于broker之间访问；listener.security.protocol.map 用于设置监听项的安全连接模式。