#安装zookeeper
[root@bogon ~]# yum -y install java
[root@bogon ~]# tar zxvf apache-zookeeper-3.6.0-bin.tar.gz
[root@bogon ~]# mv apache-zookeeper-3.6.0-bin /etc/zookeeper
[root@bogon ~]# cd /etc/zookeeper/conf
[root@bogon conf]# mv zoo_sample.cfg zoo.cfg
[root@bogon conf]# vim zoo.cfg
#更改一下内容
dataDir=/etc/zookeeper/zookeeper-data
[root@bogon conf]# cd /etc/zookeeper/
[root@bogon kafka]# mkdir zookeeper-data
[root@bogon zookeeper]# ./bin/zkServer.sh start
[root@bogon zookeeper]# ./bin/zkServer.sh status
#安装kafka
[root@bogon ~]# tar zxvf kafka_2.13-2.4.1.tgz
[root@bogon ~]# mv kafka_2.13-2.4.1 /etc/kafka
[root@bogon ~]# cd /etc/kafka/
#更改一下内容
[root@kafka1 kafka]# vim config/server.properties
log.dirs=/etc/kafka/kafka-logs #60行
[root@bogon kafka]# mkdir /etc/kafka/kafka-logs
[root@bogon kafka]# bin/kafka-server-start.sh config/server.properties &
#检查两个端口的开启状态
[root@bogon kafka]# netstat -anpt | grep 2181
[root@bogon kafka]# netstat -anpt | grep 9092
#测试
#修改主机hosts文件(所有主机都配置)
[root@kafka1 ~]# vim /etc/hosts
192.168.10.101 kafka1
192.168.10.102 kafka2
192.168.10.103 kafka3
#zookeeper的部署
#安装zookeeper(三个节点的配置相同)
[root@kafka1 ~]# systemctl stop firewalld
[root@kafka1 ~]# setenforce 0
[root@kafka1 ~]# yum -y install java
[root@kafka1 ~]# tar zxvf apache-zookeeper-3.6.0-bin.tar.gz
[root@kafka1 ~]# mv apache-zookeeper-3.6.0-bin /etc/zookeeper
#创建数据保存目录(三个节点的配置相同)
[root@kafka1 ~]# cd /etc/zookeeper/
[root@kafka1 zookeeper]# mkdir zookeeper-data
#修改配置文件(三个节点的配置相同)
[root@kafka1 zookeeper]# cd /etc/zookeeper/conf
[root@kafka1 ~]# mv zoo_sample.cfg zoo.cfg
[root@kafka1 ~]# vim zoo.cfg
dataDir=/etc/zookeeper/zookeeper-data
clientPort=2181
server.1=192.168.10.101:2888:3888 #2181:对cline端提供服务 3888:选举leader使用 #2888:集群内机器通讯使用(Leader监听此端口)
server.2=192.168.10.102:2888:3888
server.3=192.168.10.103:2888:3888
#创建节点id文件(按server编号设置这个id,三个机器不同)
#节点1:
[root@kafka1 conf]# echo '1' > /etc/zookeeper/zookeeper-data/myid
#节点2:
[root@kafka2 conf]# echo '2' > /etc/zookeeper/zookeeper-data/myid
#节点3:
[root@kafka3 conf]# echo '3' > /etc/zookeeper/zookeeper-data/myid
#三个节点启动zookeeper进程
[root@kafka1 conf]# cd /etc/zookeeper/
[root@kafka1 zookeeper]# ./bin/zkServer.sh start
[root@kafka1 zookeeper]# ./bin/zkServer.sh status
#kafka的安装(三个节点的配置相同)
[root@kafka1 ~]# tar zxvf kafka_2.13-2.4.1.tgz
[root@kafka1 ~]# mv kafka_2.13-2.4.1 /etc/kafka
#修改配置文件
[root@kafka1 ~]# cd /etc/kafka/
[root@kafka2 kafka]# vim config/server.properties
broker.id=1 #其他两个的id分别是2和3
listeners=PLAINTEXT://192.168.10.101:9092 #其他节点改成各自的IP地址
log.dirs=/etc/kafka/kafka-logs
num.partitions=1 #分片数量,不能超过节点数
zookeeper.connect=192.168.10.101:2181,192.168.10.102:2181,192.168.10.103:218
#创建日志目录(三个节点的配置相同)
[root@kafka1 kafka]# mkdir /etc/kafka/kafka-logs
#在所有kafka节点上执行开启命令,生成kafka群集(三个节点的配置相同)
[root@kafka1 kafka]# ./bin/kafka-server-start.sh config/server.properties &
#测试
#创建topic
[root@bogon kafka]# ./kafka-topics.sh --create --zookeeper kafka1:2181 --replication-factor 1 --partitions 1 --topic test
#列出topic
[root@bogon kafka]# ./kafka-topics.sh --list --zookeeper kafka1:2181
#查看topic
[root@bogon kafka]# ./kafka-topics.sh --describe --zookeeper kafka1:2181 --topic test
#生产消息
[root@bogon kafka]# ./kafka-console-producer.sh --broker-list kafka1:9092 -topic test
#消费消息(打开另一个终端,一边生产消息,一边查看消费消息)
[root@bogon kafka]# ./kafka-console-consumer.sh --bootstrap-server kafka1:9092 --topic test
#删除topic
bin/kafka-topics.sh --delete --zookeeper kafka1:2181 --topic test