Kafka2.4.1的环境搭建

Kafka2.4.1的环境搭建

一、集群规划

集群hadoop1、hadoop2、hadoop3，并且分别搭建好zookeeper3.5.7

二、安装包准备

kafka_2.11-2.4.1.tgz

Apache Kafka 其他版本

下载完成后，上传到集群中。（SecureCRT 中可以输入rz进行上传文件）

我将文件上传到了/opt/software/，用来存放软件包的位置

三、集群部署

（一）、安装Kafka

1. 先将kafka进行解压

   tar -zxvf /opt/software/kafka_2.11-2.4.1.tgz -C /opt/module
   1

2. 将Kafka进行重命令

   mv kafka_2.11-2.4.1 kafka
   1

3. 修改所有权到普通用户

   sudo chown andy:andy kafka
   1

   andy 是我的用户名

（二）、修改配置文件

1. 进入到kakfa的config目录中，并修改server.properties

   cd config
   1

   修改server.properties文件

    vim server.properties
   1

   修改内容：

   第一处：broker.id

   broker.id=0
   1

   hadoop1 的broker.id 为 0、hadoop2broker.id 为 1、hadoop3broker.id 为 2,并且id的数据是唯一的，每台都需要进行修改

   

   第二处：log.dir 数据存放位置/opt/module/kafka/datas,原来存放的位置在/tmp目录下的

   log.dir=/opt/module/kafka/datas
   1

   

第三处：设置zookeeper的连接

zookeeper的搭建教程

zookeeper.connect=hadoop1:2181,hadoop2:2181,hadoop2:2181/kafka
1

四、配置环境变量

在/etc/profile.d/中，创建my_env.sh

cd /etc/profile.d/
1

在创建my_env.sh

vim my_env.sh
1

添加内容：

#Kafka
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
1
2
3

五、将配置文件分发到其他集群中

（一）分发kafka

sudo scp -r /opt/module/kafka hadoop2:/opt/module/
sudo scp -r /opt/module/kafka hadoop3:/opt/module/
1
2

hadoop2、hadoop3的ip地址是我在hadoop1的host中映射了的。如果没有映射的话，可以通过指定ip进行分发数据

sudo scp -r /opt/module/kafka 用户名@IP地址:/opt/module/
1

（二）分发环境配置文件

sudo scp -r /etc/profile.d/my_env.sh 用户名@IP地址:/etc/profile.d/
1

注意：需要到其他集群中,重新执行配置文件，让环境生效source /etc/profile（分别需要在hadoop1、hadoop2、hadoop3中进行执行）

六、修改其他集群的server.properties

每台集群的broker.id值进行修改

七、启动zookeeper

方法一：

在每台hadoop1、hadoop2、hadoop3中执行zkServer.sh start

方法二：创建启动脚本zk.sh

在bin中创建

vim  ~/zk.sh
1

注意：配置文件中的Hadoop1、hadoop2、hadoop3是我自己的集群，需要自己修改，

#/bin/bash
case $1 in 
"start")	

	for i in hadoop1 hadoop2 hadoop3
	do
		echo "=============$i============="
		ssh $i "zkServer.sh start"
	done
;;

"stop")
	for i in hadoop1 hadoop2 hadoop3
	do
		echo "=============$i============="
		ssh $i "zkServer.sh start"
	done
;;
"status")
	for i in hadoop1 hadoop2 hadoop3
	do
		echo "=============$i============="
		ssh $i "zkServer.sh status"
	done
;;
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

修改文件权限

chmod u+x zk.sh
1

启动命令：

zk.sh start	
1

八、启动kafka

方法一：

每台kakfa的集群都需要启动：

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
1

方法二：创建启动脚本kf.sh

vim kf.sh
1

输入：

#/bin/bash
case $1 in 
"start")	

	for i in hadoop1 hadoop2 hadoop3
	do
		echo "=============$i============="
		ssh $i "kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties"
	done
;;

"stop")
	for i in hadoop1 hadoop2 hadoop3
	do
		echo "=============$i============="
		ssh $i "kafka-server-stop.sh -daemon $KAFKA_HOME/config/server.properties"
	done
;;
esac
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

并给kf.sh添加执行权限

chmod u+x kf.sh
1

启动kafka

kf.sh start
1

注意：

• kafka的关闭需要一定的时间，才会关闭。需要等kafka关闭后，再关闭zookeeper，如果不这样会导致kafka永远不能关闭，只能kill。

补充知识：Apache的大数据组件各个版本的兼容

补充知识：server.properties 的解读