kafka安装

kafka安装

1 kafka概念

1.1 kafka介绍

  kafka是最初有Linkedin公司开发的，是一个分布式，分区，多副本，多生产者，多订阅者，基于zookeeper协调的分布式日志系统。具有高吞吐量，可扩展性和可容错性等特点，广泛用于大数据、实时分析、日志收集等

  kafak的核心概念

• 主题（Topic）：消息的分类，生产者将消息发送到特定的主体，消费者则从主体中读取消息，一个主体可以有多个分区，以实现水平扩展
• 分区（Partition）：为了实现高吞吐量和容错性，kafka将主体分为多个分区，每个分区都存储一部分消息，独立进行读写操作
• 生产者（Producer）：负责将消息放松到kafka集群的主题。生产者可以选择同步或者异步发送消息
• 消费者（Consumer）：从Kafka集群的主体中读取消息并进行处理 。消费者可以选择同步或者异步的方式消费消息
• 代理（Broker）：一个独立的Kafka服务器称为Broker，Broker为消费者提供服务，对读取的分区的请求作出相应，返回已经提交到磁盘上的消息。Broker可以是淡季模式或者多机模式
• Zookeeper：Kafka使用zookeeper来管理集群的元数据信息，如主体、分区、消费者等

2 Kafka安装与配置

2.1 java环境配置

  1、上传jdk-8u261-linux-x64.rpm到服务器并安装：

rpm -ivh jdk-8u261-linux-x64.rpm
1

  2、配置环境变量

export JAVA_HOME=/java/jdk1.8.0_231
export  PATH=$PATH:$JAVA_HOME/bin
1
2

# 使配置的文件生效
source /etc/profile
# 验证
java -version
1
2
3
4

2.2 Zookeeper的安装配置

  1、上传zookeeper-3.4.14.tar.gz到服务器
  2、解压到/opt：

tar -zxf zookeeper-3.4.14.tar.gz -C /opt
cd /opt/zookeeper-3.4.14/conf
#复制zoo_sample.cfg命名为z00.cfg
cp zoo_sample.cfg zoo.cfg
#编辑zoo.cfg文件
vim zoo.cfg
1
2
3
4
5
6

  3、修改Zookeeper保存数据的⽬录，dataDir：

dataDir=/var/lagou/zookeeper/data
1

  4、编辑/etc/profile：

• 设置环境变量ZOO_LOG_DIR，指定Zookeeper保存⽇志的位置；
• ZOOKEEPER_PREFIX指向Zookeeper的解压⽬录；
• 将Zookeeper的bin⽬录添加到PATH中：

export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14
export PATH-SPATH:$ZOOKEEPER_PREFIX/bin
export Z00_LOG_DIR=/var/lagou/zookeeper/log
1
2
3

  5、使配置⽣效：

source /etc/profile
1

  6、验证

2.3 kafka安装

  1、上传kafka_2.12-1.0.2.tgz到服务器并解压：

tar -zxf kafka_2.12-1.0.2.tgz -C /opt
1

  2、配置环境变量并⽣效：

export KAFKA_HOME=/opt/kafka_2.12-1.0.2
export PATH=$PATH:$KAFKA_HOME/bin
1
2

  3、配置/opt/kafka_2.12-1.0.2/config中的server.properties⽂件：
  Kafka连接Zookeeper的地址，此处使⽤本地启动的Zookeeper实例，连接地址是localhost:2181，后⾯的
myKafka 是Kafka在Zookeeper中的根节点路径：
然后配置kafka存储持久化数据的⽬录

log.dir=/opt/data/kafka-logs
1

  4、启动Zookeeper

 zkServer.sh start
1

  5、查看Zookeeper状态

zkServer.sh status
1

  6、启动kafka（前台启动）
  进入kafka目录，通过配置文件启动

cd /opt/kafka_2.12-1.0.2
# 此为前台启动
kafka-server-start.sh config/server.properties
1
2
3

这是前台启动，crtl+c就停止进程了

# 后台启动
kafka-server-start.sh  -daemon   config/server.properties
# 查看进程
ps aux | grep kafka
1
2
3
4

# kafka 停止
kafka-server-stop.sh 
1
2