• 三、部署kafka



    一、配置zookeeper

    需要有java环境,在之前的博客中已经有些,这里不再配置java环境

    使用网络下载zookeeper

    wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
    
    • 1

    解压

    tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
    
    • 1

    进行配置
    我在zookeeper的目录里创建两个目录,这个目录用来配置zookeeper存放的数据。

    mkdir data
    mkdir dataLog
    
    • 1
    • 2

    在这里插入图片描述

    
    cd apache-zookeeper-3.5.8-bin/conf/
    cp zoo_sample.cfg zoo.cfg
    vim zoo.cfg
    
    • 1
    • 2
    • 3
    • 4
    dataDir这个默认地址是临时的目录,可能过段时间就给清理掉了。换成自己的目录。log没有配置。你也可以加上
    #存放数据文件夹
    dataDir=/opt/software/apache-zookeeper-3.5.8-bin/data
    #添加日志存放文件夹
    dataLogDir=/opt/software/apache-zookeeper-3.5.8-bin/dataLog
    
    • 1
    • 2
    • 3
    • 4
    • 5

    在这里插入图片描述

    启动

    前提是你有java环境
    在他的bin目录执行

    ./zkServer.sh start
    
    • 1

    在这里插入图片描述

    配置开机自启和环境变量(选看)

    vim /etc/profile.d/my_env.sh
    
    • 1
    #ZOOKEEPER_HOME
    export ZOOKEEPER_HOME=/opt/software/apache-zookeeper-3.5.8-bin
    export PATH=$PATH:$ZOOKEEPER_HOME/bin
    
    • 1
    • 2
    • 3
    source /etc/profile
    
    • 1

    设置开机自启

    cd /etc/rc.d/init.d/
    
    • 1
    touch zookeeper
    
    • 1
    chmod +x zookeeper
    
    • 1
     vim zookeeper
    
    • 1
    #!/bin/bash
    #chkconfig:- 20 90
    #description:zookeeper
    #processname:zookeeper
    ZOOKEEPER_HOME=/opt/software/apache-zookeeper-3.5.8-bin
    export JAVA_HOME=/opt/software/jdk8
    case $1 in
    start) su root $ZOOKEEPER_HOME/bin/zkServer.sh start;;
    stop) su root $ZOOKEEPER_HOME/bin/zkServer.sh stop;;
    status) su root $ZOOKEEPER_HOME/bin/zkServer.sh status;;
    restart) su root $ZOOKEEPER_HOME/bin/zkServer.sh restart;;
    *) echo "require start|stop|status|restart" ;;
    esac
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    chkconfig --add zookeeper
    
    • 1
    chkconfig zookeeper on
    
    • 1

    二、配置kafka

    kafka官网
    下载kafka压缩包
    名称前半部分和后半部分的含义如图所示
    在这里插入图片描述

    使用xftp传送下载好的安装包。

    在这里插入图片描述
    没有xftp可以使用如下命令,在Linux中下载好压缩包

    wget https://archive.apache.org/dist/kafka/2.7.1/kafka_2.12-2.7.1.tgz
    
    • 1

    解压

    tar -zxvf kafka_2.12-2.7.1.tgz
    
    • 1
    cd kafka_2.13-2.7.1/
    
    • 1

    1.创建kafka的日志存储目录

    mkdir kafka-log
    
    • 1
    cd config/
    
    • 1

    2.配置相关参数

    vim server.properties
    
    • 1

    3.具体内容如下

    #broker.id属性在kafka集群中必须要是唯一
    broker.id=0
    #kafka部署的机器ip和提供服务的端口号
    listeners=PLAINTEXT://192.168.220.66:9092
    #kafka的消息存储文件
    log.dirs=/opt/software/kafka_2.13-2.7.1/kafka-log
    #kafka连接zookeeper的地址
    zookeeper.connect=192.168.220.66:2181
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    4.启动kafka

    启动kafka前,需要先启动了zookeeper
    后台启动

    cd /opt/software/kafka_2.13-2.7.1
    
    • 1
    bin/kafka-server-start.sh -daemon config/server.properties
    
    • 1

    查看kafka启动是否成功

    jps
    
    • 1

    在这里插入图片描述
    查看zookeeper下创建kafka相关的目录

     zkCli.sh
    
    • 1
    ls /
    
    • 1

    在这里插入图片描述

    总结

    到此单机版kafka的搭建完毕,后期会更新集群的搭建,和它类似,只是稍微改一下配置文件信息。其实这些配置都是换汤不换药,掌握一个搭建的方法后,其他的可以仿照之前的方法进行搭建。不要懒多动手搭建几次,如果实在嫌麻烦,搭建完记得完全克隆一下虚拟机,方便下次直接使用。如果遇到问题,可以私信作者,在闲暇之余会为你解答。

  • 相关阅读:
    JAVA- Acwing -求 1+2+...+n
    金九银十!我说这是十月最全的《高频Java面试题合集》不过分吧!
    大数据培训技术自定义组件Source案例测试
    数组的相关知识
    最小二乘法在ISP CCM标定中的简介
    JavaScript的map方法
    断点测试怎么做?一文教你用Charles 工具做好接口测试!
    k8s deployment讲解
    easyrecovery工具2023最新版一键恢复丢失数据免费下载
    flink sql clinet 实战:upsert kafka connector -- flink-1.12
  • 原文地址:https://blog.csdn.net/xiaobai_july/article/details/127717357