• Kafka管理平台LogiKM调研


    目前团队管理核心诉求

    topic 创建、申请、指标查看等操作;

    topic 管控、治理、集群运维操作。

    开源版、商业版对比

    简而言之,开源版的LogiKM在平台UI展示和商业版相同,但是部分功能无法使用,因为商业版依赖滴滴自建的KafkaGateway,目前该组件没有开源。

    开源版本支持功能列表

    在这里插入图片描述

    LogiKM产品主要分为用户和运维(管理员)视角

    Kafka 用户:关注的是 Topic 相关的操作,Topic 资源申请与扩容、Topic 指标监控、Topic 消费告警、Topic 消息采样、Topic 消费重置等。
    Kafka 运维:关注的是 Kafka 集群相关的操作,集群监控、集群安装、集群升级、集群 Topic 迁移、集群容量规划等。

    安装手册

    LogiKM使用说明书(推荐阅读)

    集群运维

    1. 接入集群–创建reagon–创建逻辑集群(共享集群则所有用户都可以查看)
    2. 没有监控信息检查jmx端口是否开放、网络权限是否足够
    3. 监控指标详解,mysql中_metrics结尾的表存储监控数据
    4. 需要关注指标:
      byteRejected(B/s) 每秒被拒绝的字节数
      failedFetchRequest 每秒拉取失败的请求数
      failedProduceRequest 每秒发送失败的请求数
    5. leader rebalance (手动均衡broker上的分区数据,通常是因为broker异常宕机,导致分区leader迁移,而分区leader负责数据读写操作,通过触发rebalance可以平衡broker上的leader分配)
    6. 迁移任务(如果数据量大,迁移任务建议放在空闲时间段)
      场景:已有的同集群中新增了一个Broker节点,此时需要将原来集群中已有的Topic的数据迁移部分到新的集群中,缓解集群压力。

    配置参数说明

    配置参数

    本地搭建kafka测试

    本地搭建zk
     
    10.10.10.10
    docker run -d --name zookeeper -p 2181:2181 -t -v /etc/localtime:/etc/localtime wurstmeister/zookeeper 
     
    本地搭建kafka集群
    docker run -d --name kafka1 --publish 9092:9092 --publish 9988:9988 --link zookeeper -v /etc/localtime:/etc/localtime --env KAFKA_BROKER_ID=1 \
    --env KAFKA_ZOOKEEPER_CONNECT=10.10.10.10:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=10.10.10.10 \
    --env KAFKA_ADVERTISED_PORT=9092 \
    --env JMX_PORT=9988 \
    wurstmeister/kafka:latest
     
    docker run -d --name kafka2 --publish 9093:9093 --publish 9989:9989 --link zookeeper -v /etc/localtime:/etc/localtime --env KAFKA_BROKER_ID=2 \
    --env KAFKA_ZOOKEEPER_CONNECT=10.10.10.10:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=10.10.10.10 \
    --env KAFKA_ADVERTISED_PORT=9093 \
    --env JMX_PORT=9989 \
    wurstmeister/kafka:latest
    
    docker run -d --name kafka3 --publish 9094:9094 --publish 9990:9990 --link zookeeper -v /etc/localtime:/etc/localtime  --env KAFKA_BROKER_ID=3 \
    --env KAFKA_ZOOKEEPER_CONNECT=10.10.10.10:2181 \
    --env KAFKA_ADVERTISED_HOST_NAME=10.10.10.10 \
    --env KAFKA_ADVERTISED_PORT=9094 \
    --env JMX_PORT=9990 \
    wurstmeister/kafka:latest
    
    创建个终端进行测试
    docker run --rm -it wurstmeister/kafka:latest bash
    kafka-console-producer.sh --broker-list 10.10.10.10:9092,10.10.10.10:9093,10.10.10.10:9094 --topic zzd-test1
    kafka-console-consumer  --bootstrap-server 10.10.10.10:9092,10.10.10.10:9093,10.10.10.10:9094 --from-beginning --topic zzd-test1
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
  • 相关阅读:
    【计算几何】大自然的艺术--分形
    JSR303和拦截器
    Python中的变量是什么类型?
    Spring MVC - 相关内容2
    Vue 同步组件和异步组件的差别
    华为OD机试真题- 阿里巴巴找黄金宝箱(IV)-2023年OD统一考试(B卷)
    tars架构
    UNet网络模型学习总结
    Appnium测试app时,报错:The permission to start activity has been denied
    bootloader介绍
  • 原文地址:https://blog.csdn.net/qq_16240085/article/details/125497172