• kafka-consumer-groups.sh消费者组管理

    1.查看消费者列表 --list

    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --list

    • 1

    在这里插入图片描述

      先调用MetadataRequest拿到所有在线Broker列表 再给每个Broker发送ListGroupsRequest请求获取 消费者组数据。

    2. 查看消费者组详情–describe

    查看指定消费组详情--group

    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --describe --group hy-group

    • 1

    在这里插入图片描述

    查看所有消费组详情--all-groups

    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --describe --all-groups

    • 1

    在这里插入图片描述

    查询消费者成员信息--members

    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --describe --all-groups  --members

    • 1

    在这里插入图片描述

    查询消费者状态信息--state

    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --describe --group hy-group --state

    • 1

    在这里插入图片描述

    3. 删除消费者组–delete

    删除指定消费组--group

    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --delete --group test

    • 1

    删除所有消费组--all-groups

    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --delete --all-groups

    • 1

    想要删除消费组前提是这个消费组的所有客户端都停止消费/不在线才能够成功删除;否则会报下面异常

    * Group 'hy-group' could not be deleted due to: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.GroupNotEmptyException: The group is not empty.

    • 1

    4.重置消费组的偏移量 --reset-offsets

    重置指定消费组的偏移量 --group

    • 重置指定消费组的所有Topic的偏移量--all-topic
    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --reset-offsets --to-earliest --group  hy-group --dry-run --all-topic

    • 1
    • 重置指定消费组的指定Topic的偏移量--topic
    bin/kafka-consumer-groups.sh --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --reset-offsets --to-earliest --group  hy-group --dry-run --topic hy-test-topic

    • 1

    重置所有消费组的偏移量 --all-group

    • 重置所有消费组的所有Topic的偏移量--all-topic
    bin/kafka-consumer-groups.sh --reset-offsets --to-earliest --all-group --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --dry-run --all-topic

    • 1
    • 重置所有消费组中指定Topic的偏移量--topic
    bin/kafka-consumer-groups.sh --reset-offsets --to-earliest --all-group --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092 --dry-run --topic test2

    • 1
    参数描述例子
    –to-earliest :重置offset到最开始的那条offset(找到还未被删除最早的那个offset)
    –to-current:直接重置offset到当前的offset，也就是LOE
    –to-latest：重置到最后一个offset
    –to-datetime:重置到指定时间的offset;格式为:YYYY-MM-DDTHH:mm:SS.sss;–to-datetime “2021-6-26T00:00:00.000”
    –to-offset重置到指定的offset,但是通常情况下,匹配到多个分区,这里是将匹配到的所有分区都重置到这一个值; 如果 1.目标最大offset<–to-offset, 这个时候重置为目标最大offset；2.目标最小offset>–to-offset ，则重置为最小; 3.否则的话才会重置为–to-offset的目标值; 一般不用这个–to-offset 3465
    –shift-by按照偏移量增加或者减少多少个offset；正的为往前增加;负的往后退；当然这里也是匹配所有的;–shift-by 100 、–shift-by -100
    –shift-by按照偏移量增加或者减少多少个offset；正的为往前增加;负的往后退；当然这里也是匹配所有的;–shift-by 100 、–shift-by -100
    –from-file根据CVS文档来重置
  • 相关阅读:
    数据艺术：精通数据可视化的关键步骤
    Swift加载Lottie
    一次服务器被入侵的处理过程分享
    spark支持深度学习批量推理
    [HDLBits] Count clock
    少儿编程 电子学会图形化编程等级考试Scratch一级真题解析（选择题）2022年9月
    Fabric上搭建Hyperledger caliper进行性能测试
    【Python 千题 —— 基础篇】进制转换：十进制转十六进制
    【数组】通过翻转子数组使两个数组相等
    攻防世界-WEB-easyupload
  • 原文地址：https://blog.csdn.net/weixin_44852067/article/details/133354854