• kafka主体(topic)消息保存关键参数解析


    从保存消息方面来考量,下面这组参数是非常重要的:

    retention.ms:规定了该 Topic 消息被保存的时长。默认是 7 天,即该 Topic 只保存最近 7 天的消息。一旦设置了这个值,它会覆盖掉 Broker 端的全局参数值。

    1. ./kafka-topics.sh --describe --zookeeper zk:2181 --topic topicName
    2. ./kafka-topics.sh --zookeeper zk:2181 -topic topicName --alter --config retention.ms=2678400000


    retention.bytes:规定了要为该 Topic 预留多大的磁盘空间。和全局参数作用相似,这个值通常在多租户的 Kafka 集群中会有用武之地。当前默认值是 -1,表示可以无限使用磁盘空间。作用在partition上,这个topic的数据大小=retention.bytes * 分区数  如果使用“delete”保留策略,此配置控制分区(由日志段组成)在放弃旧日志段以释放空间之前的最大大小。默认情况下,没有大小限制,只有时间限制。由于此限制是在分区级别强制执行的,因此,将其乘以分区数,计算出topic保留值,以字节为单位。


    max.message.bytes:它决定了 Kafka Broker 能够正常接收该 Topic 的最大消息大小就,单条消息的大小。


    bin/kafka-topics.sh--bootstrap-serverlocalhost:9092--create--topictransaction--partitions1--replication-factor1--configretention.ms=15552000000    --config  max.message.bytes=5242880  (单位 : bytes  ;    单条消息不能超过5M)
     

  • 相关阅读:
    被Chatgpt碾压的打工人与大学生,准备反击!
    作为移动开发你不能不了解的编译流程
    HAproxy+keepalived+nginx 实验部署
    Spring——AOP
    Java IO流 要点
    信息与编码(补码的作用)
    git命令 本地
    win11+WSL2安装visdom
    C语言 数据结构 顺序表的 插入与删除
    JVM 执行引擎部分 (编译器、解释器)
  • 原文地址:https://blog.csdn.net/WangYouJin321/article/details/126706956