码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • kafka Streams消费最新的消息


    这里写自定义目录标题

      • 引入maven
      • 问题
      • 基础配置建立
      • 配置效果

    先说结论:kafka Streams组件并不支持通过制定的参数配置进行直接消费最新消息,即使是全新的消费者组,也就是参数 application-id设置为从来没用过的,也无法消费最新的消息,但是从另一个角度去思考,如果把就消息都消费完了,那么该 application-id的消费者不就可以消费到最新的消息了吗?是的,该思路是目前比较有效的手段,做法是需要在业务逻辑上兼容处理过去的消息,待kafka streams应用消费完旧消息,后续监听到的消息就为新消息。

    引入maven

    <dependencies>
        <dependency>
            <groupId>org.apache.kafkagroupId>
            <artifactId>kafka_2.13artifactId>
            <version>2.8.1version>
        dependency>
        <dependency>
            <groupId>org.apache.kafkagroupId>
            <artifactId>kafka-streamsartifactId>
            <version>2.8.1version>
        dependency>
    dependencies>
    

    问题

    虽然消费了旧消息就可以消费新消息,但是在有些场景下,默认的消费配置并不能跟得上生产的速度,或者需要消费很久才能把堆积的消息消费完,因此在一些配置上需要做一些变动,不适用默认配置项。
    经实测:更改一些默认配置项可以改变消费速度【接受消息的容量】,从单线程1s3000条消息消费提升至1s30000条左右的消息,由于当时该改动已经符合我的需求,便没有将配置值设置的特别大。

    基础配置建立

    这里进行了简单的配置,其中比较重要的是后续的两个参数

    import org.apache.kafka.common.serialization.Serdes;
    import
  • 相关阅读:
    06条件判断
    Scrum敏捷开发企业培训大纲介绍-企业内训
    白盒测试之语句覆盖、判定覆盖、条件覆盖等
    文献学习-5-用于腹腔镜安全的自主控制的基于GMM的启发式决策框架
    HCIE-HCS规划设计搭建
    C++从0吃透string类
    MATLAB | 如何绘制二维散点主方向直方图
    CVM虚拟机创建
    Mybatis01入门+使用和配置+面试题mybatis与hibernate的区别+ssm与ssh2开发对比
    trick1-注意力机制使用
  • 原文地址:https://blog.csdn.net/weixin_43218670/article/details/127044064
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号