一、问题背景

关于自适应的问题和细节可以参考 文章 ：Kafka消息消费之性能提升实践

多级并发含义是指针对批量数据的处理，不能完全并发，但是有条件可以分组进行并发处理，简单举例来说，针对数据集A、B、C、D、E、F、G，其中由于业务关系，其中ABC和DE和FG三组，组与为组间无法并发，但组内数据可以并发处理。

所以针对上述应用场景，需要开发相对应的技术框架，分离业务和技术关注点，降低业务复杂度。

要完成上述框架功能，分析需要解决的技术难点有：

• 首先需要一个自适应的消息采集框架，可以根据生产者的压力灵活调整批消息组中消息数量。（后序加入AI后，可以将批消息组中消息数量、处理时间、队列中存量消息数量进行学习）
• 其次批消息组间的处理要分级，需要一个分