• 3分钟了解Kfaka


    Kafka传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message

    Queue),主要应用于大数据实时处理领域。

    Kafka最新定义:Kafka是一个开源的分布式事件流平台(Event Streaming

    Platform),被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

    发布/ 订阅:订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息

    消息队列

    • 目前企业中比较常见的消息队列产品主要有 KafkaActiveMQRabbitMQ
      RocketMQ等。
    • 在大数据场景主要采用 Kafka 作为消息队列。在 JavaEE 开发中主要采用 ActiveMQ
      RabbitMQRocketMQ

    传统消息队列的应用场景

    • 传统的消息队列的主要应用场景包括: 缓存/ 消峰、 解耦和 异步通信。
    • 缓冲/ 消峰:有助于控制和优化数据流经过系统的速度,解决生产消息和消费消息的处理速度不一致的情况。
    • 解耦:允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。
    • 异步通信:允许用户把一个消息放入队列,但并不立即处理它,然后在需要的时候再去处理它们。

    消息队列的两种模式

    1.点对点模式

    消费者主动拉取数据,消息收到后清除消息

    2.发布/订阅模式

    • 可以有多个topic主题(浏览、点赞、收藏、评论等)
    • 消费者消费数据之后,不删除数据
    • 每个消费者相互独立,都可以消费到数据

    每个消费者相互独立,都可以消费到数据

    Kafka 的基础架构

    Kafka 基础架构图

    高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒;

    可扩展性:kafka集群支持热扩展;

    持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止丢失;

    容错性:允许集群中的节点失败(若分区副本数量为n,则允许n-1个节点失败);

    高并发:单机可支持数千个客户端同时读写;

    kafka的应用场景:

    日志收集:一个公司可以用Kafka收集各种服务的log,通过kafka以统一接口开放给各种消费端,例如hadoop、Hbase、Solr等。

    消息系统:解耦生产者和消费者、缓存消息等。

    用户活动跟踪:Kafka经常被用来记录web用户或者app用户的各种活动,如浏览网页、搜索记录、点击等活动,这些活动信息被各个服务器发布到kafka的topic中,然后订阅者通过订阅这些topic来做实时的监控分析,或者装载到hadoop、数据仓库中做离线分析和挖掘。

    运营指标:Kafka也经常用来记录运营监控数据。

  • 相关阅读:
    FFmpeg+OpenCV开发案例汇总
    es的检索-DSL语法和Java-RestClient实现
    MySQL学习(四)——事务与存储引擎
    [Linux]基础IO下(理解文件系统 | inode | 动静态库)
    STL-空间配置器
    你知道吗?chrome自动更新到104版本,居然引起Java服务内存泄漏
    基于SSH开发网络在线考试系统
    java 比较运算符
    算法竞赛入门【码蹄集进阶塔335题】(MT2281-2285)
    在SpringBoot下,tomcat的运行模式:BIO、NIO、APR
  • 原文地址:https://blog.csdn.net/m0_66194642/article/details/127427908