• RabbitMQ


    RabbitMQ

    1、RabbitMQ概念

    ​ MQ(message queue),从字面意思上看,本质是个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了MQ之后,消息发送上游只需要依赖MQ,不用依赖其他服务。

    ​ RabbitMQ是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点,当你要发送一个包裹时,你把你的包裹放到快递站,快递员最终会把你的快递送到收件人那里,按照这种逻辑RabbitMQ是一个快递站,一个快递员帮你传递快件。RabbitMQ与快递站的主要区别在于,它不处理快件而是接收,存储和转发消息数据。

    1.1、为什么使用RabbitMQ?

    1. 流量削峰

      ​ 举个例子,如果订单系统最多能处理一万次订单,这个处理能力应付正常时段的下单时绰绰有余,正常时段我们下单一秒后就能返回结果。但是在高峰期,如果有两万次下单操作系统是处理不了的,只能限制订单超过一万后不允许用户下单。使用消息队列做缓冲,我们可以取消这个限制,把一秒内下的订单分散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体验要好。

    2. 应用解耦

      ​ 以电商应用为例,应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障,都会造成下单操作异常。当转变成基于消息队列的方式后,系统间调用的问题会减少很多,比如物流系统因为发生故障,需要几分钟来修复。在这几分钟的时间里,物流系统要处理的内存被缓存在消息队列中,用户的下单操作可以正常完成。当物流系统恢复后,继续处理订单信息即可,中单用户感受不到物流系统的故障,提升系统的可用性。

      image-20240226180529162

    3. 异步处理

      ​ 有些服务间调用是异步的,例如A调用B,B需要花费很长时间执行,但是A需要知道B什么时候可以执行完,以前一般有两种方式,A过一段时间去调用B的查询api查询。或者A提供一个callback api,B执行完之后调用api通知A服务。这两种方式都不是很优雅,使用消息总线,可以很方便解决这个问题,A调用B服务后,只需要监听B处理完成的消息,当B处理完成后,会发送一条消息给MQ,MQ会将此消息转发给A服务。这样A服务既不用循环调用B的查询api,也不用提供callback api。同样B服务也不用做这些操作。A服务还能及时的得到异步处理成功的消息。

      image-20240226181014671

    1.2、MQ分类

    1、ActiveMQ

    • 优点:单机吞吐量万级,时效性ms级,可用性高,基于主从架构实现高可用性,消息可靠性较低的概率丢失数据。
    • 缺点:官方社区现在对ActiveMQ 5.x维护越来越少,高吞吐量场景较少使用。

    2、KafKa

    ​ 大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开Kafka,这款为大数据而生的消息中间件以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用。目前已经被LinkedIn,uber,Twitter,Netflix等大公司所采纳。

    • **优点:**性能卓越,单机写入TPS约在百万条/秒,最大的优点,就是吞吐量高。时效性ms级可用性非常高,kafka是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据,不会导致不可用,消费者采用Pull方式获取消息,消息有序,通过控制能够保证所有消息被消费且仅被消费一次;有优秀的第三方Kafka Web管理界面Kafka-Manager;在日志领域比较成熟,被多家公司和多个开源项目使用;功能支持:功能较为简单,主要支持简单的MQ功能,在大数据领域的实时计算以及日志采集被大规模使用。
    • **缺点:**Kafka单机超过64个队列/分区,Load 会发生明显的飙高现象,队列越多,load越高,发送消息响应时间变长,使用短轮询方式,实时性取决于轮询间隔时间,消费失败不支持重试;支持消息顺序,但是一台代理宕机后,就会产生消息乱序,社区更新较慢;

    3、RocketMQ

    ​ RocketMQ出自阿里巴巴的开源产品,用Java语言实现,在设计时参考了Kafka,并做出了自己的一些改进。被阿里巴巴广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理,binglog分发等场。

    • **优点:**单机吞吐量十万级,可用性非常高,分布式架构,消息可以做到О去天,MQ功能牧乃元誉,还力布式的,扩展性好,支持10亿级别的消息堆积,不会因为堆积导致性能下降,源码是java我们可以自己阅读源码,定制自己公司的MQ

    • **缺点:**支持的客户端语言不多,目前是java及c++,其中C++个成烈,江区古欧度一股又行任M核心中去实现JMS等接口,有些系统要迁移需要修改大量代码。

    4、RabbitMQ

    ​ 2007年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。

    • **优点:**由于erlang语言的高并发特性,性能较好;吞吐量到万级,MQ功能比较完备,健壮、稳定、易用、跨平台、支持多种语言如: Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMp等,支持AAX文档齐全;开源提供的管理界面非常棒,用起来很好用,社区活跃度高;更新频率相当高

    • **缺点:**商业版需要收费,学习成本较高

    1.3、MQ的选择

    • 大型公司一般就是KafKa适合大数据,如果又有日志采集的需求那首选就是kafka了。

    • Rocket,天生为金融互联网领域而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。RoketMQ在稳定性上可能更值得信赖,这些业务场景在阿里双11已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择RocketMQ。

    • RabbitMQ,结合erlang语言本身的并发优势,性能好时效性微秒级,社区活跃度也比较高,管理界面用起来十分方便,如果你的数据量没有那么大,中小型公司优先选择功能比较完备的RabbitMQ.

    1.4、RabbitMQ的四个概念

    • 生产者

      产生数据发送消息的程序是生产者

    • 交换机

      ​ 交换机是RabbitMQ非常重要的一个部件,一方面它接收来自生产者的消息,另一方面它将消息推送到队列中。交换机必须确切知道如何处理它接收到的消息,是将这些消息推送到特定队列还是推送到多个队列,亦或者是把消息丢弃,这个得有交换机类型决定。

    • 队列

      ​ 队列是RabbitMQ内部使用的一种数据结构,尽管消息流经RabbitMQ和应用程序,但它们只能存储在队列中。队列仅受主机的内存和磁盘限制的约束,本质上是一个大的消息缓冲区。许多生产者可以将消息发送到一个队列,许多消费者可以尝试从一个队列接收数据。这就是我们使用队列的方式,交换机和队列是绑定关系,一个交换机可以绑定多个队列,一个队列也可以有多个消费者

    • 消费者
      消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者,消费者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又是可以是消费者。

    1.5、RabbitMQ的六大核心部分简介(六大模式)

    1. Point-to-Point (PTP) 模式: 在这种模式下,一个消息只能被一个消费者接收。生产者将消息发送到队列中,然后消费者从队列中接收消息并处理它。消息一旦被消费者接收,就会从队列中删除。
    2. Publish/Subscribe 模式: 在这种模式下,一个消息可以被多个消费者接收。生产者将消息发布到一个交换机(exchange),而不是直接发送到队列。然后,与该交换机绑定的所有队列都会收到消息的副本。
    3. Topic 模式: 类似于 Publish/Subscribe 模式,但是消息的路由更加灵活。生产者将消息发布到交换机,并指定一个主题(topic)。消费者通过创建绑定(binding),将队列与特定主题匹配模式绑定到交换机上。交换机根据主题路由消息到相应的队列。
    4. Headers 模式: 在这种模式下,消息的路由键是消息头中的一个集合而不是一个字符串。生产者发布带有特定头的消息,而消费者根据消息头的特定值来接收消息。
    5. RPC(Remote Procedure Call)模式: 这种模式下,客户端发送请求消息到一个队列,服务器监听该队列并处理请求,然后将结果发送回客户端指定的队列。客户端等待结果队列上的响应消息,并进行处理。
    6. Work Queues 模式: 也被称为任务队列模式。在这种模式下,多个消费者共享一个队列以处理一组耗时的任务。生产者将任务放入队列,而消费者则从队列中获取任务并执行。这种模式可以用来实现负载均衡和任务分发。

    image-20240226195955409

    1.6、各名词解释

    image-20240226200224447

    • **Broker:**收和分发消息的应用,RabbitMQ Server就是Message Broker;

    • **Virtual host:**出于多租户和安全因素设计的,把AMQP 的基本组件划分到一个虚拟的分组中,类似于网络中的namespace,概念。当多个不同的用户使用同一个RabbitMQ server提供的服务时,可以划分出多个vhost,每个用户在自己的vhost创建exchange / queue 等;

    • Connection: publisher / consumer和broker之间的TCP连接

    • **Channel(信道)😗*如果每一次访问RabbitMQ都建立一个Connection,在消息量大的时候建立TCP Connection的开销将是巨大的,效率也较低。Channel是在connection内部建立的逻辑连接,如果应用程序支持多线程,通常每个thread 创建单独的channel进行通讯,AMQP method包含了channel id帮助客户端和message broker识别 channel,所以channel之间是完全隔离的。Channel作为轻量级的Connection极大减少了操作系统建立TCP connection的开销;

    • Exchange(交换机): message到达 broker 的第一站,根据分发规则,匹配查询表中的 routing key,分发消息到queue 中去。常用的类型有: direct (point-to-point), topic (publish-subscribe) and fanout(multicast)

    • **队列Quleue:**消息最终被送到这里等待consumer取走;

    • Binding(绑定): exchange和queue之间的虚拟连接,也可以理解为绑定,binding 中可以包含routing key,Binding 信息被保存到exchange中的查询表中,用于message的分发依据

    2、安装

    2.1、下载软件包并安装

    直接去官网,RabbitMQ: easy to use, flexible messaging and streaming | RabbitMQ

    RabbitMQ-server-3.8.8-1.el7版本下载连接rabbitmq-server-3.8.8-1.el7.noarch.rpm (github.com)

    RabbitMQ的运行依赖于erlang,所以需要查看当前RabbitMQ服务所需的erlang版本,这里3.8.8版本的可以下载23.3.4.4-1的。

    erlang-23.3.4.4版本下载地址:erlang-23.3.4.4-1.el7.x86_64.rpm (github.com)

    查看erlang和rabbitmq版本对应的连接RabbitMQ Erlang Version Requirements | RabbitMQ

    image-20240227090854257

    下载之后

    image-20240227091938806

    安装之前还需要安装一个依赖socat

    yum -y install socat
    
    • 1

    使用rpm命令安装erlang和rabbitmq

    rpm -ivh erlang-23.3.4.4-1.el7.x86_64.rpm 
    rpm -ivh rabbitmq-server-3.8.8-1.el7.noarch.rpm 
    
    • 1
    • 2

    image-20240227092329042

    查看一下erlang是否安装成功

    erl -v
    
    • 1

    image-20240227092550043

    设置rabbit-server开机自启

    systemctl enable rabbitmq-server.service 
    systemctl start rabbitmq-server.service 
    systemctl status rabbitmq-server.service
    
    • 1
    • 2
    • 3

    image-20240227092718267

    启动完成

    2.2、安装rabbitmq的后台管理web界面,开启web管理插件

    需要先将服务停止再开启web界面

    开启命令:rabbitmq-plugins enable rabbitmq-management
    
    • 1

    image-20240227093220913

    然后再启动服务,启动服务之后关掉防火墙,然后浏览器输入IP端口号是15672

    image-20240227093433199

    有默认的游客登录,账号和密码都是guest,但是直接登录会发现没有权限。

    image-20240227130726149

    2.3、添加用户设置权限

    • 创建账号

      rabbitmqctl add_user admin 123

    • 设置用户角色

      rabbitmqctl set_user_tags admin administrator

    • 设置用户权限

      set_permissions [-p ]

      rabbitmqctl set_permissions -p “/” admin “." ".” “.*”

      表示用户user_admin具有/vhost1这个virtual host 中所有资源的配置、写、读权限

    • 当前用户和角色

      rabbitmqctl list_users

    • 使用admin用户登录进入后台

    先查看一下当前有什么用户,只有一个guest

    image-20240227131420798

    然后再添加admin和设置权限再查看新增用户image-20240227131859196

    然后再使用admin用户登录进入后台

    image-20240227131957592

    3、HelloWord

    ​ 下面模拟生产消费者的关系,使用java编写两个程序,生产者程序发送单个消息,消费者接收和打印出消息。

    image-20240227132330313

    3.1、基本环境搭建

    创建maven项目导入依赖

    <dependencies>
        
        
        <dependency>
            <groupId>com.rabbitmqgroupId>
            <artifactId>amqp-clientartifactId>
            <version>5.8.0version>
        dependency>
        
        
        <dependency>
            <groupId>commons-iogroupId>
            <artifactId>commons-ioartifactId>
            <version>2.6version>
        dependency>
    
    dependencies>
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17

    3.2、生产者程序

    发消息给队列

    //生产者程序发消息给叫hello的队列
    public class Producer {
        //定义消息队列的名称为hello
        public static final String QUEUE_NAME = "hello";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            //创建一个连接工厂对象
            ConnectionFactory factory = new ConnectionFactory();
            //设置工厂的IP地址进行连接
            factory.setHost("192.168.111.28");
            //设置用户名和密码
            factory.setUsername("admin");
            factory.setPassword("123");
    
            //创建链接
            Connection connection = factory.newConnection();
            //根据rabbitmq的原理图可以知道,建立连接并不是直接能与rabbit通讯而是使用信道Channel进行连接的
            //所以还需获取信道,通过信道就能连接到rabbit,连接到队列
            Channel channel = connection.createChannel();
            //创建一个队列,通过信道调取队列声明
            /*
            *queueDeclare方法有多个参数
            * 第一个参数:队列的名称已经起过了hello;
            * 第二个参数:是否开启消息持久化(保存在磁盘中),默认是不开启的,保存至内存中的;
            * 第三个参数:是否提供多个消费者(消息共享),true就是支持多个消费者读取,false只能允许一个消费者;
            * 第四个参数:是否开启自动删除功能,当最后一个消费者断开连接后自动删除该队列,true就是自动删除
            * 第五是其他参数后期使用
            * */
            channel.queueDeclare(QUEUE_NAME,false,false,false,null);
            //发个消息
            String message = "hello world";
            /*basicPublish的几个参数
            *第一个参数:发送到哪一个交换机,在这里空着
            *第二个参数:路由值,就是队列的名称
            *第三个参数:其他参数消息
            *第四个参数:消息体,要取二进制
            * */
            channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
            System.out.println("发送成功!");
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41

    启动程序发送消息然后到rabbitmq的web管理界面查看

    image-20240227173037282

    image-20240227173208648

    3.3、消费者程序

    从队列里拿消息

    //消费者从队列中拿到消息并打印输出
    public class Consumer {
        //定义消息队列的名称为hello
        public static final String QUEUE_NAME = "hello";
        //接收消息
        public static void main(String[] args) throws IOException, TimeoutException {
            //创建一个连接工厂对象
            ConnectionFactory factory = new ConnectionFactory();
            //设置工厂的IP地址进行连接
            factory.setHost("192.168.111.28");
            //设置用户名和密码
            factory.setUsername("admin");
            factory.setPassword("123");
            //创建链接
            Connection connection = factory.newConnection();
            Channel channel = connection.createChannel();
    
            //消费者用信道接收消息
            /*basicConsume的几个参数
            *第一个参数:消费哪一个队列
            *第二个参数:消费成功之后是否自动应答,true是自动应答
            *第三个参数:消费者未成功消息的回调
            *第四个参数:消费者取消消费的回调
            *第三和第四个参数需要lambda表达式
            * */
            //声明接收消息回调
            DeliverCallback deliverCallback = (consumerTag,message)->{
                System.out.println("消息内容:"+new String(message.getBody()));
            };
            //声明取消消息回调
            CancelCallback callback = consumerTag ->{
                System.out.println("消息消费被中断");
            };
            channel.basicConsume(QUEUE_NAME,true,deliverCallback,callback);
            
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37

    启动程序拿到消息

    image-20240227180116091

    查看web界面

    image-20240227180205581

    4、Work Queues(工作队列)

    ​ 工作队列(又称任务队列)的主要思想是避免立即执行资源密集型任务,而不得不等待它完成。相反我们安排任务在之后执行。我们把任务封装为消息并将其发送到队列。在后台运行的工作进程将弹出任务并最终执行作业。当有多个工作线程时,这些工作线程将一起处理这些任务。(显然这种官话看不懂😓)

    简单理解一下

    image-20240227181622430

    4.1、抽取工具类

    //此类为连接工厂创建信道的工具类
    public class RabbitMQUtils {
        public static Channel getChannel() throws IOException, TimeoutException {
            //创建一个连接工厂对象
            ConnectionFactory factory = new ConnectionFactory();
            //设置工厂的IP地址进行连接
            factory.setHost("192.168.111.28");
            //设置用户名和密码
            factory.setUsername("admin");
            factory.setPassword("123");
            //创建链接
            Connection connection = factory.newConnection();
            //根据rabbitmq的原理图可以知道,建立连接并不是直接能与rabbit通讯而是使用信道Channel进行连接的
            //所以还需获取信道,通过信道就能连接到rabbit,连接到队列
            return connection.createChannel();
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17

    4.2、工作线程实例

    //一个工作线程相当于之前的消费者
    public class Work01 {
        //定义消息队列的名称为hello
        public static final String QUEUE_NAME = "hello";
    
        //接收消息
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            DeliverCallback deliverCallback = (consumerTag,message) ->{
                System.out.println("消息内容:"+new String(message.getBody()));
            };
            CancelCallback callback = consumerTag ->{
                System.out.println("消费者取消消费接口回调逻辑...."+consumerTag);
            };
            System.out.println("C1接收消息......");
            channel.basicConsume(QUEUE_NAME,true,deliverCallback,callback);
        }
    
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19

    允许一次之后可以在idea的运行设置中将允许多个实例勾选上应用即可再开一个实例

    image-20240228103700326

    重复开启三个实例

    image-20240228103946487

    4.3、生产者实例

    生产者要发送大量的消息,发到hello队列中,我们在控制台输入消息发送

    //生产者发送大量的消息到hello队列中
    public class Task01 {
        //定义消息队列的名称为hello
        public static final String QUEUE_NAME = "hello";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            //发送消息
            Channel channel = RabbitMQUtils.getChannel();
            //创建一个队列,通过信道调取队列声明
            channel.queueDeclare(QUEUE_NAME,false,false,false,null);
            //发个消息,输入啥发啥
            Scanner scanner = new Scanner(System.in);
            while (scanner.hasNext()){
                String message = scanner.next();
                channel.basicPublish("",QUEUE_NAME,null,message.getBytes());
                System.out.println("已发送:"+message);
            }
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19

    启动生产者发送消息,先发一个AA

    image-20240228110022224

    被C1接收到了

    image-20240228110034283

    再多发几个

    image-20240228110323060

    各个消费者他们轮询地接收到消息

    4.4、消息应答

    4.4.1、概念

    ​ 消费者完成一个任务可能需要一段时间,如果其中一个消费者处理一个长的任务并仅只完成了部分突然它挂掉了,会发生什么情况?RabbitMQ一旦向消费者传递了一条消息,便立即将该消息标记为删除。在这种情况下,突然有个消费者挂掉了,我们将丢失正在处理的消息。以及后续发送给该消费这的消息,因为它无法接收到。
    ​ 为了保证消息在发送过程中不丢失,rabbitmq,引入消息应答机制。

    消息应答就是:消费者在接收到消息并且处理该消息之后,告诉rabbitmq它已经处理了,rabbitmq可以把该消息删除了。

    4.4.2、自动应答(尽量少用)

    ​ 消息发送后立即被认为已经传送成功,这种模式需要在高吞吐量和数据传输安全性方面做权衡,因为这种模式如果消息在接收到之前,消费者那边出现连接或者channel关闭,那么消息就丢失了,当然另一方面这种模式消费者那边可以传递过载的消息,没有对传递的消息数量进行限制,当然这样有可能使得消费者这边由于接收太多还来不及处理的消息,导致这些消息的积压,最终使得内存耗尽,最终这些消费者线程被操作系统杀死,所以这种模式仅适用在消费者可以高效并以某种速率能够处理这些消息的情况下使用。

    4.4.3、手动应答方法
    • Channel.basicAck用于肯定确认

      RabbitMQ,已知道该消息并且成功的处理消息,可以将其丢弃了

    • Channel.basicNack用于否定确认

    • Channel.basicReject(用于否定确认)

      与Channel.basicNack相比少一个参数不处理该消息了直接拒绝,可以将其丢弃了

    4.4.4、Multiple的解释

    手动应答的好处是可以批量应答并且减少网络拥堵

    channel.basicAck (deliveryTag, false) ;
    
    • 1

    multiple的true和 false代表不同意思

    • true:代表批量应答channel上未应答的消息;

      比如channel中有转送tag的消息5、6、7、8,而8是当前的tag,那么此时从5到8这些还未应答的消息都被确认收到消息应答。

    • false:同上面相比,只会应答当前为8的tag,其他的消息依然不会被确认收到消息应答。

    image-20240228151832638

    4.4.5、消息自动重新入队

    ​ 如果消费者由于某些原因失去连接(其通道已关闭,连接已关闭或TCP连接丢失),导致消息未发送ACK确认,RabbitMQ将了解到消息未完全处理,并将对其重新排队。如果此时其他消费者可以处理,它将很快将其重新分发给另一个消费者。这样,即使某个消费者偶尔死亡,也可以确保不会丢失任何消息。

    image-20240228152110765

    简单来讲:你干不了的活有的是人干,重新给别人干,你爱干不干,有的是帕鲁!!!

    4.4.6、消息手动应答案例

    ​ 默认消息采用的是自动应答,所以我们要想实现消息消费过程中不丢失,需要把自动应答改为手动应答,消费者在上面代码的基础上进行小幅度的修改。

    ​ 消费在手动应答时是不丢失的,放回队列中重新消费

    生产者代码

    //消费在手动应答时是不丢失的,放回队列中重新消费
    public class Task02 {
        //定义消息队列的名称为name
        public static final String TASK_QUEUE_NAME = "ack_queue";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            //声明新的队列
            channel.queueDeclare(TASK_QUEUE_NAME,false,false,false,null);
            //从控制台中输入信息
            Scanner scanner = new Scanner(System.in);
            while (scanner.hasNext()){
                String message = scanner.next();
                channel.basicPublish("",TASK_QUEUE_NAME,null,message.getBytes("UTF-8"));
                System.out.println("生产者发出消息:"+message);
            }
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18

    消费者01

    //消费在手动应答时是不丢失的,放回队列中重新消费
    public class Work02 {
        //定义消息队列的名称为name
        public static final String TASK_QUEUE_NAME = "ack_queue";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            System.out.println("C1等待处理消息处理时间较短......");
            //应答确认回调
            DeliverCallback deliverCallback = (consumerTag,message) ->{
                //睡眠1秒
                SleepUtils.sleep(1);
                System.out.println("接收到的消息:"+new String(message.getBody()));
                //手动应答
                /*basicAck()方法中的两个参数
                *1、代表消息的标记,tag
                *2、是否批量应答,这里不批量
                * */
                channel.basicAck(message.getEnvelope().getDeliveryTag(),false);
            };
            channel.basicConsume(TASK_QUEUE_NAME,false,deliverCallback,(consumerTag -> {
                System.out.println(consumerTag + "消费者取消接口回调逻辑");
            }));
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    消费者02和01一样只不过C2让它睡时间长一些30秒

    //消费在手动应答时是不丢失的,放回队列中重新消费
    public class Work03 {
        //定义消息队列的名称为name
        public static final String TASK_QUEUE_NAME = "ack_queue";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            System.out.println("C2等待处理消息处理时间较长......");
            //应答确认回调
            DeliverCallback deliverCallback = (consumerTag,message) ->{
                //睡眠30秒
                SleepUtils.sleep(30);
                System.out.println("接收到的消息:"+new String(message.getBody()));
                //手动应答
                /*basicAck()方法中的两个参数
                *1、代表消息的标记,tag
                *2、是否批量应答,这里不批量
                * */
                channel.basicAck(message.getEnvelope().getDeliveryTag(),false);
            };
            channel.basicConsume(TASK_QUEUE_NAME,false,deliverCallback,(consumerTag -> {
                System.out.println(consumerTag + "消费者取消接口回调逻辑");
            }));
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    中间用到的睡眠工具类

    //睡眠工具类
    public class SleepUtils {
        public static void sleep(int second){
            try {
                Thread.sleep(1000*second);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    4.4.7、手动应答效果演示

    预期:正常情况下消息发送方发送两个消息C1和C2分别接收到消息并进行处理,但是C11秒就处理完成了,给C2的消息30秒后才能处理,我们手动的在C2还没有执行ack那段代码前停掉,能看到C2处理的消息被C1处理了,说明那个消息让rabbitmq重新入队,分给C1处理了。

    我们先启动生产者,然后启动消费者,先正常的收发消息。

    image-20240228162819927

    发完AA再发送BB,这个时候该C2了,等待30秒之后会收到…

    image-20240228162923419

    再发CC和DD,CC应该就是C1处理了,DD应该是C2处理,30秒很长,把C2停掉,看看DD会不会出现在C1输出里。

    image-20240228163313626

    结果和预想的一样,DD确实被重新塞入队列分配给C1处理了…

    4.5、RabbitMQ持久化

    4.5.1、概念

    ​ 刚刚我们已经看到了如何处理任务不丢失的情况,但是如何保障当RabbitMQ服务停掉以后消息生产者发送过来的消息不丢失。默认情况下RabbitMQ退出或由于某种原因崩溃时,它忽视队列和消息,除非告知它不要这样做。确保消息不会丢失需要做两件事:我们需要将队列和消息都标记为持久化。

    4.5.2、队列如何持久化

    ​ 之前我们创建的队列都是非持久化的,rabbitmq如果重启的化,该队列就会被删除掉,如果要队列实现持久化需要在声明队列的时候把durable参数设置为持久化

    简单来说:

     //原来声明新的队列
     channel.queueDeclare(TASK_QUEUE_NAME,false,false,false,null);
    
    
     //现在声明新的队列
     channel.queueDeclare(TASK_QUEUE_NAME,true,false,false,null);
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    ​ 但是需要注意的就是如果之前声明的队列不是持久化的,需要把原先队列先删除,或者重新创建一个持久化的队列,不然就会出现错误。

    我们先把原来的ack_queue在管理界面删除,然后修改成持久化

    image-20240228165031909

    然后修改durable参数为true

    image-20240228165141648

    可以看到Features这栏就有D的标记代表持久化队列

    4.5.3、消息持久化

    要想让消息实现持久化需要在消息生产者修改代码,MessageProperties.PERSISTENT_TEXT_PLAIN添加这个属性。

    原来我们是让消息属性空着了

    channel.basicPublish("",TASK_QUEUE_NAME,null,message.getBytes());
    
    • 1

    现在想要消息持久化就需要这样

     //设置生产者发送的消息需要持久化,MessageProperties.PERSISTENT_TEXT_PLAIN,要求保存到磁盘,否则就是在内存上
    channel.basicPublish("",TASK_QUEUE_NAME,MessageProperties.PERSISTENT_TEXT_PLAIN,message.getBytes());
    
    • 1
    • 2

    注意: 将消息标记为持久化并不能完全保证不会丢失消息。尽管它告诉RabbitMQ将消息保存到磁盘,但是这里依然存在当消息刚准备存储在磁盘的时候但是还没有存储完,消息还在缓存的一个间隔点。此时并没有真正写入磁盘。持久性保证并不强,但是对于我们的简单任务队列而言,这已经绰绰有余了。

    4.5.4、不公平分发

    ​ 在最开始的时候我们学习到RabbitMQ分发消息采用的轮询分发,但是在某种场景下这种策略并不是很好,比方说有两个消费者在处理任务,其中有个消费者1处理任务的速度非常快,而另外一个消费者2处理速度却很慢,这个时候我们还是采用轮询分发的话就会导致处理速度快的这个消费者很大一部分时间处于空闲状态,而处理慢的那个消费者一直在干活,这种分配方式在这种情况下其实就不太好,但是RabbitMQ并不知道这种情况它依然很公平的进行分发。

    ​ 意思就是如果这个任务我还没有处理完或者我还没有应答你,你先别分配给我,我目前只能处理一个任务,然后rabbitmq就会把该任务分配给没有那么忙的那个空闲消费者,当然如果所有的消费者都没有完成手上任务,队列还在不停的添加新任务,队列有可能就会遇到队列被撑满的情况,这个时候就只能添加新的worker或者改变其他存储任务的策略。

    image-20240228172207640

    ​ 为了避免这种情况,我们可以设置参数channel.basicQos(1);默认是0是轮询,大于1就成预取值了,这里是消费者的代码决定的。

    ​ 在消费者接收到消息之前设置不公平分发。

     //设置不公平分发,1是不公平0是轮询
     channel.basicQos(1);
    
    • 1
    • 2

    ​ 现在把两个消费者都设置不公平分发,然后启动看结果,可以先启动C2它比较满,让它处理第一个消息,然后后面的消息应该都是C1处理了,C2啥时候处理完了就可能再分一个消息

    image-20240228171716731

    4.5.5、预取值

    ​ 本身消息的发送就是异步发送的,所以在任何时候,channel上肯定不止只有一个消息,另外来自消费者的手动确认本质上也是异步的。因此这里就存在一个未确认的消息缓冲区,因此希望开发人员能**限制此缓冲区的大小,以避免缓冲区里面无限制的未确认消息问题。**这个时候就可以通过使用basic.qos.方法设置“预取计数”值来完成的。 该值定义通道上允许的未确认消息的最大数量。一旦数量达到配置的数量,RabbitMQ将停止在通道上传递更多消息,除非至少有一个未处理的消息被确认

    ​ 例如,假设在通道上有未确认的消息5、6、7,8,并且通道的预取计数设置为4,此时RabbitMQ将不会在该通道上再传递任何消息,除非至少有一个未应答的消息被ack。比方说tag=6这个消息刚刚被确认ACK,RabbitMQ.将会感知这个情况到并再发送一条消息。消息应答和QoS预取值对用户吞吐量有重大影响。

    ​ 通常,增加预取将提高向消费者传递消息的速度。==虽然自动应答传输消息速率是最佳的,但是,在这种情况下已传递但尚未处理的消息的数量也会增加,从而增加了消费者的RAM消耗(随机存取存储器)==应该小心使用具有无限预处理的自动确认模式或手动确认模式,消费者消费了大量的消息如果没有确认的话,会导致消费者连接节点的内存消耗变大,所以找到合适的预取值是一个反复试验的过程,不同的负载该值取值也不同100到300范围内的值通常可提供最佳的吞吐量,并且不会给消费者带来太大的风险。预取值为1是最保守的。当然这将使吞吐量变得很低,特别是消费者连接延迟很严重的情况下,特别是在消费者连接等待时间较长的环境中。对于大多数应用来说,稍微高一点的值将是最佳的。

    image-20240228192030240

    演示

    还是原来的C1和C2,我们给C1设置2个,C2设置5个,C2很慢30秒才能处理一个。我们可以在管理界面看到。

    image-20240228193255877

    image-20240228193607249

    C1处理速度快,最多堆积2条不容易出现,所以看C2的堆积情况即可。

    5、发布确认

    5.1、发布确认原理

    ​ 生产者将信道设置成confirm模式,一旦信道进入confirm模式,所有在该信道上面发布的消息都将会被指派一个唯一的ID(从1开始),一旦消息被投递到所有匹配的队列之后,broker就会发送一个确认给生产者(包含消息的唯一ID),这就使得生产者知道消息已经正确到达目的队列了,如果消息和队列是可持久化的,那么确认消息会在将消息写入磁盘之后发出,broker回传给生产者的确认消息中delivery-tag域包含了确认消息的序列号,此外broker也可以设置basic.ack.的multiple域,表示到这个序列号之前的所有消息都已经得到了处理。

    ​ confirm模式最大的好处在于他是异步的,一旦发布一条消息,生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息,当消息最终得到确认之后,生产者应用便可以通过回调方法来处理该确认消息,如果RabbitMQ因为自身内部错误导致消息丢失,就会发送一条nack_消息,生产者应用程序同样可以在回调方法中处理该nack消息。

    • ​ 简单说:生产者要求我发的消息和设置的队列必须持久化保存在磁盘上,RabbitMQ把消息和队列信息确认保存在磁盘上之后,回来告诉生产者一声,我真的已经保存了了,这才能最终保证消息不丢失。

    5.2、发布确认的策略

    5.2.1、开启发布确认的方法

    ​ 发布确认默认是没有开启的,如果要开启需要调用方法 confirmSelect,每当你要想使用发布确认,都需要在channel 上调用该方法。

    Channel channel = RabbitMQUtils.getChannel();
    //开启发布确认模式
    channel.confirmSelect();
    
    • 1
    • 2
    • 3
    5.2.2、单个确认发布

    ​ 这是一种简单的确认方式,它是一种同步确认发布的方式,也就是发布一个消息之后只有它被确认发布,后续的消息才能继续发布, waitForConfirmsOrDie (long)这个方法只有在消息被确认的时候才返回,如果在指定时间范围内这个消息没有被确认那么它将抛出异常。

    ​ 这种确认方式有一个最大的缺点就是:发布速度特别的慢,因为如果没有确认发布的消息就会阻塞所有后续消息的发布,这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。

    //1、单个确认方法
    public static void publishMessageIndividually() throws IOException, TimeoutException, InterruptedException {
        Channel channel = RabbitMQUtils.getChannel();
        //队列声明,随机UUID
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开始时间
        long begin = System.currentTimeMillis();
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i + " ";
            channel.basicPublish("",queueName,null,message.getBytes());
            //发一个发布确认一个
            if (channel.waitForConfirms()) {
                System.out.println("消息发送成功!");
            }
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个单独确认消息耗时:"+(end - begin)+"ms");
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    image-20240229135609425

    单个发布确认耗时723毫秒

    5.2.3、批量确认发布

    ​ 上面那种单个确认发布方式非常慢,与单个等待确认消息相比,先发布一批消息然后一起确认可以极大地提高吞吐量,当然这种方式的缺点就是:当发生故障导致发布出现问题时,不知道是哪个消息出现问题了,我们必须将整个批处理保存在内存中,以记录重要的信息而后重新发布消息。当然这种方案仍然是同步的,也一样阻塞消息的发布。

    //2、批量确认
    public static void batchConfirmation() throws IOException, TimeoutException, InterruptedException {
        Channel channel = RabbitMQUtils.getChannel();
        //队列声明,随机UUID
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开始时间
        long begin = System.currentTimeMillis();
        //我们让它每100个确认一次
        int batchSize = 100;
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i + "";
            channel.basicPublish("",queueName,null,message.getBytes());
            if (i%batchSize == 0){
                //发布确认
                channel.waitForConfirms();
                System.out.println("发送成功当前i:"+i);
            }
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个批量确认消息耗时:"+(end - begin)+"ms");
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    image-20240229153329389

    结果可以看到批量确认发布耗时63毫秒,比单独确认发布快了很多。

    5.2.4、异步确认发布

    ​ 异步确认虽然编程逻辑比上两个要复杂,但是性价比最高,无论是可靠性还是效率都没得说,他是利用回调函数来达到消息可靠性传递的,这个中间件也是通过函数回调来保证是否投递成功。

    //3、异步批量确认
    public static void publishMessageAsync() throws IOException, TimeoutException {
        Channel channel = RabbitMQUtils.getChannel();
        //队列声明,随机UUID
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
        //开始时间
        long begin = System.currentTimeMillis();
        //消息确认成功的回调函数
        /*
        * deliveryTag:表示消息的标记,可以理解为消息的序号
        * multiple:是否为批量确认
        * */
        ConfirmCallback ackCallback = (deliveryTag,multiple) ->{
            System.out.println("确认的消息:"+deliveryTag);
        };
        //消息确认失败的回调函数
        ConfirmCallback nackCallback = (deliveryTag,multiple) ->{
            System.out.println("未确认的消息:"+deliveryTag);
        };
        //准备消息的监听器,监听哪些消息成功了,哪些消息失败了
        //addConfirmListener有两个参数,分别代表监听消息成功确认回调函数和失败的回调函数
        channel.addConfirmListener(ackCallback,nackCallback);
    
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i + "";
            channel.basicPublish("",queueName,null,message.getBytes());
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个异步确认消息耗时:"+(end - begin)+"ms");
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34

    image-20240229194355228

    由于是异步的确认消息,最后打印出消耗的时间后还有确认的消息输出,耗时35毫秒。

    收到确认条数少于发送条数:rabbitmq给的成功回调可能是单条的也可能是批量的,批量时multiple=true,表示该tag及其之前的消息都确认了。

    5.2.5、如何处理异步未确认消息

    ​ 最好的解决的解决方案就是把未确认的消息放到一个基于内存的能被发布线程访问的队列,比如说用ConcurrentLinkedQueue这个队列在confirm callbacks与发布线程之间进行消息的传递。

    //3、异步批量确认
    public static void publishMessageAsync() throws IOException, TimeoutException {
        Channel channel = RabbitMQUtils.getChannel();
        //队列声明,随机UUID
        String queueName = UUID.randomUUID().toString();
        channel.queueDeclare(queueName,true,false,false,null);
        //开启发布确认
        channel.confirmSelect();
       /*ConcurrentSkipListMap
       使用线程安全有序的哈希表来把生产者发的消息和回调函数关联起来,适用于高并发的情况下
       能轻松地将序号和消息内容关联起来,可以批量删除条目,序号就是key消息就是value
       还支持高并发多线程
       */
        ConcurrentSkipListMap<Long,String> outstandingConfirms = new ConcurrentSkipListMap<>();
    
        //消息确认成功的回调函数
        /*
        * deliveryTag:表示消息的标记,可以理解为消息的序号
        * multiple:是否为批量确认
        * */
        ConfirmCallback ackCallback = (deliveryTag,multiple) ->{
            //删除已经确认的消息,剩下的就是没有确认的消息,先通过序号delivery拿到这些已确认的消息
            //如果是批量确认的就直接清除clear,如果是单个的确认就remove移除
            if (multiple){
                //如果 multiple 是 true,则从 outstandingConfirms 映射中获取所有小于 deliveryTag 的已确认消息,并将它们清除
                ConcurrentNavigableMap<Long, String> confirmed = outstandingConfirms.headMap(deliveryTag);
                confirmed.clear();
            }else {
                //如果 multiple 是 false,直接从 outstandingConfirms 映射中移除具有指定 deliveryTag 的消息
                outstandingConfirms.remove(deliveryTag);
            }
            System.out.println("确认的消息:"+deliveryTag);
        };
        //消息确认失败的回调函数
        ConfirmCallback nackCallback = (deliveryTag,multiple) ->{
            //打印未确认的消息
            String message = outstandingConfirms.get(deliveryTag);
            System.out.println("未确认消息的序号:"+deliveryTag+"未确认的消息是:"+message);
        };
        //准备消息的监听器,监听哪些消息成功了,哪些消息失败了
        //addConfirmListener有两个参数,分别代表监听消息成功确认回调函数和失败的回调函数
        channel.addConfirmListener(ackCallback,nackCallback);
        //开始时间
        long begin = System.currentTimeMillis();
        for (int i = 0; i < MESSAGE_COUNT; i++) {
            String message = i + "";
            channel.basicPublish("",queueName,null,message.getBytes());
            //往哈希表中添加发送地消息
            outstandingConfirms.put(channel.getNextPublishSeqNo(), message);
        }
        //结束时间
        long end = System.currentTimeMillis();
        System.out.println("发布"+MESSAGE_COUNT+"个异步确认消息耗时:"+(end - begin)+"ms");
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54

    耗时39毫秒

    image-20240301092140003

    5.2.6、以上三种发布确认速度对比
    • 单独发布消息:同步等待确认,简单,但吞吐量非常有限浪费时间。
    • 批量发布消息:批量同步等待确认,简单,合理的吞吐量,一旦出现问题但很难推断出是那条消息出现问题。
    • 异步处理:最佳性能和资源使用,在出现错误的情况下可以很好地控制,但是实现起来稍微难些

    6、Exchanges(交换机)

    ​ 我们假设的是工作队列背后,每个任务都恰好交付给一个消费者(工作进程)。在这一部分中,我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式称为“发布/订阅"。
    ​ 为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成:第一个程序将发出日志消息,第二个程序是消费者。其中我们会启动两个消费者,其中一个消费者接收到消息后把日志存储在磁盘,另外一个消费者接收到消息后把消息打印在屏幕上,事实上第一个程序发出的日志消息将广播给所有消费。

    6.1、Exchanges概念

    ​ RabbitMQ消息传递模型的核心思想是:**生产者生产的消息从不会直接发送到队列。**实际上,通常生产者甚至都不知道这些消息传递传递到了哪些队列中。

    ​ 相反,生产者只能将消息发送到交换机(exchange),交换机工作的内容非常简单,一方面它接收来自生产者的消息,另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们到许多队列中还是说应该丢弃它们。这就的由交换机的类型来决定

    image-20240229203429783

    6.2、Exchanges的类型

    一共有以下几种类型:

    • 直接(direct)
    • 主题(topic)
    • 标题(headers)
    • 扇出(fanout)
    6.2.1、无名Exchanges

    ​ 之前我们生产者发送消息的时候,channel.basicPublish的第一个参数都空着了,那么就使用的是默认的交换机,第一个参数是交换机的名称。空字符串表示默认或无名称交换机:消息能路由发送到队列中其实是由routingKey(bindingkey)绑定key指定的,如果它存在的话。

    6.3、临时队列

    ​ 每当我们连接到Rabbit时,我们都需要一个全新的空队列,为此我们可以创建一个具有随机名称的队列,或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连接,队列将被自动删除。

    临时队列没有持久化

    创建临时队列的方法

    String queue = channel.queueDeclare().getQueue();
    
    • 1

    这样创建出来的队列是随机产生的

    6.4、绑定(bindings)

    ​ binding其实是exchange 和queue之间的桥梁,它告诉我们exchange和那个队列进行了绑定关系。

    可以在管理界面手动新加一个队列queue1

    image-20240301150912407

    然后再添加一个交换机exchanges1

    image-20240301151158084

    点击新建的交换机然后点击bindings,将queue1和它进行绑定,路由key起名q1

    image-20240301151359743

    然后就可以看到exchanges1的绑定信息了

    image-20240301151434889

    6.5、Fanout发布订阅模式

    ​ Fanout这种类型非常简单。它是将接收到的所有消息广播到它知道的所有队列中。系统中默认有些exchange类型

    image-20240301151750972

    6.5.1、演示

    先写消费者的,消费者01和消费者02是一样的就不重复了。

    public class ReceiveLogs01 {
        //定义交换机名字
        public static final String EXCHANGE_NAME = "logs";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            //声明一个交换机
            channel.exchangeDeclare(EXCHANGE_NAME,"fanout");
            //声明一个临时队列,临时队列使用完就自动删除了
            String queue = channel.queueDeclare().getQueue();
            //绑定交换机和队列,routingKey在fanout模式下会被忽略,所以空字符即可
            channel.queueBind(queue,EXCHANGE_NAME,"");
            System.out.println("消费者01即将接收消息打印....");
            //接收消息回调
            DeliverCallback deliverCallback = (consumerTag, message)->{
                System.out.println("消费者01的消息内容:"+new String(message.getBody()));
            };
            channel.basicConsume(queue,true,deliverCallback,consumerTag -> {});
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20

    生产者:

    //生产者发消息
    public class EmitLog {
        //定义交换机名字
        public static final String EXCHANGE_NAME = "logs";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            channel.exchangeDeclare(EXCHANGE_NAME,"fanout");
            Scanner scanner = new Scanner(System.in);
            while (scanner.hasNext()){
                String message = scanner.next();
                channel.basicPublish(EXCHANGE_NAME,"",null,message.getBytes());
                System.out.println("生产者输入:" + message);
            }
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16

    我们分别启动生产者和消费者,在生产者控制台输入内容,看到两个消费者都能接收到相同的消息。

    image-20240301160010551

    fanout模式中的交换机就是个广播站,把从生产者那里接收到的消息广播发送给所有的队列。

    6.6、Direct exchange

    ​ 我们再次来回顾一下什么是 bindings,绑定是交换机和队列之间的桥梁关系。也可以这么理解:队列只对它绑定的交换机的消息感兴趣。绑定用参数: routingKey.来表示也可称该参数为binding key,创建绑定我们用代码:channel.queueBind(queueName,EXCHANGE_NAME, “routingKey”);绑定之后的意义由其交换类型决定。

    Direct exchange直接交换机和Fanout发布订阅模式的区别就是routingKey,routingKey相同就是Fanout模式,不一样就是直接交换机模式。

    接下来实现这样的绑定

    image-20240301161150569

    消费者01,消费者02内容基本一样处理修改一下队列的名字和路由键

    //Direct模式的消费者01
    public class DirectConsumer01 {
        //定义交换机名字
        public static final String EXCHANGE_NAME = "direct_logs";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            //声明交换机
            channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
            //声明console队列
            channel.queueDeclare("console",false,false,false,null);
            //将队列绑定到交换机,有两个routingKey
            channel.queueBind("console",EXCHANGE_NAME,"warning");
            channel.queueBind("console",EXCHANGE_NAME,"info");
    
            //接收消息并打印
            DeliverCallback deliverCallback = (consumerTag,message) ->{
                System.out.println("Direct消费者01接收到消息:"+ new String(message.getBody()));
            };
            channel.basicConsume("console",true,deliverCallback,consumerTag -> {});
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    生产者

    //生产者
    public class DirectProducers {
        //定义交换机名字
        public static final String EXCHANGE_NAME = "direct_logs";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
            Scanner scanner = new Scanner(System.in);
            System.out.println("输入消息和routingKey用空格分开:"+"\n");
            while (scanner.hasNext()){
                String input = scanner.nextLine();
                //回忆:围绕给定正则表达式的匹配拆分此字符串。
                //此方法的工作方式类似于使用给定表达式和极限参数为0调用双参数split方法。因此,尾随的空字符串不包含在结果数组中。
                String[] parts =input.split("\\s+");
                String message = parts[0];
                String routingKey = parts[1];
                channel.basicPublish(EXCHANGE_NAME,routingKey,null,message.getBytes());
                System.out.println("给"+routingKey+"的消息:"+message+"发送成功...");
            }
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    启动他们,按照要求输入信息和路由key

    image-20240301170404190

    消费者端

    image-20240301170449069

    6.7、Topics主题模式

    ​ 发送到类型是topic交换机的消息的routing_key不能随意写,必须满足一定的要求,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词,比如说:“pdsu. rjxy.my” . “abcd.welcome”,“dog.cat.eat”.这种类型的。当然这个单词列表最多不能超过255个字节。

    在这个规则列表中,其中有两个替换符是需要注意的

    • *星号可以代替一个单词;
    • #井号可以代替零个或者多个单词;
    • 当一个队列绑定键是#,那么这个队列将接收所有数据,就有点像fanout了;
    • 如果队列绑定键当中没有#和*出现,那么该队列绑定类型就是direct 了;

    其实就有点正则表达式了

    案例Exchange:topic_logs

    实现类似这样绑定关系的案例

    image-20240301172815897

    两个消费者

    //Topic模式消费者01
    public class TopicConsumer01 {
        //定义交换机名字
        public static final String EXCHANGE_NAME = "topic_logs";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            //声明交换机
            channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
            //声明队列Q1
            channel.queueDeclare("Q1",false,false,false,null);
            //将Q1和交换机进行绑定
            channel.queueBind("Q1",EXCHANGE_NAME,"*.java.*");
    
            //接收消息
            DeliverCallback deliverCallback = (consumerTag, message) -> {
                System.out.println("topic模式消费者01收到消息:"+new String(message.getBody(), StandardCharsets.UTF_8));
                System.out.println("队列Q1,当前键值:"+message.getEnvelope().getRoutingKey());
            };
            channel.basicConsume("Q1",true,deliverCallback,
                    consumerTag -> {
                        System.out.println("不符合规则consumerTag:"+consumerTag);
                    });
        }
    }
    //Topic模式消费者02
    public class TopicConsumer02 {
        //定义交换机名字
        public static final String EXCHANGE_NAME = "topic_logs";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            //声明交换机
            channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
            //声明队列Q2
            channel.queueDeclare("Q2",false,false,false,null);
            //将Q2和交换机进行绑定
            channel.queueBind("Q2",EXCHANGE_NAME,"*.*.rabbitmq");
            channel.queueBind("Q2",EXCHANGE_NAME,"spring.#");
    
            //接收消息
            DeliverCallback deliverCallback = (consumerTag, message) -> {
                System.out.println("topic模式消费者02收到消息:"+new String(message.getBody(), StandardCharsets.UTF_8));
                System.out.println("队列Q2,当前键值:"+message.getEnvelope().getRoutingKey());
            };
            channel.basicConsume("Q2",true,deliverCallback,
                    consumerTag -> {
                        System.out.println("不符合规则consumerTag:"+consumerTag);
                    });
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51

    生产者

    //topic模式下的生产者
    public class TopicProducers {
        //定义交换机名字
        public static final String EXCHANGE_NAME = "topic_logs";
    
        public static void main(String[] args) throws IOException, TimeoutException {
            Channel channel = RabbitMQUtils.getChannel();
            channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
            //发送消息,使用Map把routingKey和对应的消息放到哈希表里遍历出来发送
            HashMap<String, String> map = new HashMap<>();
            map.put("zzmm.java.rabbitmq","Q1和Q2");
            map.put("spring.java.hello","Q1和Q2");
            map.put("haha.java.hehe","Q1的");
            map.put("spring.abc.efd","Q2的");
            map.put("spring.maven.rabbitmq","虽然满足两个绑定但只能被队列Q2收到一次");
            map.put("ajax.xiaomi.huawei","谁都不会接收");
            map.put("oppo.honor.meizui.read","四个单词谁都不匹配");
            map.put("spring.oppo.honor.read","四个单词但匹配Q2");
           for (Map.Entry<String, String> entries : map.entrySet()){
               channel.basicPublish(EXCHANGE_NAME, entries.getKey(), null,entries.getValue().getBytes(StandardCharsets.UTF_8));
               System.out.println("给routingKey->"+entries.getKey()+"发的消息:"+entries.getValue());
           }
        }
    }
    
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24

    生产者发出的内容:

    image-20240301201934314

    消费者Q1收到的

    image-20240301201955747

    消费者Q2收到的

    image-20240301202016432

    经过对比,routingKey设置的规则都能对应上,结果正确。

  • 相关阅读:
    PoE压分如何解决,A-level复议or重考?
    Go 学习笔记(86)— Go 方法接受者参数类型选择
    2023年8月京东彩瞳行业数据分析(京东商品数据)
    sortablejs拖拽后新增和删除行时顺序错乱
    在 .NET 7上使用 WASM 和 WASI
    无人机航拍技术基础入门,无人机拍摄的方法与技巧
    Python基础教程:列表(List)的常用操作
    【RabbitMQ】RabbitMQ 集群的搭建 —— 基于 Docker 搭建 RabbitMQ 的普通集群,镜像集群以及仲裁队列
    linux-centos虚拟机设置固定ip
    Ribbon 负载均衡
  • 原文地址:https://blog.csdn.net/qq_63754844/article/details/136405247