消息中间件简介

一、 分布式系统消息通信技术简介

 

分布式系统消息通信技术主要包括以下几种：

 

1. RPC(Remote Procedure Call Protocol).

一般是C/S方式，同步的，跨语言跨平台，面向过程

 

2. CORBA(Common Object Request Broker Architecture).

CORBA从概念上扩展了RPC。面向对象的，企业级的(面向对象中间件还有DCOM)

 

3. RMI(Remote Method Invocation).

面向对象方式的 Java RPC

 

4. WebService.

基于Web，C/S或B/S，跨系统跨平台跨网络。多为同步调用, 实时性要求较高

 

5. MOM(Message oriented Middleware).

面向消息中间件，主要适用于消息通道、消息总线、消息路由和发布/订阅的场景。目前主流标准有JMS(Java Message Service)、AMQP(Advanced Message Queuing Protocol)和STOMP(Streaming Text Oriented Messaging Protocol)。

 

JMS是Java平台上的面向接口的消息规范，是一套API标准，并没有考虑异构系统。AMQP是一个面向协议的，跟语言平台无关的消息传递应用层协议规范。STOMP是流文本定向消息协议，是一种为MOM设计的简单文本协议。AMQP和STOMP都是跟http处于同一层的协议。

 

在 AMQP 模型中，消息的 producer 将 Message 发送给 Exchange，Exchange 负责交换 / 路由，将消息正确地转发给相应的 Queue。消息的 Consumer 从 Queue 中读取消息。

 

AMQP 系统构架

 

 

 

 

 

二、 常见开源跨平台MQ简介

目前业界上关于消息中间件的实现多达好几十种，可谓百花齐放，所用的实现语言同样也五花八门。下面挑选了一部分，在网上开源社区相对容易搜索出来的十多种MQ来作简单介绍。

 

开源MQ

 

概述

 

1.Qpid

 

Apach的一个开源AMQP实现，broker架构，有C++和Java两个版本

 

2.RabbitMQ

 

LShift 用Erlang实现，支持多协议，broker架构，重量级

 

3.ZeroMQ

 

AMQP最初设计者iMatix公司实现，轻量消息内核，无broker设计。C++实现

 

4.Jafka/Kafka

 

LinkedIn用Scala语言实现，支持hadoop数据并行加载

 

5.ActiveMQ

 

Apach的一种JMS具体实现，支持代理和p2p部署。支持多协议。Java实现

 

6.Apollo

 

ActiveMQ的下一代产品，支持多协议，Scala实现

 

7.Redis

 

Key-value NoSQL数据库，有MQ的功能

 

8.MemcacheQ

 

国人利用memcache缓冲队列协议开发的消息队列,C/C++实现

 

9.Open-MQ

 

C++和QT实现，支持JMS

 

10.ActiveMQ-CPP

 

ActiveMQ的C++纯客户端库，用于跟ActiveMQ通信

 

11.MQ4CPP

 

一个C++实现的MQ，信息甚少

 

12.MetaQ

 

Alibaba对Kafka的改造，增加事务支持等新特性，用纯Java实现

 

13.Beanstalkd

 

一个类memcached协议设计的消息队列,C/C++实现

 

14.OpenAMQ

 

iMatix公司AMQP1.0的实现，类似rabbitMQ。C++实现。2010年项目放弃

 

15.Spread Toolkit

 

高性能的分布式分组消息系统，C++实现

 

16.SAFMQ

 

C++实现的储存转发消息队列中间件

 

17. Mosquitto

 

一个轻量级的IBM物联网连接协议的消息中间件实现，C/C++实现

 

18.MUSCLE

 

提供一个多路消息服务器和消息对象传递功能，支持C/C++

 

19.JORAM

 

一个类似OpenJMS(Sun OpenMQ)的JMS消息中间件，JAVA实现

 

 

 

Qpid

 

 

Qpid 是 Apache 开发的一款面向对象的消息中间件，它是一个 AMQP 的实现，可以和其他符合 AMQP 协议的系统进行通信。Qpid 提供了 C++/Python/Java/C# 等主流编程语言的客户端库，Qpid 提供了很多额外的 HA 特性，非常适于集群环境下的消息通信。

 

它提供了 C++ 和 Java 两个版本的 broker服务端，并支持多种语言的客户端。C++版本的服务器端具备高性能/低消耗以及RDMA支持；而Java版本的服务器则支持JMS。Qpid 还提供了一些额外的特性：

 

采用 Corosync 来保证了集群环境下的 Fault-tolerant 特性

支持 XML 类型的 Exchange，当消息格式为 XML 时，可以利用 Xquery 进行过滤

支持 plugin，用户可以方便地增加新的功能，比如新的 exchange 类型

提供了安全认证特性，任何 producer/consumer 需要和 broker 通信时，都需要提供身份认证。QPID 的安全认证使用 SSL 协议。

 

授权协议： Apache

 

开发语言： Java C/C++

 

操作系统： 跨平台

 

官网：http://qpid.apache.org 最新版本0.30发布于2014-09-26。

 

 

 

有新浪的朋友比较推荐Qpid，它比rabbitmq要轻型，比zeromq保险点！各方面的文档都比较健全。目前在openstack中作为一种可选的消息中间件服务配置。MB(WSO2 Message Broker) 基于Apache Qpid，这是一个Java项目。开源的企业服务总线(ESB) – Celtix，基于Apache Incubator项目Qpid。

 

跟Qpid有关联的其他项目主要有:

 

ActiveMQ and AMQP using Qpid Proton

 

Apache Camel and AMQP using Qpid

 

Apache Axis and AMQP using Qpid

 

Microsofe Azure using Qpid Proton

 

Apache软件基金会一级开源项目入选Qpid is a top-level project at Apache

 

Pulp 2.5程序库内容管理工具里集成有Qpid.

 

Fedora默认使用Qpid作为消息队列

 

 

 

 

 

RabbitMQ

 

 

LShift 用Erlang编写的一个开源的消息队列，支持很多的协议：AMQP，XMPP, SMTP, STOMP，重量级，更适合于企业级的开发。代理(Broker)架构，对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。

 

缺点：可扩展性差，速度较慢，因为中央节点增加了延迟，消息封装后也比较大。

 

AMQP 里主要要说两个组件：Exchange 和 Queue （在 AMQP 1.0 里还会有变动），如下图所示，绿色的 X 就是 Exchange ，红色的是 Queue ，这两者都在 Server 端，又称作 Broker ，这部分是 RabbitMQ 实现的，而蓝色的则是客户端，通常有 Producer 和 Consumer 两种类型：

 

 

 

授权协议： MPL

 

开发语言： ErLang

 

操作系统： 跨平台

 

官网：http://www.rabbitmq.com/，最新版本3.4.3发布于2015-1-7

 

 

 

ØMQ(ZeroMQ)

 

 

早期需要设计可靠消息系统比如AMQP，但是这种方式引入了single-point broker。对于需要这种可靠消息系统的应用来说，需要在broker上面做相当多的事情确保可靠性以及性能。但是这样对于中小应用陷入了尴尬，为了使用这种方便的消息系统他们需要引入broker这么东西是不能够忍受的。我们需要的一种简单方便的消息传输系统，没有任何附加代价(比如所有数据都流经 broker)，这就是ZeroMQ设计初衷。

 

2010年3月30日，AMQP的最初设计者iMatix公司的首席执行官Pieter Hintjens宣布iMatix将退出AMQP工作组，而且为了简单得多，快的多的ZeroMQ，将不支持可能发布的AMQP/1.0。一个非常轻量级的消息内核，专门为高吞吐量/低延迟的场景开发。ZeroMQ支持许多高级消息场景，但是你必须实现ZeroMQ框架中的各个块（比如Socket或Device等）。没有中间件架构，应用程序端点扮演了这个服务角色。部署简单，仅提供非持久性的队列。与RabbitMQ相比，ØMQ并不像是一个传统意义上的消息队列服务器，事实上，它也根本不是一个服务器，它更像是一个底层的网络通讯库，在socket API之上做了一层封装，将网络通讯、进程通讯和线程通讯抽象为统一的API接口。

 

支持C、C++、Python、.NET /Mono、Fortran和Java语言

 

授权协议： LGPL

 

开发语言： C/C++

 

操作系统： 跨平台

 

官网：http://zeromq.org/, 最新版本4.1.0发布于2014/10/14。Twitter的Storm中使用ZeroMQ作为数据流的传输，还有常见于金融界的应用中。Mongrel2是使用ZeroMQ的一个Web服务器。

 

 

 

Jafka/Kafka

 

 

LinkedIn用Scala语言开发。高吞吐量高性能支持跨语言分布式Publish/Subscribe消息队列系统，而Jafka是在Kafka之上孵化而来的。快速持久化、高吞吐、完全的分布式系统、支持Hadoop数据并行加载。

 

 

 

授权协议： Apache

 

开发语言： Scala

 

操作系统： 跨平台

 

 

 

ActiveMQ

 

 

居于两者(RabbitMQ & ZeroMQ)之间，类似于ZeroMQ，它可以部署于代理模式和P2P模式。完全支持JMS1.1和J2EE 1.4规范。跨平台的，多种语言和协议编写客户端,Java, C, C++, C#, Ruby, Perl, Python, PHP。应用协议: OpenWire, Stomp REST, WS Notification, XMPP, AMQP。如需配置ActiveMQ则需要在目标机器上安装Java环境。支持集群，同等网络，自动检测，TCP，SSL，广播，持久化，XA，多个消息也可以组成原子事务

 

缺点：默认的配置性能偏低，需要优化配置，但是配置文件复杂，本身不提供管理工具；示例代码非常少；主页上的文档看上去比较全面，但是缺乏一种有效的组织方式，文档只有片段，用户很难由浅入深进行了解，二来文档整体的专业性太强。

 

授权协议： Apache

 

开发语言： Java

 

操作系统： 跨平台

 

 

 

Apollo

 

 

ActiveMQ的下一代产品为Apollo，Apollo以ActiveMQ原型为基础，是一个更快、更可靠、更易于维护的消息代理工具。Apache称Apollo为最快、最强健的STOMP（Streaming Text Orientated Message Protocol，流文本定向消息协议）服务器。

 

l Apollo的特性如下：

 

l 支持Stomp 1.0和Stomp 1.1协议

 

l 主题和队列

 

l 队列浏览器

 

l 主题持久订阅

 

l 镜像队列

 

l 可靠的消息传递

 

l 消息过期和交换

 

l 消息选择器

 

l JAAS验证

 

l 基于ACL的授权

 

l 支持SSL/TLS，证书验证

 

l REST Management API