1、为什么要开启ACL
通过之前的文章我们已经知道怎么安装RocketMq了。如果你还不会安装RocketMq可以查看我的这篇文章:快速入门一篇搞定RocketMq-实现微服务实战落地 进行软件安装,附文章地址:https://www.cnblogs.com/sowler/p/18173752
。虽说已经安装成功了,但是它现在在服务器上面还处于"裸奔"状态。如果是公司内网服务器还好,有一层安全保障。但是如果是公网服务器黑客可以根据RocketMq端口号入侵服务器系统植入木马病毒,给服务器带来安全漏洞。所以如果部署在公网环境下,强烈建议开启RocketMq的ACL机制以加强系统的安全性。
2、ACL的作用
ACL主要是为了增强系统的安全性和保护消息队列数据的机密性。通过ACL,可以限制用户或应用程序对消息队列的访问权限,只有经过授权的用户才能进行相关操作,如发送消息、消费消息等。防止未经授权的用户或恶意应用程序对消息队列进行操作,减少潜在的安全风险和数据泄露的可能性。同时,ACL还可以帮助管理者更好地控制系统的访问权限,提高系统的可控性和安全性。总体来说,开启ACL是一种有效的安全措施,可以保护RocketMq系统免受未经授权的访问和潜在的安全威胁。
3、ACL是什么
RocketMQ的ACL(Access Control List)是一种安全机制,用于对消息中间件的访问进行授权和限制。ACL机制可以确保只有具备相应权限的用户才能执行特定的操作,从而保护消息系统的安全性。而ACL管理员可以对以下操作进行细粒度的控制和权限管理:
- Topic级别权限控制: 管理员可以对每个Topic设置读写权限,决定哪些用户或角色有权发送和订阅该主题的消息。
- Consumer组权限控制: 管理员可以为每个消费者组分配订阅权限,控制哪些用户或角色有权使用该消费者组并接收消息。
- IP地址访问控制: 管理员可以基于客户端的IP地址进行访问控制,只允许特定的IP地址范围访问消息中间件。
4、服务器开启ACL
首先我们查看RocketMq官网选择4.X版本的文档进行查看,找到控制权限菜单。链接:https://rocketmq.apache.org/zh/docs/4.x/bestPractice/04access
通过说明,我们可以看到权限控制配置文件位置在 /conf/plain_acl.yml
,知道配置文件后进入 conf
目录,首先先备份一份文件防止后面改错了无法恢复,然后在编辑该文件。
#备份文件
cp plain_acl.yml plain_acl.yml.init.bak
#编辑文件
vim plain_acl.yml
配置信息如下
#白名单中,不会走acl鉴权
globalWhiteRemoteAddresses:
#- 192.168.0.102
accounts: #用户信息,默认配置了两个用户信息。一个管理员用户,一个普通用户
- accessKey: rocket0001Mq #用户名
secretKey: 1234asdf #密码
whiteRemoteAddress: #192.168.0.102
admin: false
defaultTopicPerm: DENY
defaultGroupPerm: SUB
topicPerms:
- topicA=DENY
- topicB=PUB|SUB
- topicC=SUB
groupPerms:
# the group should convert to retry topic
- groupA=DENY
- groupB=PUB|SUB
- groupC=SUB
- accessKey: rocketAdminMq #用户名
secretKey: admin1234asdf #密码
whiteRemoteAddress: #192.168.1.*
# if it is admin, it could access all resources
admin: true
通过官网文档我们可以看到配置说明
权限说明:
plain_acl.yml
配置文件中按照上述说明定义好权限属性后,接下来我们需要修改 broker.conf
配置文件开启ACL开关。官网文档上面也给了相关说明,参照官网配置即可。
编辑 vim broker.conf
文件,在文件末尾加入配置 aclEnable=true
#所属集群名字
brokerClusterName=DefaultCluster
#broker名字,集群的时候不同的配置文件填写的不一样,如果在这里使用:broker-a,在另外一个使用:broker-b
brokerName=broker-a
#0表示Master,>0表示Slave
brokerId=0
#删除文件时间点,默认凌晨4点
deleteWhen=04
#文件保留时间,默认48小时
fileReservedTime=48
#Broker角色 ASYNC_MASTER 异步复制/SYNC_MASTER 同步双写
brokerRole=ASYNC_MASTER
##刷盘方式 ASYNC_FLUSH 异步刷盘 SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#nameServer地址,多个,分号分割
namesrvAddr=192.168.42.130:9876
#设置IP 公网Ip
brokerIP1=192.168.42.130
#允许Broker自动创建Topic
autoCreateTopicEnable=true
#Broker 对外服务的监听端口
listenPort=10911
#开启ACL安全认证
aclEnable=true
开启后重新启动 Broker
程序。重启成功后,如果中间需要修改 plain_acl.yml
配置文件,修改成功后,不需要重新启动 BrokerStartup
重新了。ACL有自动重载机制,会自动加载已经修改的 plain_acl.yml
配置文件。
5、rocketmq-dashboard 开启认证
通过服务器端开启ACL后,在打开MQ监控中心 rocketmq-dashboard
发现报错了,已经连接不上mq服务器了,这就说明ACL开启成功了。报错信息 No accessKey is configured
[2024-05-17 11:53:30.956] INFO create MQAdmin instance ClientConfig [namesrvAddr=192.168.42.130:9876, clientIP=192.168.1.4, instanceName=1715918010272, clientCallbackExecutorThreads=8, pollNameServerInterval=30000, heartbeatBrokerInterval=30000, persistConsumerOffsetInterval=5000, pullTimeDelayMillsWhenException=1000, unitMode=false, unitName=null, vipChannelEnabled=false, useTLS=false, language=JAVA, namespace=null] success.
[2024-05-17 11:53:31.149] ERROR Unexpected error occurred in scheduled task
java.lang.RuntimeException: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 1 DESC: org.apache.rocketmq.acl.common.AclException: No accessKey is configured, org.apache.rocketmq.acl.plain.PlainPermissionLoader.validate(PlainPermissionLoader.java:189) BROKER: 192.168.42.130:10911
For more information, please visit the url, http://rocketmq.apache.org/docs/faq/
at com.google.common.base.Throwables.propagate(Throwables.java:241)
at org.apache.rocketmq.dashboard.task.DashboardCollectTask.collectTopic(DashboardCollectTask.java:161)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.springframework.scheduling.support.ScheduledMethodRunnable.run(ScheduledMethodRunnable.java:84)
at org.springframework.scheduling.support.DelegatingErrorHandlingRunnable.run(DelegatingErrorHandlingRunnable.java:54)
at org.springframework.scheduling.concurrent.ReschedulingRunnable.run(ReschedulingRunnable.java:93)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run$$$capture(FutureTask.java:266)
at java.util.concurrent.FutureTask.run(FutureTask.java)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 1 DESC: org.apache.rocketmq.acl.common.AclException: No accessKey is configured, org.apache.rocketmq.acl.plain.PlainPermissionLoader.validate(PlainPermissionLoader.java:189) BROKER: 192.168.42.130:10911
所以我们需要通过账号密码来连接mq服务器,在rocketmq-dashboard
的配置文件 application.properties
中添加账号密码信息。
rocketmq.config.accessKey=rocketAdminMq
rocketmq.config.secretKey=admin1234asdf
添加配置成功后重新打包部署到服务器。启动成功再次访问 rocketmq-dashboard
没有报错,启动成功。
6、Java通过认证方式连接
RocketMq开启ACL后,在不配置账号密码情况下,启动项目发送MQ消息的时候也会报错。报错信息如下:
2024-05-18 16:37:54.260 ERROR -[TaskUtils.java:95]- Unexpected error occurred in scheduled task
org.springframework.messaging.MessagingException: Send [3] times, still failed, cost [90]ms, Topic: blog_operation_sow, BrokersSent: [broker-a, broker-a, broker-a]
Caused by: org.apache.rocketmq.client.exception.MQBrokerException: CODE: 1 DESC: org.apache.rocketmq.acl.common.AclException: No accessKey is configured, org.apache.rocketmq.acl.plain.PlainPermissionManager.validate(PlainPermissionManager.java:403) BROKER: 192.168.42.130:9876
No accessKey is configured
通过报错信息显示,需要配置账号和密码,所以需要配置ACL的连接信息连接Mq服务器发送消息。配置文件添加信息:
rocketmq: # rocketMQ配置
# name server地址
name-server: 192.168.42.130:9876
producer:
group: message_group
# 发送消息超时时间,默认3000
sendMessageTimeout: 10000
# 发送消息失败重试次数,默认2
retryTimesWhenSendFailed: 2
# 异步消息重试此处,默认2
retryTimesWhenSendAsyncFailed: 2
# 消息最大长度,默认1024 * 1024 * 4(默认4M)
maxMessageSize: 4096
# 压缩消息阈值,默认4k(1024 * 4)
compressMessageBodyThreshold: 4096
# 是否在内部发送失败时重试另一个broker,默认false
retryNextServer: false
access-key: rocketAdminMq # 拥有改 ‘message_group’组发送权限的用户信息
secret-key: admin1234asdf # 密码
consumer:
pull-batch-size: 10
group: message_group
access-key: rocketAdminMq # 拥有改‘message_group’组消费权限的用户信息
secret-key: admin1234asdf # 密码
配置成功后,测试消息发送信息:
// 定时向Mq发送数据
@Component
public class RocketStorage {
@Autowired
private RocketMQTemplate rocketMQTemplate;
@Scheduled(fixedDelay = 1000L * 60,initialDelay = 1000L * 20)
public void store() {
//String message = String.format("%s,%s,%s",value,type,timestamp);
System.out.println("aaaaaa");
rocketMQTemplate.convertAndSend("blog_operation_sow","aaaaaaaaa");
}
}
消费者监听接收数据:
@RocketMQMessageListener(consumerGroup = "message_group",topic = "blog_operation_sow")
public class RocketDataConsumer implements RocketMQListener {
@Autowired
@Qualifier("dataPersist")
private IDataPersist dataPersist;
@Override
public void onMessage(Object o) {
log.info("Operation RocketMq 接收到的信息 . . . . . .:{}",o);
dataPersist.put(o.toString(),1,System.currentTimeMillis());
}
}
启动项目查看控制台信息,可以看到数据发送和接收成功。
7、Java开启认证踩坑说明
7.1 问题记录
在配置文件加入 access-key
和 secret-key
后,刚开始一直报 AclException: No accessKey is configured
错误,但是配置文件中已经配置账号密码信息了。不知道为什么没有生效。后来看了一下引入的Maven依赖版本为:
<dependency>
<groupId>org.apache.rocketmqgroupId>
<artifactId>rocketmq-spring-boot-starterartifactId>
<version>2.2.1version>
dependency>
通过IDEA查看依赖jar包发现引入的RocketMq依赖版本高了。
通过上图可以看到,我们引入的客户端版本是4.9.1版本,但是服务器目前部署的版本是4.4.0。然后以为是maven依赖引入的版本太高了,就把rocketMq依赖降到了4.4.0版本。maven依赖如下:
<dependency>
<groupId>org.apache.rocketmqgroupId>
<artifactId>rocketmq-spring-boot-starterartifactId>
<version>2.0.2version>
dependency>
再次通过IDEA查看客户端依赖,发现版本已经改为4.4.0了
修改maven依赖成功后,再次启动项目。以为这次会启动成功,但是还是启动失败了。版本问题已经解决了,就不是版本问题了。后来看了下相关问题说明。发现RocketMq是在4.4.0版本才开始有ACl认证的,可能是这个版本客户端不支持通过yaml
配置文件配置ACl的账号密码信息。需要手动进行编写Java配置文件进行发送消息。然后我就直接放弃了这种方法,直接升级服务器RocketMq版本从4.4.0升级为4.9.1。
7.2 升级版本
既然决定升级服务器RocketMq版本信息了,那就开干。有了之前的安装经验,这次也很好安装。首先在官网下载RocketMq的4.9.1版本。地址:https://rocketmq.apache.org/download
下载成功后上传服务器到rocketMq目录下。
进入rocktmq-4.9.1
目录,按照之前的步骤进行操作即可。先修改启动脚本,先备份在修改。进入 bin
目录下开始备份。
cp runserver.sh runserver.sh.init.bak
cp runbroker.sh runbroker.sh.init.bak
修改JVM参数即可。备份成功后,然后在进入 conf
目录,修改配置文件信息并开启ACL配置,如何开启ACL和上面操作一致。我们也可以备份一下 broker.conf
和 plain_acl.yml
文件,把在rocketmq-4.4.0
目录里面的配置信息直接拷贝到 rocketmq-4.9.1
目录下面。拷贝成功后,给需要给配置文件授可执行权限。
chmod +x broker.conf plain_acl.yml
接下来就可以启动rocketmq了,按照之前方式启动即可。先启动 namesrv
在启动 broker
。
nohup sh bin/mqnamesrv -n 192.168.42.130:9876 > /dev/null 2>&1 &
nohup sh bin/mqbroker -n 192.168.42.130:9876 -c conf/broker.conf autoCreateTopicEnable=true >/dev/null 2>&1 &
启动成功后,版本就升级成功了。由于rocketmq默认采用持久化存储,当使用持久化存储模式时,消息会被写入磁盘,并存储在指定的存储路径下。默认情况下,存储路径为$HOME/store
也可以通过配置文件进行修改。在存储路径下,RocketMQ会根据一些规则和目录结构来组织消息存储文件。其中,消息数据文件commitlog
存储在$HOME/store/commitlog
目录下,而消费进度文件 consumequeue
存储在$HOME/store/consumequeue
目录下。由于有持久化存储,所以原来的数据也不会丢失。
7.3 查看监控
由于RocketMq的配置文件还是采用之前的,所以不需要改动 rocketmq-dashboard
可以直接访问地址。查看集群信息:
从上图version
版本可以看出当前版本为 4.9.1
说明已经连接升级成功了。可以查看监控数据:
至此,RockeMq服务器版本升级完毕。
8、总结
通过以上方式,RocketMq安全措施就配置成功了。这是我自己在使用RocketMq的搭建过程,分享出来让大家少走弯路,中间也许会有一些地方考虑不周,欢迎各位指点。感谢大家阅读。
公众号文章链接:https://mp.weixin.qq.com/s/XTB9rrtpAh5q9QI6LkqSEw 如果文章对你有所帮助,欢迎大家点个推荐和关注。