一个关于 RocketMQ5 的帖子

2023 年 11 月 3 日
 HuKing

因为最近在做一个电商项目,需要用到消息队列对订单进行处理,所以就选用了 RocketMQ (主要还是 java 跨平台,但是后面就全是坑了),RabbitMQ 的 Erlang 有点整不来。

版本选用:截至目前最新的版本-5.1.4 。

因为之前没用过 MQ 这个东西,所以我要从头搭建,从下载编译好的源码到正确的能够在 dashboard 上看到消费者,花了整整两天,期间也看了很多博客和教程,但大部分都不是很好,而且相当难受,各有各的说法,光依赖版本就有三种rocketmq-client,rocketmq-client-java,rocketmq-spring-boot-starter,依次增强(?),目前使用官方推荐的 SDK rocketmq-client-java。

因为没学过,就开始跟着官方文档的 Quick Start (文档写的是真折磨人),从下载、运行 producer 都很顺利,但是到了他最新的 Broker+Proxy 的 Local 模式启动,就开始折磨人了。

坑 1:需要配置ROCKETMQ_HOME环境变量,不然无法启动

坑 2:启动失败,看日志说 Java 的 JVM 内存不够,直接改runserver.sh,runbroker.sh这两个文件的 JVM 启动内存,另外,runbroker.sh有个日志文件的大小,默认是 15g (这个是真的无语),直接改成 500m ,不然也有可能启动失败;还有,文档里面写推荐使用最新版本的 JDK ,可是又不支持 JDK21(5.1.4 版本 10 月份发布的),真的无语了。

坑 3:因为 Local 模式启动占用的是 8080 端口和 8081 端口,但是之前的 dashboard 也是占用的 8080 这个端口,所以得重新编译 dashboard 重新部署,官方文档也没说怎么改 proxy 启动端口(可能是我没找到?),后面知道在rmq-proxy.json里面添加配置"grpcServerPort":端口号,不得不说,这个配置是真的难找,耗时半天。

坑 4:java 版本的位数和系统版本的位数不一样,因为之前搞这台服务器的人安装了 32 位的 java ,并不是 64 位的,导致 Local 模式一直启动失败,一开始真的是百思不得其解,我的操作是跟这个官方的 Quick Start 是一步一步对应上的,真的不知道哪出了问题,日志里面也是含糊其辞,最后没办法了把系统所有 java 相关的东西重新整了一遍,才发现之前的 java 和系统位数没对上,真的是超级大坑,耗时 1 天

坑 5:grpc 的坑,因为服务器不能直接用外网进行访问,需要通过另一个域名服务器使用 Nginx 进行转发才能访问,RocketMQ 的 proxy 需要使用 gRPC 访问,之前没整过 gRPC ,所以又是一通找,最后找到了 gRPC 需要支持 http2 的协议才行,接着就改 Nginx 的 http2 ,之前的 Nginx 没有 Http2 这个模块,所以还得重新下载,安装模块,这个时候又又发现进来的是 http2 ,但是转发出去的不是 gRPC ,又改 nginx 为grpc_pass grpc://192.168.0.129:8081,耗时半天。

坑 5:到了使用 SDK 测试消息收发 这块,从 Producer 就开始不对劲了,提交 Issue 也没个人回(可能这个时间节点不对,大佬都在云栖大会?),报错Caused by: java.util.concurrent.CancellationException: Task was cancelled.,这个真的不知道是啥,gRPC 都是正确的,日志里面也没东西输出,现在卡在这了,等有进展再往下写

5152 次点击
所在节点    程序员
47 条回复
SoulSleep
2023 年 11 月 3 日
我司有 8 个集群,用的好像最高是 4.7....高峰期每天百亿消息....挺好的啊

另外,,,,开发既要又要容易出问题....如果不熟悉,有没有 docker-compose 体验一下啊.....

按照你这个进展....应该还有一堆问题等着你....
Scarb
2023 年 11 月 3 日
5.x 增加了 proxy 和 gRPC 协议的客户端,新的客户端做了轻量化,把重平衡放到服务端了。
其实你没必要用 proxy 和 gRPC 客户端,用老的 java 客户端就行,这样也不用 proxy ,单独起 broker 。5.x 是兼容老的客户端的。
老客户端用的 rocketmq remoting 协议,依赖是 rocketmq-client: https://mvnrepository.com/artifact/org.apache.rocketmq/rocketmq-client

确实文档比较拉,现在的官网还是重构过的,比以前还好一点
nodesolar
2023 年 11 月 3 日
建议 kafka 哈哈哈
v2e0xAdmin2
2023 年 11 月 3 日
我有一个基于 mysql 实现的消息队列,你可以看看 https://github.com/stateIs0/ems
Scarb
2023 年 11 月 3 日
@150530 支持定时消息,4.x 支持固定延迟时间的延迟消息,5.x 添加了任意时间的定时消息,使用方法: https://rocketmq.apache.org/zh/docs/featureBehavior/02delaymessage#%E4%BD%BF%E7%94%A8%E7%A4%BA%E4%BE%8B
没什么坑
szmx
2023 年 11 月 3 日
@v2e0xAdmin2 使用 redis 消息队列是否和你这个差不多
soleils
2023 年 11 月 3 日
RocketMQ 的文档确实一言难尽, 之前自己搭过, 确实有很多坑, 相比来说 kafka 和 rabbitmq 就要好用些

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://v2ex.ih06.com/t/988158

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX