发布说明 - Apache RocketMQ - 5.3.2 版本

下载 5.3.2 版本

• 源码: rocketmq-all-5.3.2-source-release.zip [PGP] [SHA512]
• 二进制包: rocketmq-all-5.3.2-bin-release.zip [PGP] [SHA512] ::

以下是 RocketMQ 5.3.2 版本中解决的问题摘要。有关此版本的完整文档和入门指南，请参阅快速入门。

有何变化

此版本引入了基于 RocksDB 的 Pop 消费新实现（处于 alpha 阶段，详情请参阅 RIP-73）。它改进并提供了使用 RocksDB 存储消费队列索引的能力的迁移方案，增加了对取消定时消息的支持，增强了平滑上线和下线的能力，并包含了大量与 HA、ACL、指标（Metrics）和 Pop 消费相关的常规细节修复。

• [问题 #8784]PrintMessageSubCommand 支持 lmq 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8785
• [问题 #8790]添加工具类用于将 Header 放入 Metadata 以避免数据重复 作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/8792
• [问题 #8802]更新 controller design.md 作者：@luozongle01 在 https://github.com/apache/rocketmq/pull/8803
• [问题 #8798]修复拼写错误 作者：@luozongle01 在 https://github.com/apache/rocketmq/pull/8799
• [问题 #8804]删除组偏移量时清理偏移量 作者：@leizhiyuan 在 https://github.com/apache/rocketmq/pull/8805
• [问题 #8806]修复连接多个 RocketMQ 集群时 autoBatch 的 bug。作者：@luozongle01 在 https://github.com/apache/rocketmq/pull/8807
• [问题 #8810]修复 e2e 和 benchmark 独立部署的执行问题 作者：@chi3316 在 https://github.com/apache/rocketmq/pull/8812
• [问题 #8816]修复日志拼写错误。作者：@luozongle01 在 https://github.com/apache/rocketmq/pull/8817
• [问题 #8764]在 cq rocksdb 存储中实现消费滞后估计 作者：@LetLetMe 在 https://github.com/apache/rocketmq/pull/8800
• [问题 #8824]修复逻辑错误导致的 IllegalStateException 作者：@yx9o 在 https://github.com/apache/rocketmq/pull/8825
• [问题 #8780]在 Pop 消费中实现 ack/ck 消息的异步存储以提升性能 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8727
• [问题 #8835]当 ck 在缓冲区中时，不完整的 ack 会导致消息重复。作者：@GenerousMan 在 https://github.com/apache/rocketmq/pull/8836
• [问题 #8820]修复变量匹配注解 (@RocketMQResource) 作者：@mawen12 在 https://github.com/apache/rocketmq/pull/8821
• [问题 #8830]修复原子刷盘错误使用并清理代码 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8830
• [问题 #8829]修复使 ConsumeQueueStore 最底层压缩类型可配置 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8841
• [问题 #8839]移除不必要的 synchronized 以提高并发性 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8840
• [问题 #8833]更新 netty 版本至 4.1.114 以修复 CVE-2023-34462 作者：@ShannonDing 在 https://github.com/apache/rocketmq/pull/8832
• [问题 #8846]修复 registerProducer 不应受并发 scanNotAct… 影响 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8847
• [问题 #8829]当 Consume Queue Store 基于 RocksDB 时支持 LMQ 调度 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8842
• [问题 #8850]使用正确的日志方法 作者：@mawen12 在 https://github.com/apache/rocketmq/pull/8851
• [问题 #8772]在广播模式重新平衡时移除锁定 mq 步骤 作者：@redlsz 在 https://github.com/apache/rocketmq/pull/8774
• [问题 #8442][RIP-70]提取自适应锁机制 作者：@3424672656 在 https://github.com/apache/rocketmq/pull/8663
• [问题 #8829]特性：提供 ConfigManagerV2 以充分利用 RocksDB 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8856
• [问题 #8822]双写 cq，减少不必要的切换 作者：@LetLetMe 在 https://github.com/apache/rocketmq/pull/8823
• [问题 #8875]修复 HAConnection 泄漏 作者：@crazywen 在 https://github.com/apache/rocketmq/pull/8876
• [问题 #8725]DefaultMQPushConsumer 启动失败后清理 作者：@yuz10 在 https://github.com/apache/rocketmq/pull/8726
• [问题 #8829]在重新加载时保持数据版本，并且 XXXConfigManagerV2 关闭同步 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8891
• [问题 #8885]解决 CK 数量统计不准确的问题 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8886
• [问题 #8808]解决 JDK21 不支持 'UseBiasedLocking' VM 选项的问题 作者：@taomaree 在 https://github.com/apache/rocketmq/pull/8809
• [问题 #8882]更改 ACL 签名的比较方法以提高安全性。作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/8883
• [问题 #8889]在循环外部处理命名空间 作者：@mawen12 在 https://github.com/apache/rocketmq/pull/8890
• [问题 #8906]在循环外部处理字符串 toUpperCase 作者：@mawen12 在 https://github.com/apache/rocketmq/pull/8907
• [问题 #8599]接收到两次 GO_AWAY 时抛出异常以关闭通道。作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/8862
• [问题 #8917]Topic 路由为 gRPC 客户端返回无权限消息队列 作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/8919
• [问题 #8921]为 AIO 添加 isWakeCommitWhenPutMessage 作者：@zk-drizzle 在 https://github.com/apache/rocketmq/pull/8922
• [问题 #8925]修复 ACL 2.0 更新用户的 bug 作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/8926
• [问题 #8909]提前 nullcheck 作者：@jjastan 在 https://github.com/apache/rocketmq/pull/8910
• [问题 #8942]向 LmqBrokerStatsManager 添加 incGroupAckNums 和 incGroupCkNums 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8943
• [问题 #8829]支持在 Config V1 中使用 RocksDB 持久化 LMQ 消费者偏移量 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8939
• [问题 #8945]从关键代码段中移除不必要的操作 作者：@3424672656 在 https://github.com/apache/rocketmq/pull/8946
• [问题 #8940]修复 exportMetadataInRocksDBCommand 的错误路径 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8941
• [问题 #8935]修复定时消息存储中滞后指标单位错误 作者：@GenerousMan 在 https://github.com/apache/rocketmq/pull/8936
• [问题 #8765]修复启用 RocksDB 消费队列时延迟消息性能低的问题 作者：@yuz10 在 https://github.com/apache/rocketmq/pull/8766
• [问题 #8953]改进异步投递过程的 IO 作者：@3424672656 在 https://github.com/apache/rocketmq/pull/8954
• [问题 #8829]修复 LMQ CQ 数量大时避免内存开销 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/8956
• [问题 #8947]在计算消费者滞后之前通知 Pop 请求 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/8949
• [问题 #8933]特性：DefaultPullConsumer 添加平衡开关。作者：@humkum 在 https://github.com/apache/rocketmq/pull/8934
• [问题 #8929]Proxy 在 gRPC 协议发送时添加消息体空检查 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/8930
• [问题 #8877]重构 ReceiptHandleGroup 中的锁，使其在 future 无法完成时可以正确释放。作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/8916
• [问题 #8955]修复分层存储中消息缓冲区未释放和调度线程退出问题 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/8965
• [问题 #8972]添加 EnableLmqStats 选项允许在运行时监控 LMQ 统计信息 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8973
• [问题 #8961]Topic Route 中通过主机名自动识别地址方案 作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/8962
• [问题 #8460]当 revive 发现 ack 没有 broker 名称字段时设置默认 broker 名称 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/8981
• [问题 #8982]为 e2e 管道动态安装最新 Go 版本 作者：@chi3316 在 https://github.com/apache/rocketmq/pull/8985
• [问题 #8976]修改文件段构造方法 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/8977
• [问题 #8963]修复 code36 请求发送到 ns 的问题 作者：@yx9o 在 https://github.com/apache/rocketmq/pull/8964
• [问题 #8968]引入 clearRetryTopicWhenDeleteTopic 选项以实现精确的外部主题删除 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8969
• [问题 #8991]PrepareHeartbeatData 不应由默认 subscriptionDataSet 数据设置 作者：@weihubeats 在 https://github.com/apache/rocketmq/pull/8992
• [问题 #7199]GrpcClientChannel header 添加空判断 作者：@weihubeats 在 https://github.com/apache/rocketmq/pull/7238
• [问题 #9009]优化 DefaultPullConsumer 中的消息堆积显示和指标 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/9010
• [问题 #8984]修复 broker 开关 enableMixedMessageType 不生效的问题 作者：@redlsz 在 https://github.com/apache/rocketmq/pull/8986
• [问题 #8950]移除 configPath 的冗余 nullcheck 作者：@jjastan 在 https://github.com/apache/rocketmq/pull/8951
• [问题 #8966]特性：为 ACL 权限错误添加远程地址信息 作者：@humkum 在 https://github.com/apache/rocketmq/pull/8967
• [问题 #9007]修复 RemotingClient 中客户端连接本地 IP 为空的问题 作者：@weihubeats 在 https://github.com/apache/rocketmq/pull/9008
• [问题 #9014]修复 clusterAclConfigVersion 命令执行失败的问题 作者：@yx9o 在 https://github.com/apache/rocketmq/pull/9017
• [问题 #7480]修复当 commitlog 和 consumeQueue 被截断时，timerCheckPoint 中的偏移量不会被修正的问题 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/7488
• [问题 #9015]同步 SysFlag 和消息体膨胀状态；允许省略消息体 作者：@lizhanhui 在 https://github.com/apache/rocketmq/pull/9016
• [问题 #8979]为定时消息重试逻辑添加可配置开关 作者：@chi3316 在 https://github.com/apache/rocketmq/pull/8980
• [问题 #9034]重构(LmqBrokerStatsManager)：重构 LmqBrokerStatsManager 中冗余代码 作者：@asapple 在 https://github.com/apache/rocketmq/pull/9034
• [问题 #8974]支持延迟消息回溯 作者：@imzs 在 https://github.com/apache/rocketmq/pull/8975
• [问题 #9042]使用新参数更新 createTimerMessageStore 调用 作者：@chi3316 在 https://github.com/apache/rocketmq/pull/9041
• [问题 #9021]更正 ACL 命令的错误消息 作者：@yx9o 在 https://github.com/apache/rocketmq/pull/9022
• [问题 #8970]移除冗余心跳 作者：@weihubeats 在 https://github.com/apache/rocketmq/pull/8971
• [问题 #8988]支持 dispatchBehindMilliseconds 作者：@guyinyou 在 https://github.com/apache/rocketmq/pull/8989
• [问题 #9028]调整 SYSTEM_ERROR 的一些错误码 作者：@absolute8511 在 https://github.com/apache/rocketmq/pull/9027
• [问题 #9054]优化客户端在 Pop 模式下消费消息时的日志打印 作者：@mxsm 在 https://github.com/apache/rocketmq/pull/9055
• [问题 #9002]当 bytebuffer 不足时，不抛出异常 作者：@leizhiyuan 在 https://github.com/apache/rocketmq/pull/9003
• [问题 #9072]修复获取 topic 路由时重试 topic 的权限检查。作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/9073
• [问题 #9025][RIP-73]基于 RocksDB 的 Pop 消费改进 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9048
• [问题 #8957]移除多余流量并修复缓存不一致问题 作者：@3424672656 在 https://github.com/apache/rocketmq/pull/8958
• [问题 #9069]修复分层存储中 IndexFile 的 ConcurrentModificationException 作者：@wangshaojie4039 在 https://github.com/apache/rocketmq/pull/9071
• [问题 #9075]在消息同步场景中避免消息类型验证。作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/9076
• [问题 #9080]修复分层存储中从缓存获取大消息时的传输逻辑 作者：@yuz10 在 https://github.com/apache/rocketmq/pull/9079
• [问题 #8974]添加回溯功能开关，默认为禁用。作者：@imzs 在 https://github.com/apache/rocketmq/pull/9067
• [问题 #9080]fetcher 不持有最终消息存储配置 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9086
• [问题 #9025][RIP-73]修复 Pop 消费中重置偏移量不生效的问题 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9087
• [问题 #9025][RIP-73]修改 Pop 消费 RocksDB 初始化配置 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9100
• [问题 #9106]修复基于 RocksDB 的 Pop 消费中 revive 回退重试不生效的问题 作者：@redlsz 在 https://github.com/apache/rocketmq/pull/9107
• [问题 #8998]当剩余时间为零时，无需重试 作者：@3424672656 在 https://github.com/apache/rocketmq/pull/8999
• [问题 #9105]修复 LMQ 中重复消费的问题 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/9101
• [问题 #9108]重构 ColdDataCgCtrService#getColdDataFlowCtrInfo 作者：@yx9o 在 https://github.com/apache/rocketmq/pull/9109
• [问题 #9064]优化事务消息回调检查逻辑 作者：@LilMosey 在 https://github.com/apache/rocketmq/pull/9062
• [问题 #9112]加速 Pop 消费中的 revive 扫描并支持服务端重置偏移量 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9113
• [问题 #9121]修复 CRC32 检查在值为 0 时失败的问题 作者：@guyinyou 在 https://github.com/apache/rocketmq/pull/9122
• [问题 #6426]修复从 Broker SubscriptionGroupConfig 和 MessageRequestMode 原子更新问题 作者：@AuroraTwinkle 在 https://github.com/apache/rocketmq/pull/8983
• [问题 #9111]支持将 broker RocksDB 配置导出到 json 文件 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/9114
• [问题 #8895]修复 broker 关闭时 NPE 问题并优化日志 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/9094
• [问题 #9128]修复 gRPC 客户端在更改代理后立即确认消息时出现 NPE 的问题 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/9129
• [问题 #4570]修复：Docker 使用时卷映射参数可能出错，简单修复 作者：@OneCodeMonkey 在 https://github.com/apache/rocketmq/pull/9096
• [问题 #9119]异步调用应处理原始异常而不是 CompletionException 作者：@gaoyf 在 https://github.com/apache/rocketmq/pull/9120
• [问题 #9160]确保 requestCode 顺序递增 作者：@KiteSoar 在 https://github.com/apache/rocketmq/pull/9159
• [问题 #9152]Broker getConsumeStats 支持输入多个主题 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/9153
• [问题 #9149]即使订阅键不存在，也在 offsetTable 中分配偏移量。作者：@dingshuangxi888 在 https://github.com/apache/rocketmq/pull/9150
• [问题 #9156]在 AclUtils#getAclRPCHook 中使用 fastjson2 作者：@yx9o 在 https://github.com/apache/rocketmq/pull/9157
• [问题 #9174]添加一组预定义群组和常见检查… 作者：@ltamber 在 https://github.com/apache/rocketmq/pull/9175
• [问题 #9172]删除订阅组时清理拉取偏移量并重置偏移量 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9173
• [问题 #9181]更新 fastjson 版本 作者：@ltamber 在 https://github.com/apache/rocketmq/pull/9180
• [问题 #9182]修复当 needWaitForService 设置为 true 时 NameServer 永远无法就绪的问题 作者：@gaoyf 在 https://github.com/apache/rocketmq/pull/9183
• [问题 #9187]当更改不可见时间时，如果 queueOffset 等于 maxOffset，则应拒绝请求 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/9186
• [问题 #9201]清理无效代码模式并提高可读性和可维护性。作者：@Kris20030907 在 https://github.com/apache/rocketmq/pull/9202
• [问题 #9191]提供替换 Proxy 和 Broker 远程通信层实现的能力 作者：@f1amingo 在 https://github.com/apache/rocketmq/pull/9192
• [问题 #9203]用 RequestCode 中定义的静态变量替换数字 作者：@xinzhuxiansheng 在 https://github.com/apache/rocketmq/pull/9204
• [问题 #9206]修复 RocksDB HA 中从库同步主题订阅问题 作者：@fujian-zfj 在 https://github.com/apache/rocketmq/pull/9207
• [问题 #8340]RuntimeInfo 和 ClusterListSubCommand 显示 ackThreadPoolQueueSize 和 ackThreadPoolQueueHeadWaitTimeMills 作者：@RongtongJin 在 https://github.com/apache/rocketmq/pull/8339
• [问题 #8589]优化使用 DoubleWriteCQ 时 RocksDB CQ 关闭逻辑 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/9212
• [问题 #9213]修复分层存储中数据清理时获取最早时间错误的问题 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9214
• [问题 #9196]Broker 在收到通知时返回 pop 统计信息 作者：@qianye1001 在 https://github.com/apache/rocketmq/pull/9197
• [问题 #9217]修复启用 Pop 消费者服务时 broker 的 inflight 和可用消息计数不正确的问题 作者：@lizhimins 在 https://github.com/apache/rocketmq/pull/9218
• [问题 #9221]在 BrokerPathConfigHelper 中提取一些通用代码 作者：@yx9o 在 https://github.com/apache/rocketmq/pull/9222
• [问题 #8127]优化时间轮的指标计算逻辑 作者：@3424672656 在 https://github.com/apache/rocketmq/pull/8128
• [问题 #9184]优化 Pop 中 QueueLockManager#tryLock 方法 作者：@mxsm 在 https://github.com/apache/rocketmq/pull/9185

新贡献者

• @mawen12 首次贡献于 https://github.com/apache/rocketmq/pull/8821
• @taomaree 首次贡献于 https://github.com/apache/rocketmq/pull/8809
• @jjastan 首次贡献于 https://github.com/apache/rocketmq/pull/8910
• @asapple 首次贡献于 https://github.com/apache/rocketmq/pull/9034
• @draw233 首次贡献于 https://github.com/apache/rocketmq/pull/9037
• @LilMosey 首次贡献于 https://github.com/apache/rocketmq/pull/9062
• @AuroraTwinkle 首次贡献于 https://github.com/apache/rocketmq/pull/8983
• @OneCodeMonkey 首次贡献于 https://github.com/apache/rocketmq/pull/9096
• @Kris20030907 首次贡献于 https://github.com/apache/rocketmq/pull/9124
• @KiteSoar 首次贡献于 https://github.com/apache/rocketmq/pull/9159
• @Lynxhide 首次贡献于 https://github.com/apache/rocketmq/pull/9158
• @xinzhuxiansheng 首次贡献于 https://github.com/apache/rocketmq/pull/9204

完整更新日志: https://github.com/apache/rocketmq/compare/rocketmq-all-5.3.1...rocketmq-all-5.3.2