RocketMQ入门教程

官网地址:https://rocketmq.apache.org/zh/docs/introduction/02concepts
基本概念
主题(Topic)
主题
是 Apache RocketMQ 中消息传输和存储的顶层容器,用于标识同一类业务逻辑的消息。主题通过 TopicName 来做唯一标识和区分。
消息类型(MessageType)
消息类型
是Apache RocketMQ 中按照消息传输特性的不同而定义的分类,用于类型管理和安全校验。 Apache RocketMQ 支持的消息类型有普通消息
、顺序消息
、事务消息
和定时/延时消息
。
提示:
Apache RocketMQ 从5.0版本开始,支持强制校验消息类型,即每个主题Topic只允许发送一种消息类型的消息,这样可以更好的运维和管理生产系统,避免混乱。但同时保证向下兼容4.x版本行为,强制校验功能默认开启。
消息队列(MessageQueue)
队列
是 Apache RocketMQ 中消息存储和传输的实际容器,也是消息的最小存储单元
。 Apache RocketMQ 的所有主题都是由多个队列
组成,以此实现队列数量的水平拆分和队列内部的流式存储。队列通过QueueId来做唯一标识和区分。
消息(Message)
消息
是 Apache RocketMQ 中的最小数据传输单元
。生产者将业务数据的负载和拓展属性包装成消息发送到服务端,服务端按照相关语义将消息投递到消费端进行消费。
生产者(Producer)
生产者
是Apache RocketMQ 系统中用来构建并传输消息到服务端的运行实体。生产者通常被集成在业务系统中,将业务消息按照要求封装成消息并发送至服务端。
消费者分组(ConsumerGroup)
消费者分组
是Apache RocketMQ 系统中承载多个消费行为一致的消费者的负载均衡分组。和消费者不同,消费者分组并不是运行实体,而是一个逻辑资源。在 Apache RocketMQ 中,通过消费者分组内初始化多个消费者实现消费性能的水平扩展以及高可用容灾。
消费者(Consumer)
消费者
是Apache RocketMQ 中用来接收并处理消息的运行实体。消费者通常被集成在业务系统中,从服务端获取消息,并将消息转化成业务可理解的信息,供业务逻辑处理。
订阅关系(Subscription)
订阅关系
是Apache RocketMQ 系统中消费者获取消息、处理消息的规则和状态配置。订阅关系由消费者分组动态注册到服务端系统,并在后续的消息传输中按照订阅关系定义的过滤规则进行消息匹配和消费进度维护。
事务消息
事务消息
是Apache RocketMQ 提供的一种高级消息类型,支持在分布式场景下保障消息生产和本地事务的最终一致性。
定时/延时消息
定时/延时消息
是Apache RocketMQ 提供的一种高级消息类型,消息被发送至服务端后,在指定时间后才能被消费者消费。通过设置一定的定时时间可以实现分布式场景的延时调度触发效果。
顺序消息
顺序消息
是Apache RocketMQ 提供的一种高级消息类型,支持消费者按照发送消息的先后顺序获取消息,从而实现业务场景中的顺序处理。
参数约束和建议
Apache RocketMQ 系统中存在很多自定义参数和资源命名,您在使用 Apache RocketMQ 时建议参考如下说明规范系统设置,避对某些具体参数设置不合理导致应用出现异常。
参数 | 建议范围 | 说明 |
---|---|---|
Topic名称 |
字符建议:字母a-z或A-Z、数字0-9以及下划线()、短划线(-)和百分号(%)。 长度建议:1~64个字符。 系统保留字符:Topic名称不允许使用以下保留字符或含有特殊前缀的字符命名。 保留字符: TBW102 *BenchmarkTest* SELF_TEST_TOPIC *OFFSET_MOVED_EVENT* SCHEDULE_TOPIC_XXXX *RMQ_SYS_TRANS_HALF_TOPIC* RMQ_SYS_TRACE_TOPIC *RMQ_SYS_TRANS_OP_HALF_TOPIC 特殊前缀:* rmq_sys %RETRY% %DLQ% rocketmq-broker- |
Topic命名应该尽量使用简短、常用的字符,避免使用特殊字符。特殊字符会导致系统解析出现异常,字符过长可能会导致消息收发被拒绝。 |
ConsumerGroup名称 |
字符建议:支持字母a-z或A-Z、数字0-9以及下划线()、短划线(-)和百分号(%)。 长度建议:1~64个字符。 系统保留字符:ConsumerGroup不允许使用以下保留字符或含有特殊前缀的字符命名。 保留字符: *DEFAULT_CONSUMER* DEFAULT_PRODUCER *TOOLS_CONSUMER* FILTERSRV_CONSUMER *__MONITOR_CONSUMER* CLIENT_INNER_PRODUCER *SELF_TEST_P_GROUP* SELF_TEST_C_GROUP *CID_ONS-HTTP-PROXY* CID_ONSAPI_PERMISSION *CID_ONSAPI_OWNER* CID_ONSAPI_PULL *CID_RMQ_SYS_TRANS* 特殊字符 * CID_RMQ_SYS * CID_HOUSEKEEPING |
无。 |
ACL Credentials |
字符建议:AK(AccessKey ID)、SK(AccessKey Secret)和Token仅支持字母a-z或A-Z、数字0~9。 长度建议:不超过1024个字符。 |
无。 |
请求超时时间 |
默认值:3000毫秒。 取值范围:该参数为客户端本地行为,取值范围建议不要超过30000毫秒。 |
请求超时时间是客户端本地同步调用的等待时间,请根据实际应用设置合理的取值,避免线程阻塞时间过长。 |
消息大小 |
默认值:不超过4 MB。不涉及消息压缩,仅计算消息体body的大小。 取值范围:建议不超过4 MB。 |
消息传输应尽量压缩和控制负载大小,避免超大文件传输。若消息大小不满足限制要求,可以尝试分割消息或使用OSS存储,用消息传输URL。 |
消息自定义属性 |
字符限制:所有可见字符。 长度建议:属性的Key和Value总长度不超过16 KB。 系统保留属性:不允许使用以下保留属性作为自定义属性的Key。 保留属性Key |
无。 |
MessageGroup |
字符限制:所有可见字符。 长度建议:1~64字节。 |
MessageGroup是顺序消息的分组标识。一般设置为需要保证顺序的一组消息标识,例如订单ID、用户ID等。 |
消息发送重试次数 |
默认值:3次。 取值范围:无限制。 |
消息发送重试是客户端SDK内置的重试策略,对应用不可见,建议取值不要过大,避免阻塞业务线程。 如果消息达到最大重试次数后还未发送成功,建议业务侧做好兜底处理,保证消息可靠性。 |
消息消费重试次数 |
默认值:16次。 | 消费重试次数应根据实际业务需求设置合理的参数值,避免使用重试进行无限触发。重试次数过大容易造成系统压力过量增加。 |
事务异常检查间隔 |
默认值:60秒。 | 事务异常检查间隔指的是,半事务消息因系统重启或异常情况导致没有提交,生产者客户端会按照该间隔时间进行事务状态回查。 间隔时长不建议设置过短,否则频繁的回查调用会影响系统性能。 |
半事务消息第一次回查时间 |
默认值:取值等于[事务异常检查间隔] * 最大限制:不超过1小时。 | 无。 |
半事务消息最大超时时长 |
默认值:4小时。 * 取值范围:不支持自定义修改。 | 半事务消息因系统重启或异常情况导致没有提交,生产者客户端会按照事务异常检查间隔时间进行回查,若超过半事务消息超时时长后没有返回结果,半事务消息将会被强制回滚。 您可以通过监控该指标避免异常事务。 |
PushConsumer本地缓存 |
默认值: *最大缓存数量:1024条。 *最大缓存大小:64 M。 取值范围:支持用户自定义设置,无限制。 |
消费者类型为PushConsumer时,为提高消费者吞吐量和性能,客户端会在SDK本地缓存部分消息。缓存的消息的数量和大小应设置在系统内存允许的范围内。 |
PushConsumer重试间隔时长 |
默认值: *非顺序性投递:间隔时间阶梯变化,具体取值,请参见PushConsumer消费重试策略。 *顺序性投递:3000毫秒。 |
无。 |
PushConsumer消费并发度 |
默认值:20个线程。 | 无。 |
获取消息最大批次 |
默认值:32条。 | 消费者从服务端获取消息时,一次获取到最大消息条数。建议按照实际业务设置合理的参数值,一次获取消息数量过大容易在消费失败时造成大批量消息重复。 |
SimpleConsumer最大不可见时间 |
默认值:用户必填参数,无默认值。 取值范围建议:最小10秒;最大12小时。 |
消费不可见时间指的是消息处理+失败后重试间隔的总时长,建议设置时取值比实际需要耗费的时间稍微长一些。 |
- 标题: RocketMQ入门教程
- 作者: 冯旭光
- 创建于 : 2024-06-23 18:03:02
- 更新于 : 2025-03-11 14:43:46
- 链接: https://blog.fengxuguang.top/posts/e9bc55ba/
- 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。