searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

RabbitMQ使用Shovel插件迁移数据

2025-09-26 10:17:53
0
0

Shovel核心特性

  • 松耦合架构:支持不同集群、用户、vhost、RabbitMQ 和 Erlang 版本间的消息迁移

  • 网络容错:专为广域网设计,能够容忍不稳定的网络条件,保证消息可靠性

  • 高度可定制:支持自定义配置迁移队列、重连策略、确认模式等参数

  • 灵活部署:可在源端或目的端任意一端启用即可工作

启用插件

启动命令

rabbitmq-plugins enable rabbitmq_shovel

rabbitmq-plugins enable rabbitmq_shovel_management

重要提示:Shovel 只需在源端或目的端中的任意一端启用即可。

配置方法

方式一:命令行

rabbitmqctl set_parameter shovel hidden_shovel '{"src-uri":"amqp://admin:admin@192.168.158.100:5672","src-queue":"queue1","dest-uri":"amqp://admin:admin@192.168.158.139:5672","src-exchange-key":"rk2","prefetch-count":64,"reconnect-delay":5,"publish-properties":[],"add-forward-headers":true,"ack-mode":"on-confirm"}'

方式二:http接口

curl -i -u admin:admin -XPUT -d'{"value":{"src-uri":"amqp://admin:admin@192.168.158.100:5672","src-queue":"queue1","dest-uri":"amqp://admin:admin@192.168.158.139:5672","src-exchange-key":"rk2","prefetch-count":64,"reconnect-delay":5,"publish-properties":[],"add-forward-headers":true,"ack-mode":"on-confirm"}}' http://192.168.158.139:15672/api/parameters/shovel/%2F/hidden_shovel

方式三:Web界面

 

同步策略分析与选择

队列同步模式

适用场景:消息迁移(非同步)

  • 需要在源集群和目标集群设置相同队列

  • 队列不存在时会自动创建,但不支持自定义参数

  • 实质是消息消费和转发,会导致源集群消息被清空

局限性

  • 元数据不一致风险(自定义参数不同步)

  • 更适合一次性迁移而非持续同步

交换器同步模式

适用场景:真正的消息同步

  • 需提前在双方集群创建相同的交换器、队列和绑定关系

  • 配置时指定交换器名称和绑定键

  • 支持消息的双向流动(需谨慎配置)

优势

  • 保持消息在源集群的完整性

  • 支持持续的实时同步

关键注意事项

  1. 元数据同步:使用交换器同步前,必须手动同步队列、交换器和绑定关系

  2. 配置粒度:每个 Shovel 配置只能处理特定的交换器和绑定键,不支持通配符

  3. 双向同步风险:避免配置循环同步,否则会导致消息无限循环

  4. 网络考虑:合理设置 reconnect-delay 和 prefetch-count 以适应网络条件

最佳实践建议

  • 生产环境推荐:优先选择交换器同步模式实现真正的数据同步

  • 元数据管理:使用配置管理工具确保集群间元数据一致性

  • 监控告警:对 Shovel 连接状态设置监控,确保同步链路健康

  • 测试验证:在生产部署前充分测试网络中断、集群故障等异常场景

Shovel 插件为 RabbitMQ 集群间的消息流转提供了企业级的解决方案,正确理解和应用不同的同步模式对于构建可靠的分布式系统至关重要。

0条评论
作者已关闭评论
莫****过
7文章数
0粉丝数
莫****过
7 文章 | 0 粉丝
莫****过
7文章数
0粉丝数
莫****过
7 文章 | 0 粉丝
原创

RabbitMQ使用Shovel插件迁移数据

2025-09-26 10:17:53
0
0

Shovel核心特性

  • 松耦合架构:支持不同集群、用户、vhost、RabbitMQ 和 Erlang 版本间的消息迁移

  • 网络容错:专为广域网设计,能够容忍不稳定的网络条件,保证消息可靠性

  • 高度可定制:支持自定义配置迁移队列、重连策略、确认模式等参数

  • 灵活部署:可在源端或目的端任意一端启用即可工作

启用插件

启动命令

rabbitmq-plugins enable rabbitmq_shovel

rabbitmq-plugins enable rabbitmq_shovel_management

重要提示:Shovel 只需在源端或目的端中的任意一端启用即可。

配置方法

方式一:命令行

rabbitmqctl set_parameter shovel hidden_shovel '{"src-uri":"amqp://admin:admin@192.168.158.100:5672","src-queue":"queue1","dest-uri":"amqp://admin:admin@192.168.158.139:5672","src-exchange-key":"rk2","prefetch-count":64,"reconnect-delay":5,"publish-properties":[],"add-forward-headers":true,"ack-mode":"on-confirm"}'

方式二:http接口

curl -i -u admin:admin -XPUT -d'{"value":{"src-uri":"amqp://admin:admin@192.168.158.100:5672","src-queue":"queue1","dest-uri":"amqp://admin:admin@192.168.158.139:5672","src-exchange-key":"rk2","prefetch-count":64,"reconnect-delay":5,"publish-properties":[],"add-forward-headers":true,"ack-mode":"on-confirm"}}' http://192.168.158.139:15672/api/parameters/shovel/%2F/hidden_shovel

方式三:Web界面

 

同步策略分析与选择

队列同步模式

适用场景:消息迁移(非同步)

  • 需要在源集群和目标集群设置相同队列

  • 队列不存在时会自动创建,但不支持自定义参数

  • 实质是消息消费和转发,会导致源集群消息被清空

局限性

  • 元数据不一致风险(自定义参数不同步)

  • 更适合一次性迁移而非持续同步

交换器同步模式

适用场景:真正的消息同步

  • 需提前在双方集群创建相同的交换器、队列和绑定关系

  • 配置时指定交换器名称和绑定键

  • 支持消息的双向流动(需谨慎配置)

优势

  • 保持消息在源集群的完整性

  • 支持持续的实时同步

关键注意事项

  1. 元数据同步:使用交换器同步前,必须手动同步队列、交换器和绑定关系

  2. 配置粒度:每个 Shovel 配置只能处理特定的交换器和绑定键,不支持通配符

  3. 双向同步风险:避免配置循环同步,否则会导致消息无限循环

  4. 网络考虑:合理设置 reconnect-delay 和 prefetch-count 以适应网络条件

最佳实践建议

  • 生产环境推荐:优先选择交换器同步模式实现真正的数据同步

  • 元数据管理:使用配置管理工具确保集群间元数据一致性

  • 监控告警:对 Shovel 连接状态设置监控,确保同步链路健康

  • 测试验证:在生产部署前充分测试网络中断、集群故障等异常场景

Shovel 插件为 RabbitMQ 集群间的消息流转提供了企业级的解决方案,正确理解和应用不同的同步模式对于构建可靠的分布式系统至关重要。

文章来自个人专栏
文章 | 订阅
0条评论
作者已关闭评论
作者已关闭评论
0
0