云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      消息队列Kafka版_相关内容
      • 应用场景
        本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景,旨在帮助用户从被动响应故障转变为主动发现和规避风险,全面提升系统的稳定性和韧性。 1. 验证高可用(HA)与容灾(DR)预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效,可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例: 数据层 :通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景,验证组件能否无感切换,量化对上层业务的影响,评估高可用架构的实际效果。 中间件 :通过模拟分布式消息服务Kafka的Broker节点宕机等场景,检验消息中间件的高可用特性,评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 :通过模拟承载关键业务的云主机宕机等场景,验证应用健康检查与流量转移的及时性和有效性,评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前,通过主动对系统资源施加压力,可以提前发现性能瓶颈,为容量规划和扩容决策提供数据支持。 场景示例: 计算资源压测 :通过模拟云主机CPU/内存高负载场景,监测应用服务的响应延迟与错误率变化,评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 :通过模拟云主机磁盘I/O高负载场景,监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现,评估存储系统的性能瓶颈。
        来自:
        帮助文档
        应用高可用
        产品简介
        故障演练服务
        应用场景
      • 应用场景(1)
        本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景,旨在帮助用户从被动响应故障转变为主动发现和规避风险,全面提升系统的稳定性和韧性。 1. 验证高可用(HA)与容灾(DR)预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效,可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例: 数据层 :通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景,验证组件能否无感切换,量化对上层业务的影响,评估高可用架构的实际效果。 中间件 :通过模拟分布式消息服务Kafka的Broker节点宕机等场景,检验消息中间件的高可用特性,评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 :通过模拟承载关键业务的云主机宕机等场景,验证应用健康检查与流量转移的及时性和有效性,评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前,通过主动对系统资源施加压力,可以提前发现性能瓶颈,为容量规划和扩容决策提供数据支持。 场景示例: 计算资源压测 :通过模拟云主机CPU/内存高负载场景,监测应用服务的响应延迟与错误率变化,评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 :通过模拟云主机磁盘I/O高负载场景,监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现,评估存储系统的性能瓶颈。
        来自:
      • 应用场景
        分布式系统异步通信场景 在单体或传统大型单机应用场景中,系统涉及模块众多,接口调用错综繁杂,业务流程耦合导致系统对用户请求响应慢,可以通过将拆分子系统,并用消息队列作为子系统间的异步通信通道进行系统解耦,提升整个系统的响应速度。 数据同步和交换场景 在大中型分布式系统中,各个子系统数据需最终保持一致,比如金融业务场景,需要有可靠消息传递,能保证业务的连续性。分布式消息队列可用于子系统间的高可靠数据传递,实现两者之间数据同步和交换,降低实现难度和成本,并提供数据通道帮助触发其他的业务流程。 削峰填谷场景 在电子商务系统或大型网站,比如大型电商场景,通常会涉及到订单、支付和通知等等场景的业务处理,系统上下游处理能力存在差异,当处理能力高的系统上游突发请求超过系统下游处理能力时,系统对外呈现的服务能力为0。此时可以通过队列服务堆积请求消息,对请求消息实现削峰填谷,错峰处理,避免下游因突发流量崩溃。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        应用场景
      • 将MySQL同步到Kafka
        参数 描述 同步Topic策略 同步Topic策略,可选择 集中投递到一个Topic:适合源库业务量不大的场景。 自动生成Topic名字:适合每张表数据量都较大的场景,按每一张库表来确定一个Topic。 Topic 选择目标端需要同步到的Topic,同步Topic策略选择集中投递到一个Topic时可见。 Topic名字格式 Topic名字格式,同步Topic策略选择自动生成Topic名字时可见。 Topic名字格式支持database和tablename两个变量,其他字符都当做常量。分别用$database$代替数据库名,$tablename$代替表名。 例如:配置成$database$$tablename$时,如果数据库名称为db1,表名为tab1,则Topic名字为db1tab1。如果是DDL语句,$tablename$为空,则Topic名字为db1。 由于kafka的机制,Topic名字格式不能以"" , "."开头,或以".internal","internal" 结尾,这些命名格式的Topic会被当做为kafka的内部Topic,业务无法使用。 同步到kafka partition策略 同步到kafka partition策略。 按库名+表名的hash值投递到不同Partition:适用于单表的查询场景,可以提高单表读写性能,推荐使用此选项。 全部投递到Partition 0:适用于有事务要求的场景,写入性能比较差,如果没有强事务要求,不推荐使用此选项。 按表的主键值hash值投递到不同的Partion:适用于一个表一个Topic的场景,避免该表都写到同一个分区,消费者可以并行从各分区获取数据。 投送到kafka的数据格式 选择MySQL投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 JSONC:一种能够兼容多个批量,流式计算框架的数据格式。 详细格式可参考 Kafka消息格式。 同步对象 同步对象支持表级同步、库级同步,您可以根据业务场景选择对应的数据进行同步。 选择对象的时候支持搜索,以便您快速选择需要的数据库对象。 在同步对象右侧已选对象框中,可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,具体操作可参考对象名映射。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        自建到自建
        将MySQL同步到Kafka
      • 虚拟主机用户权限管理
        介绍分布式消息服务RabbitMQ虚拟主机权限管理内容。 场景描述 在RabbitMQ中,虚拟主机(Virtual Hosts, vhosts)是一种逻辑隔离机制,允许单个 RabbitMQ 实例划分为多个独立的环境。每个虚拟主机都有自己的交换机、队列、绑定和权限设置。虚拟主机的用户权限管理,支持对每个用户配置三种权限,分别是配置权限、写权限、读权限,用户在未配置这三种权限之前,无法访问对应的虚拟主机。三个权限的详情如下: 配置权限:允许用户创建、修改或删除交换器(Exchange)、队列(Queue)和绑定关系。 写权限:允许用户向交换器发布消息。 读权限:允许用户消费队列中的消息或获取队列状态。 权限配置 在RabbitMQ中,虚拟主机的用户权限配置,采用的是正则表达式匹配方式, 只有满足正则表达式的资源才有权限。比如配置写权限为:".",表示该用户可以向虚拟主机下全部的交换器发布消息。配置写权限为:"^$”,表示该用户不允许向任何交换器发布消息。配置写权限为:"^exchange.",表示该用户可以向虚拟主机下以"exchange"开头的交换器发布消息。 最佳实践 1. 登录管理控制台。 2. 进入RabbitMQ管理控制台。 3. 在实例列表页在操作列,目标实例行点击“管理”。 4. 进入具体的实例管理页面,点击Vhost管理,在vhost列表页,针对指定的vhost,点击vhost进入具体的权限管理页: 5. 在具体的权限管理页,点击新建,选择指定用户,配置权限为"."、"."、".",则该用户拥有对虚拟主机下全部资源的配置权限、写权限和读权限: 6. 点击权限列表的操作列的“修改”或“删除”按钮,可以修改或删除对应用户的权限:
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        虚拟主机管理
        虚拟主机用户权限管理
      • 程序日志定位告警异常
        本小节介绍日志审计(原生版)场景下的程序日志定位告警异常处理实践。 应用场景 日志审计(原生版)已经采集到日志,但未触发对应告警。 前提准备 进入日志审计(原生版)平台。 通过控制台进入日志审计(原生版)实例。 告警服务逻辑 告警涉及服务:esinsert、alarmMgr、eventanalysvr。 告警涉及流程: eventana(告警解析):通过Kafka接收logp解析的日志,根据告警规则解析该日志是否符合告警条件,符合条件则将该告警信息转发给alarm。 alarm:通过kafka接收eventana的告警信息,并触发告警,产生告警。 esinsert(录入elasticsearch)将产生的告警录入elasticsearch。 查看程序 点击“系统配置 > 系统运维”,在服务管理中,查看相关服务状态,出现异常时,点击“重启”重启程序,大约1分钟后刷新页面,再次查看服务状态是否正常。 查看程序日志 点击“系统配置 > 系统运维”,在服务管理中,点击“导出日志”,可导出服务日志。按流程步骤依次查看esinsert、alarmMgr、eventanalysvr等服务日志是否有异常信息。 中间件故障 各程序报告日志出现报错 :Broker transport failure: 127.0.0.1:9092/0: Connect to ipv4127.0.0.1:9092 failed 日志分析:9092为Kafka服务端口,该提示说明Kafka服务出现异常。
        来自:
        帮助文档
        日志审计(原生版)
        最佳实践
        程序日志定位告警异常
      • 为什么不推荐使用Sarama Go客户端收发消息?
        本节介绍Kafka不推荐使用Sarama Go客户端收发消息 问题现象 所有Sarama Go版本客户端存在以下已知问题: 当Topic新增分区时,Sarama Go客户端无法感知并消费新增分区,需要客户端重启后,才能消费到新增分区。 当Sarama Go客户端同时订阅两个以上的Topic时,有可能会导致部分分区无法正常消费消息。 当Sarama Go客户端的消费位点重置策略设置为Oldest(earliest)时,如果客户端宕机或服务端版本升级,由于Sarama Go客户端自行实现OutOfRange机制,有可能会导致客户端从最小位点开始重新消费所有消息。 解决方案 建议尽早将Sarama Go客户端替换为Confluent Go客户端。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        操作类
        为什么不推荐使用Sarama Go客户端收发消息?
      • 拨测
        场景描述 在进行消息发送与接收验证的过程中,我们需要确保RocketMQ的生产者能够将消息成功发送到指定的Topic,同时消费者能够接收到这些消息。通过验证,可以确认生产者发送的消息能够准确无误地到达消费者,这是消息队列最基本也是最重要的功能要求。在开发和测试阶段,通过消息发送与接收验证可以及时发现并修复可能存在的问题,避免在实际应用中出现故障。 操作步骤 1、 天翼云官网点击控制中心,选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台,点击右上角地域选择对应资源池。 进入实例列表,点击【管理】按钮进入管理菜单。 3、 进入实例列表,点击【管理】按钮进入管理菜单。 4、 进入Topic管理菜单,点击【拨测】按钮,进行生产消费的拨测验证,验证开通的消息实例和Topic。 1)生产测试拨测: 选择消息类型,默认普通消息。 填写需要产生的测试消息数量,以及每条消息的大小,默认每条消息1KB,建议不超过4MB(4096KB)。 选择已建的消息Topic,若无选项,请新增Topic,详见上文创建Topic和订阅组。 点击【测试】按钮,按照已填写规格及数量产生测试消息数据,展示消息数据的信息,包括消息ID(messageID)、发送状态、主题名(topic名)、Broker名、队列ID。 拨测功能涉及消息发送状态码,以下是RocketMQ消息发送状态码及其说明: ✧ SENDOK(发送成功):表示消息成功发送到了消息服务器。 ✧ FLUSHDISKTIMEOUT(刷新磁盘超时):表示消息已经成功发送到消息服务器,但是刷新到磁盘上超时。这可能会导致消息服务器在宕机后,尚未持久化到磁盘上的数据丢失。 ✧ FLUSHSLAVETIMEOUT(刷新从服务器超时):表示消息已经成功发送到消息服务器,但是刷新到从服务器上超时。这可能会导致主从同步不一致。 ✧ SLAVENOTAVAILABLE(从服务器不可用):表示消息已经成功发送到消息服务器,但是从服务器不可用。这可能是由于网络故障或从服务器宕机引起的。 ✧ UNKNOWNERROR(未知错误):表示发送消息时遇到了未知的错误。一般情况下建议重试发送消息。 ✧ MESSAGESIZEEXCEEDED(消息大小超过限制):表示消息的大小超过了消息服务器的限制。需要检查消息的大小是否合适。 ✧ PRODUCETHROTTLE(消息生产被限流):表示消息生产者的频率超出了消息服务器的限制。这可能是由于消息发送频率过高引起的。 ✧ SERVICENOTAVAILABLE(服务不可用):表示消息服务器不可用。这可能是由于网络故障或者消息服务器宕机引起的。 请注意,以上状态码仅适用于RocketMQ消息发送阶段,并且并不代表消息是否成功被消费者接收。同时,这些状态码也可能因版本变化而有所不同,建议查阅官方文档获取最新信息。 2)消费测试拨测: 选择消息顺序,下拉选择无序/有序,默认选项为无序。 RocketMQ是一种开源的分布式消息中间件,它支持有序消息和无序消息。 ✧ 有序消息是指消息的消费顺序与发送顺序完全一致。在某些业务场景下,消息的处理需要保证顺序性,例如订单的处理或者任务的执行。RocketMQ提供了有序消息的支持,通过指定消息的顺序属性或使用消息队列的分区机制,可以确保消息按照指定的顺序进行消费。 ✧ 无序消息则是指消息的消费顺序与发送顺序无关。无序消息的特点是高吞吐量和低延迟,适用于一些不要求严格顺序的业务场景,如日志收集等。 在RocketMQ中,有序消息和无序消息的实现方式略有不同。有序消息需要借助MessageQueue的分区机制和消费者端的顺序消息消费来实现。而无序消息则是通过消息的发送和接收的并发处理来实现的。 总的来说,RocketMQ既支持有序消息也支持无序消息,根据业务需求选择合适的消息类型来满足业务的要求。 选择消费方式,目前仅提供pull方式。值得注意的是,RocketMQ还提供了推送(push)方式的消费模式,其中消息队列服务器会主动将消息推送给消费者。但在当前仅限于pull方式的消费模式。 填写消费数量。 下拉选择选择已建的消息主题和订阅组,若无选项,请新增主题和订阅组,详见上文创建主题和订阅组。 点击【测试】按钮,按照已填写规格及数量产生消费数据,展示消息数据的信息,包括消息ID(messageID)、主题名称(topicName)、生成时间、存储时间、队列ID、消费状态。 拨测功能涉及消息消费状态码,RocketMQ消费状态码是指在消息消费过程中,对消费结果进行标识的状态码。以下是常见的RocketMQ消费状态码: ✧ CONSUMESUCCESS(消费成功):表示消息成功被消费。 ✧ RECONSUMELATER(稍后重试):表示消费失败,需要稍后再次进行消费。 ✧ CONSUMEFAILURE(消费失败):表示消息消费出现异常或失败。 ✧ SLAVENOTAVAILABLE(从节点不可用):表示消费者无法访问从节点来消费消息。 ✧ NOMATCHEDMESSAGE(无匹配的消息):表示当前没有匹配的消息需要消费。 ✧ OFFSETILLEGAL(偏移量非法):表示消费的偏移量参数不合法。 ✧ BROKERTIMEOUT(Broker超时):表示由于Broker超时导致消费失败。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        Topic管理
        拨测
      • 实例类
        RabbitMQ实例是否支持持久化,如何定时备份数据? RabbitMQ支持消息数据持久化,可从客户端连接RabbitMQ并设置消息持久化,也可在RabbitMQ集群管理工具界面创建队列时设置消息持久化。 不支持客户自定义定时备份数据,或从界面触发备份数据。 RabbitMQ实例开启SSL后,证书怎么获取? RabbitMQ实例开启SSL后只做单向认证,不需要证书。 RabbitMQ实例的SSL开关是否支持修改? 不支持动态修改,即如果实例创建时没有选择开启,创建完成之后,不支持修改,建议在实例创建时将开关打开。 RabbitMQ实例是否支持扩容? 单机版本的RabbitMQ实例支持扩大存储空间,以及扩容代理规格,暂不支持缩容。 集群版本的RabbitMQ实例支持扩大存储空间和代理个数,以及扩容代理规格,暂不支持缩容。 如何清空队列数据? 1. 登录Web UI。 2. 在“Queues”页签,单击需要清空数据的队列名称,进入队列详情页面。 3. 单击“Purge Messages”,清空队列数据。 RabbitMQ支持双向认证吗? 不支持。 RabbitMQ支持升级CPU和内存吗? RabbitMQ支持扩容/缩容代理规格,具体请参见变更实例规格。 如何关闭RabbitMQ的WebUI? 创建RabbitMQ实例后,如果想要关闭RabbitMQ的WebUI,只要您在安全组入方向中不开放15672端口(实例未开启SSL时的端口)或者15671(实例开启SSL时的端口),此时就无法登录WebUI界面。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        常见问题
        实例类
      • 消费延迟
        Kafka的消费机制是由客户端主动去服务端拉取消息进行消费的。因此,一般来说,如果客户端能够及时消费,则不会产生较大延迟。如果产生了较大延迟,请先关注是否有堆积,并注意提高消费速度。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        消费者实践
        消费延迟
      • RabbitMQ业务迁移
        方案二:先迁移数据,再然后同时切换生产和消费 在线下实例和线上实例都开启shovel插件,线上实例开启的方法请参见开启shovel插件。然后,在线下实例的RabbitMQ WebUI页面中配置shovel插件信息:Source为线下实例信息,Destination为线上实例信息,并在Source和Destination中设置需要同步的队列。 图3 配置shovel插件信息 shovel插件信息配置完成后,生成如下shovel规则: 图4 生成shovel规则 当shovel状态为“running”时,表示迁移开始。等数据迁移完成后,将生产、消费切换至线上实例,完成迁移过程。 图5 shovel完成状态 说明 shovel迁移数据的原理是消费线下实例消息,生产消息到线上实例,迁移后线下实例消息 被清空,建议离线迁移,业务会出现中断。 确保线上实例和线下实例可连通。 通过以下方法,确认数据是否迁移完成。 1. 在RabbitMQ WebUI页面查看,如图6所示。 Overview视图中,线下实例中可消费消息数(Ready)以及未确认的消息数(Unacked)都为0时,说明迁移完成。 图6 RabbitMQ WebUI 针对于具体的队列数据,可以进队列页面查看。 图7 迁移后线下实例队列数据 图8 迁移后线上实例队列数据 2. 调用API查看。 curl s u username:password XGET 参数说明: username:线下实例登录RabbitMQ WebUI的帐号 password:线下实例登录RabbitMQ WebUI的密码 ip:线下实例登录RabbitMQ WebUI的IP地址 port:线下实例登录RabbitMQ WebUI的端口号 回显信息中“messagesready”和“messagesunacknowledged”都为0时,说明迁移完成。 图9 回显信息
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        最佳实践
        RabbitMQ业务迁移
      • 查询订阅组详细状态信息
        参数 参数类型 说明 示例 下级对象 maxReconsumeTimes String 最大重试次数 1 adjustThreadPoolNumsThreshold String 线程池数量调整阈值 100000 unitMode String 单元模式开关 false consumeTimeoutInSec String 消费超时时间(秒) 1 timeoutStrategy String 超时处理策略 ALARMANDRETRY consumerGroup String 消费组名称 group messageModel String 消息模型 CLUSTERING allocateMessageQueueStrategy String 消息队列分配策略 org.apache.rocketmq.client.consumer.rebalance.AllocateMessageQueueAveragely@14978a04 pullThresholdSizeForTopic String 主题拉取大小阈值 1 suspendCurrentQueueTimeMillis String 队列挂起时间(毫秒) 1000 pullThresholdSizeForQueue String 队列拉取大小阈值 100 PROPCLIENTVERSION String 客户端版本 V283CTG offsetStore String 偏移量存储实现类 org.apache.rocketmq.client.consumer.store.RemoteBrokerOffsetStore@64668c91 consumeConcurrentlyMaxSpan String 并发消费最大跨度 2000 postSubscriptionWhenPull String 拉取时提交订阅关系开关 false consumeTimestamp String 消费时间戳 20220831110532 PROPCONSUMETYPE String 消费类型 CONSUMEPASSIVELY consumeMessageBatchMaxSize String 批量消费最大消息数 1 defaultMQPushConsumerImpl String 推送消费者实现类 org.apache.rocketmq.client.impl.consumer.DefaultMQPushConsumerImpl@6470d9c8 PROPTHREADPOOLCORESIZE String 线程池核心大小 20 pullInterval String 拉取间隔(毫秒) 0 pullThresholdForQueue String 队列拉取阈值 1000 pullThresholdForTopic String 主题拉取阈值 1 consumeFromWhere String 消费起始位置 CONSUMEFROMFIRSTOFFSET PROPNAMESERVERADDR String 名称服务地址 192.168.71.188:8411; pullBatchSize String 拉取批次大小 32 consumeThreadMin String 最小消费线程数 20 PROPCONSUMERSTARTTIMESTAMP String 消费者启动时间戳 1661916932150 consumeThreadMax String 最大消费线程数 64 consumeTimeout2 String 消费超时时间2(秒) 15 subscription String 订阅关系 {} PROPCONSUMEORDERLY String 顺序消费开关 false messageListener String 消息监听器实现类 com.ctg.mq.api.impl.MQConsumerImpl$ConsumerTopicListenerImpl@677658a0 表 subscriptionSet
        来自:
        帮助文档
        分布式消息服务RocketMQ
        API参考
        API
        2022-04-06
        订阅组管理
        查询订阅组详细状态信息
      • 使用咨询
        本章节主要介绍队列相关问题中有关使用咨询的问题。 DLI队列管理是否支持修改描述内容 不支持修改描述内容。 目前已经创建完成的队列不支持修改描述内容,只能在购买队列时进行添加。 删除队列会导致数据库中的表数据丢失吗? 删除队列不会导致您数据库中的表数据丢失。 队列异常时,DLI怎么保证Spark作业的可靠性? 应用侧调用DLI提交作业,需要有重试机制来保证Spark作业的可靠性。 如果队列发生异常时,在后续队列恢复后,通过应用侧重试来保证作业的正常提交。 DLI如何进行队列异常监控? DLI为用户提供了作业失败的topic订阅功能。 1. 登录DLI控制台。 2. 单击左侧“队列管理”,进入队列管理页面。 3. 在队列管理页面,单击左上角“创建消息通知主题”进行配置。
        来自:
        帮助文档
        数据湖探索
        常见问题
        操作类
        队列相关问题
        使用咨询
      • 术语解释
        Hudi Hudi是数据湖的文件组织层,对Parquet格式文件进行管理提供数据湖能力,支持多种计算引擎,提供IUD接口,在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 资源池 ModelArts提供的大规模计算集群,可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种,分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买,专属使用,不与其他用户共享。 Hue Hue是一组WEB应用,用于和MRS大数据组件进行交互,能够帮助用户浏览HDFS,进行Hive查询,启动MapReduce任务等,它承载了与所有MRS大数据组件交互的应用。 Kafka Kafka是一个分布式的、分区的、多副本的消息发布订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Spark Spark是一个开源的,并行数据处理框架,能够帮助用户简单的开发快速,统一的大数据应用,对数据进行离线处理,流式处理,交互式分析等等。
        来自:
        帮助文档
        翼MapReduce
        产品简介
        术语解释
      • 使用限制
        介绍分布式消息服务RabbitMQ的功能使用限制。 限制项 约束和限制 描述 版本 当前服务端版本有3.8.9和3.8.35 兼容AMQP 091协议的客户端版本。 连接数 RabbitMQ单机和集群实例,不同实例规格的连接数上限不一致,具体限制,请参考产品规格。 通道数 2GB 磁盘剩余空间低于2GB会触发磁盘高水位,生产者流程被阻塞 clusterpartitionhandling pauseminority 当集群发生网络分区时,代理会检查自己是否处于“少数派”(存储分区的代理数小于等于总代理数的一半称为少数派)。少数派中的代理将会自动关闭服务并定期检测网络状态,待分区恢复之后重新启动服务。如果未开启镜像队列,发生分区时少数派上的队列将无法生产消费。此策略相当于放弃了可用性而选择了数据一致性。 rabbitmqdelayedmessageexchange 插件延迟时间存在1%左右的误差,可能提前或者推迟发送消息给消费者。 实例是否开启消息延迟功能。 延时消息最大延时时间 7天 延时消息的最大延时时间
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        产品简介
        使用限制
      • 应用场景
        优势 多源数据分析免搬迁:关系型数据库RDS中存放车辆和车主基本信息,表格存储中存放实时的车辆位置和健康状态信息,数据仓库DWS中存放周期性统计的指标。通过DLI无需数据搬迁,对多数据源进行联邦分析。 数据分级存储:车企需要保留全量历史数据支撑审计类等业务,低频进行访问。温冷数据存放在低成本的对象存储服务OBS上,高频访问的热数据存放在数据引擎(DWS)中,降低整体存储成本。 告警快速敏捷触发服务器弹性伸缩:对CPU、内存、硬盘空间和带宽无特殊要求。 建议搭配以下服务使用: CDM、OBS、DWS。 大数据ETL处理 运营商大数据分析 运营商数据体量在PB~EB级,其数据种类多,有结构化的基站信息数据,非结构化的消息通信数据,同时对数据的时效性有很高的要求,DLI服务提供批处理、流处理等多模引擎,打破数据孤岛进行统一的数据分析。 优势 大数据ETL:具备TB~EB级运营商数据治理能力,能快速将海量运营商数据做ETL处理,为分布式批处理计算提供分布式数据集。 高吞吐低时延:采用Apache Flink的Dataflow模型,高性能计算资源,从用户自建的Kafka、MRSKafka、DMSKafka消费数据,单CU每秒吞吐1千~2万条消息。 建议搭配以下服务使用: OBS、DataArts Studio。
        来自:
        帮助文档
        数据湖探索
        产品简介
        应用场景
      • 消息过滤
        Kafka 自身没有消息过滤的语义。实践中可以采取以下两个办法: 如果过滤的种类不多,可以采取多个 Topic 的方式达到过滤的目的; 如果过滤的种类多,则最好在客户端业务层面自行过滤。 实践中请根据业务具体情况进行选择,也可以综合运用上面两种办法。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        消费者实践
        消息过滤
      • 创建Topic
        本章节介绍了如何创建Topic。 操作场景 Topic,即消息主题,消息发送与接收的基本单元。购买RocketMQ实例成功后,需要手动创建Topic,然后才能进行生产消息和消费消息。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称,进入实例详情页面。 3. 在左侧导航栏,单击“Topic管理”,进入“Topic管理”页面。 4. 单击“创建Topic”,弹出“创建Topic”页面。 5. 参考表1,填写Topic名称和配置信息。 表 Topic参数说明 参数 说明 :: Topic名称 您可以自定义Topic名称,用于区分不同的Topic。 Topic名称不能设置为相同,否则会创建失败。 创建Topic后不能修改名称。 说明: 如果Topic名称中包含“%”或“ 权限 Topic的权限,包括发布+订阅、发布和订阅。 关联代理 选择在某个代理上创建Topic,并设置Topic的队列个数。 如果实例部署在多个代理上,单击“添加关联代理”,可以在其他代理上创建Topic,并设置Topic的队列个数。 图 创建Topic 6. 配置完成后,单击“确定”,完成Topic的创建。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        快速入门
        创建Topic
      • 操作类
        客户端注册失败 客户端日志报No matched consumer for the PullRequest PullRequest。 问题原因:客户端实例注册失败。 解决方案:检查客户端代码,重启客户端进程。 the consumer message buffer is full, so do flow control 客户端日志出现the consumer message buffer is full, so do flow control 问题原因:push客户端消费过慢,本地缓存队列已满,暂时停止向服务端拉取消息。消费慢的原因可能是网络原因、topic队列数过多、消费者过少,内存过小等。 解决方案: (1)查看网络是否异常,缓慢。 (2)增加消费者实例。 (3)如果消息不重要,又不方便增加消费者实例,可以减少topic队列数量。 system busy, start flow control for a while 客户端日志出现 [REJECTREQUEST]system busy, start flow control for a while 或者 [PCBUSYCLEANQUEUE]broker busy, start flow control for a while, period in queue。 问题原因: 在关闭生产者实例的同时用生产者实例发送消息,连接关闭了netty会拒绝请求。 线程少,处理发送请求过慢。 解决方案: 应用优化使用流程,禁止在close生产者实例后使用生产者。 如果Broker是同步主,那么改成异步主,或者将 sendMessageThreadPoolNums32且waitTimeMillsInSendQueue1000。 消费者消费不到消息如何处理 进入控制台查看订阅管理菜单,检查订阅组是否有消费实例在线,如果不在线检查消费客户端日志是否有连接异常。 检查消费客户端逻辑,是否存在订阅关系不一致的情况。 消费者机器宕机重启是否会造成消息丢失 RocketMQ的消息数据以及订阅信息都是持久化保存的,当消费者下线重新上线后,会Broker持久化的下线前的消费偏移重新开始消费,所以不会发生消息丢失的情况。 订阅消息时是否可以允许消息Tag为空 订阅主题时如果Tag设置为空会导致消费者消费不到消息,如不希望通过Tag进行消息过滤,可以将Tag设置为,示例如下: consumer.subscribe(topic, ""); 客户端连接时出现“signature validate by dauth failed”错误 这种错误的原因一般是由于ACL认证失败,较大的可能是客户端配置的AccessKey和SecretKey出现错误,可以检查下这两项配置是否输入有误。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        常见问题
        操作类
      • 用户权限管理
        场景描述 RocketMQ提供了用户管理和权限管理机制,用于确保消息队列的安全性和访问控制。另外RocketMQ还支持角色的概念,可以将多个权限组合成一个角色,并将角色分配给用户。通过角色管理,可以简化权限管理的复杂性,提高管理效率。 通过用户管理和权限管理机制,RocketMQ可以实现对消息队列的细粒度访问控制,确保只有授权的用户能够读取、写入和订阅消息,并提供了灵活的角色管理功能,方便管理员进行权限分配和管理。这些机制可以帮助用户保护消息队列的安全性,防止未经授权的访问和操作。 应用用户管理 本章节适用于南京3、上海7、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、晋中、北京5 节点。 新建消息实例后,必须在此菜单新建应用用户,然后应用才能在此消息实例上发送、消费消息。此处的用户名即为管控openapi中的accessKey,加密后的密码即为管控openapi中的secretKey。 应用用户:指MQ客户端,连接服务器生产消费时,需要进行权限校验,所以MQ客户端的用户,称为应用用户; 除了用户密码的校验,还可以为用户指定topic,代表该用户只能生产消费,指定的topic,其他topic不能生产消费。 1、点击【新建用户】按钮 2)进入用户列表界面,新增用户 3)弹出框填写用户字段 默认展示租户名,不可修改。 选择集群名称,填写应用用户名,请输入大于6位字符,只能输入大小写字母,下划线,数字。 填写用户密码,请输入大于8位字符,需要包含数字大小写字母以及特殊符号(!@
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        用户权限管理
      • 预取值
        本章节主要介绍分布式消息服务RabbitMQ的预取值特性。 使用场景 设置预取值可以限制未被确认的消息个数,一旦消费者中未被确认的消息数量达到设置的预取值,服务端将不再向此消费者发送消息,除非至少有一个未被确认的消息被确认。设置预取值本质上是一种对消费者进行流控的方法。 设置预取值时,需要考虑多种因素: 预取值设置太小可能会损害性能,RabbitMQ会一直在等待获得发送消息的权限。 预取值设置太大可能会导致从队列中取出大量消息传递给一个消费者,而使其他消费者处于空闲状态。另外还需要考虑消费者的配置,消费者在处理消息时会将所有消息保存在内存中,太大的预取值会对消费者的性能产生负面影响,甚至可能会导致消费者崩溃。 更多关于预取值的说明,请参考Consumer Prefetch。 如何设置合适的预取值? 如果您只有一个或很少几个消费者在处理消息,建议一次预取多条消息,尽量让客户端保持忙碌。如果您的处理时间和网络状态稳定,则只需将总往返时间除以每条消息在客户端的处理时间即可获得估计的预取值。 在消费者多且处理时间短的情况下,建议使用较低的预取值。过低的预取值会使消费者闲置,因为消费者在处理完消息后需要等待下一批的消息到达。过高的值可能会使单个消费者忙碌,其他消费者处于空闲状态。 在消费者多且处理时间很长的情况下,建议您将预取值设置为1,以便消息在所有消费者间均匀分布。 说明 如果客户端配置的消息确认机制为自动确认,则设置的预取值无效,已确认的消息会从队列中删除。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        高级特性
        预取值
      • 创建Topic
        本章节介绍了如何创建分布式消息服务RocketMQ实例的Topic。 操作场景 Topic,即消息主题,消息发送与接收的基本单元。购买RocketMQ实例成功后,需要手动创建Topic,然后才能进行生产消息和消费消息。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称,进入实例详情页面。 3. 在左侧导航栏,单击“Topic管理”,进入“Topic管理”页面。 4. 单击“创建Topic”,弹出“创建Topic”页面。 5. 参考表1,填写Topic名称和配置信息。 表1 Topic参数说明 参数 说明 Topic名称 您可以自定义Topic名称,用于区分不同的Topic。 Topic名称不能设置为相同,否则会创建失败。创建Topic后不能修改名称。 说明:如果Topic名称中包含“%”或“ 权限 Topic的权限,包括发布+订阅、发布和订阅。 关联代理 选择在某个代理上创建Topic,并设置Topic的队列个数。如果实例部署在多个代理上,单击“添加关联代理”,可以在其他代理上创建Topic,并设置Topic的队列个数。 6. 参考图1 创建Topic 7. 配置完成后,单击“确定”,完成Topic的创建。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        Topic管理
        创建Topic
      • ALM-38009 Broker磁盘IO繁忙
        本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况,当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值(默认80%)时,产生该告警。 平滑次数为3,当该磁盘IO低于阈值(默认80%)时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”,搜索发生告警的Topic,查看副本数量。 2. 如果副本数量值大于3,则考虑减少该Topic的复制因子(减少为3)。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划: kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如: /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为:{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间,看告警是否消失。如果告警没有消失,执行步骤5。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-38009 Broker磁盘IO繁忙
      • 开源对比
        介绍分布式消息服务RocketMQ与开源自建的对比情况。 分布式消息服务RocketMQ基于开源产品RocketMQ进行问题修复与优化,并自主研发,实现低成本、高可靠、高性能和具备监控运维能力的中间件产品。 使用开源RocketMQ遇到的问题 功能不完善:功能比较单一,针对不同应用场景无法有效支持,如消息查询,数据自动删除策略等。 可维护性差:缺乏配套监控运维能力,难以迅速发现解决如消息堆积、队列堵塞等问题。 可靠性较低:消息服务不提供主备切换能力,存在单点故障,无法保证服务高可用。 分布式消息服务RocketMQ改进点 高可用、高可靠改进: 实现自动主备切换、自动拉起功能,保证服务高可用。 实现消息删除策略,按不同的场景优先保证服务可用性或者数据安全性。 可维护性改进: 实现按生产者、消费者、数据节点、队列4种维度的运行状态监控,方便快速发现问题。 实现可视化的监控、配置、管理界面实现自动化测试,以快速迭代。 新增功能: 新增消息查询,做到可查可追踪。 重新封装SDK,简化应用使用,并提供按hash算法实现消息局部有序生产消费。 开源自建对比项 对比项 开源自建 分布式消息服务RocketMQ 自动化部署 不支持自动化部署,需要专业人员自行部署、运维 全托管PaaS,免机器资源一键自动化部署。开箱即用,按需使用,支持弹性扩容 运维监控 缺乏配套的监控运维能力 提供多维度的数据可视化监控,快速定位、处理问题 增强能力 功能单一,无法支持多种场景需求 功能丰富,支持消息重试、消息查询、消息轨迹查询、数据自动清理等定制化功能 延迟消息/定时消息 仅支持18个固定延迟时长,最长延迟2小时 支持秒级的任意延迟时长,最长延迟40天 ACL访问控制 访问控制配置复杂 灵活配置,一键生效
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        开源对比
      • MRS集群中的用户与权限
        用户组名称 描述 hadoop 将用户加入此用户组,可获得所有Yarn队列的任务提交权限。 hbase 普通用户组,将用户加入此用户组不会获得额外的权限。 hive 将用户加入此用户组,可以使用Hive。 spark 普通用户组,将用户加入此用户组不会获得额外的权限。 supergroup 将用户加入此用户组,可获得HBase、HDFS和Yarn的管理员权限,并可以使用Hive。 flume 普通用户组。添加到该用户组的用户无任何额外权限。 kafka Kafka普通用户组。添加入本组的用户,需要被kafkaadmin组用户授予特定Topic的读写权限,才能访问对应Topic。 kafkasuperuser 添加入本组的用户,拥有所有Topic的读写权限。 kafkaadmin Kafka管理员用户组。添加入本组的用户,拥有所有Topic的创建,删除,授权及读写权限。 storm Storm的普通用户组,属于该组的用户拥有提交拓扑和管理属于自己的拓扑的权限。 stormadmin Storm的管理员用户组,属于该组的用户拥有提交拓扑和管理所有拓扑的权限。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        MRS Manager操作指导(适用于2.x及之前)
        MRS多用户权限管理
        MRS集群中的用户与权限
      • 退订
        本节主要介绍分布式消息服务Kafka的退订说明 如果您有退订的需求,可以进行登录天翼云管理中心或产品控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订,详细规则请参考文档费用中心退订。
        来自:
        帮助文档
        分布式消息服务Kafka
        计费说明
        退订
      • 创建数据订阅任务
        本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一:数据实时分析 使用云监控数据订阅功能,将业务进行异步解耦,在不影响源库业务的情况下,实时同步监控数据(指标、事件)或告警数据到客户自有分析系统中,帮助企业用户进行实时数据分析。 场景二:数据归档存储 使用云监控数据订阅功能,您可将资源监控或告警数据的增量更新数据,实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放,如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号,并完成实名认证。具体操作,请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据,订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务(kafka)及remotewriteapi方式。 事件数据订阅支持分布式消息服务(kafka)及apipush方式。(事件订阅入口为:云监控服务>事件监控>事件订阅) 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击,选择区域,本文我们选择华东1。 3. 依次选择“管理与部署”,单击“云监控”,进入监控概览页面。 4. 单击左侧“数据订阅”菜单,进入数据订阅任务列表。 5. 单击“创建订阅任务”功能,进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下: 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息,支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景,涉及两个周期: 订阅服务subscription同步订阅配置的周期,预计上线配置2分钟。 数据订阅配置全部资源,也需要周期同步全量的实例资源,预计线上配置3分钟。 因此,考虑极限情况,告警订阅服务在周期1 + 周期2之后产生的告警,订阅服务才能匹配消费到。
        来自:
        帮助文档
        云监控服务
        用户指南
        数据订阅
        创建数据订阅任务
      • 跨源连接问题
        检查VPC网络是否设置了ACL规则限制了网络访问 网络ACL对子网进行防护,检查对应子网是否配置了ACL,是否设置了ACL规则限制了网络访问。 例如当您设置了安全组放通队列的网段,同时设置的网络ACL规则包含拒绝该地址访问,那么此安全组规则不生效。 怎样配置DLI队列与数据源的网络连通? 配置DLI队列与内网数据源的网络联通 DLI在创建运行作业需要连接外部其他数据源,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。 DLI提供的增强型跨源连接功能,底层采用对等连接的方式打通与目的数据源的vpc网络,通过点对点的方式实现数据互通。 详见下图:增强型跨源连接配置流程 配置DLI队列与公网网络联通 通过配置SNAT规则,添加到公网的路由信息,可以实现队列到和公网的网络打通。 详见下图:配置DLI队列访问公网流程 DLI创建跨源连接,进行绑定队列一直在创建中怎么办? 跨源连接创建慢,有以下几种可能: 购买DLI队列后,第一次进行绑定队列。通常需要等待510分钟,待后台拉起集群后,即可创建成功。 若刚刚对队列进行网段修改,立即进行绑定队列。通常需要等待510分钟,待后台重建集群后,即可创建成功。 如何打通DLI和数据源的网络? DLI 增强型跨源连接底层采用对等连接,直接打通DLI集群与目的数据源的VPC网络,通过点对点的方式实现数据互通。
        来自:
        帮助文档
        数据湖探索
        常见问题
        操作类
        跨源连接相关问题
        跨源连接问题
      • 计费项
        本节介绍了分布式消息服务RabbitMQ产品的计费项。 RabbitMQ包括2个计费项:RabbitMQ队列实例费用、RabbitMQ队列存储空间费用,具体费用详情可参考产品资费。 目前天翼云对分布式消息服务RabbitMQ产品支持包年包月、按需两种计费方式。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子:代理规格和代理数量 包年/包月、按需计费 实例规格单价 代理数量 购买时长 存储空间费用 计费因子:云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 单个代理存储大小 代理数量 购买时长
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        计费说明
        计费项
      • 消息轨迹
        场景描述 消息轨迹记录了一条消息从生产端到消息队列RocketMQ服务端,再到消费端的整个过程,包括各阶段的时间、执行状态等。 使用说明 客户端SDK默认不开启消息轨迹功能,需要在消息收发时主动开启消息轨迹,以Java为例,如下所示: 生产者启用消息轨迹: DefaultMQProducer producer new DefaultMQProducer("ProducerGroupName",new AclClientRPCHook(newSessionCredentials("控制台角色AK","控制台角色CK")),true,null); 消费者启用消息轨迹: DefaultMQPushConsumer consumer new DefaultMQPushConsumer("ConsumerGroupName",new AclClientRPCHook( new SessionCredentials( "控制台角色AK", "控制台角色CK") ),newAllocateMessageQueueAveragely(),true,null); 消息轨迹的查询方式 1. 天翼云官网点击控制中心,选择产品分布式消息服务RocketMQ。 2. 登录分布式消息服务RocketMQ控制台,点击右上角地域选择对应资源池。 3. 进入实例列表,点击【管理】按钮进入管理菜单。 4. 根据查询结果,查看消息轨迹。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        管理消息
        消息轨迹
      • 变更实例规格
        本章节主要介绍如何变更分布式消息服务RabbitMQ实例的规格。 操作场景 RabbitMQ实例创建成功后,您可以根据业务需要扩容,RabbitMQ实例支持的变更配置如表1所示。 表1 变更配置列表 实例类型 变更配置类型 是否支持扩展 是否支持缩容 :::::::: 集群 代理个数 √ × 集群 存储空间 √ × 集群 代理规格 √ √ 单机 代理个数 × × 单机 存储空间 √ × 单机 代理规格 √ √ 约束与限制 为了实例运行正常,变更规格过程中,请勿对实例进行其他操作。 实例变更规格后,配置费用将发生变化。 前提条件 已创建RabbitMQ实例,且实例状态为“运行中”。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 此处请选择RabbitMQ实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”>“分布式消息服务”>“RabbitMQ专享版”,进入分布式消息服务RabbitMQ专享版页面。 步骤 4 通过以下任意一种方法,变更实例规格。 在待变更规格的实例所在行,单击“更多 > 变更规格”。 单击RabbitMQ实例名称,进入实例详情页面。单击右上角的“更多 > 变更规格”。 步骤 5 根据实际情况选择扩容存储空间、代理个数或者扩容/缩容代理规格。 扩容存储空间 在“变更配置”中,选择“存储空间”,在“单个代理存储空间”中,选择扩容后的单个代理的存储空间大小,单击“下一步”。确认扩容信息无误后,单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小(即扩容后的单个代理的存储空间代理个数)。 说明 可用存储空间实际存储空间用于存储日志的存储空间格式化磁盘的损耗。 例如,实际扩容存储空间到700GB,用于存储日志的数据的存储空间为100GB,格式化磁盘损耗7GB,那么扩容后的可用存储空间为593GB。 扩容代理个数 在“变更配置”中,选择“代理数量”,在“代理数量”中,选择扩容后的代理个数,单击“下一步”。确认扩容信息无误后,单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明 变更规格过程中会有秒级业务中断,客户端需要支持自动重连,建议在业务低峰时进行变更。 扩容代理规格 在“变更配置”中,选择“代理规格”,在“代理规格”中,选择扩容后的规格,单击“下一步”。确认扩容信息无误后,单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理规格。 说明 单机实例和没有配置镜像/仲裁队列的集群实例在变更规格过程中会有分钟级业务中断,客户端需要支持自动重连,建议在业务低峰时进行变更。 配置了镜像/仲裁队列的集群实例在变更规格过程中会有秒级业务中断,客户端需要支持自动重连,建议在业务低峰时进行变更。 当前只支持扩容,暂不支持缩容。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        实例日常管理
        变更实例规格
      • 应用场景
        本节介绍分布式缓存服务Redis版产品的应用场景 电商类应用场景 在电商类场景中,分布式缓存服务Redis版广泛用于商品展示、购物推荐、在线选号以及在大型促销秒杀活动中的库存、计数控制等 热门商品展示:秒杀活动通常会吸引大量用户的访问,商品信息的读取是非常频繁的操作。为了减轻数据库负载和提高响应速度,可以使用Redis将热门商品的信息缓存起来。这样,用户每次请求秒杀商品时,可以先从Redis中获取商品信息,而不必每次都查询数据库,可以显著提升电商网站的性能和响应速度。 库存控制:秒杀活动对商品的库存有严格的限制,需要保证商品数量的准确性和并发访问的安全性。Redis提供了原子性操作和分布式锁的支持,可以使用Redis的原子减操作来实现商品库存的扣减,同时可以使用Redis的分布式锁来保护库存操作的并发安全性。可参考最佳实践:秒杀库存控制 异步处理订单:秒杀活动结束后,会有大量的订单需要处理。为了提高系统的并发能力和响应速度,可以使用Redis作为消息队列,将订单信息存储在Redis的列表中。然后通过多个消费者进程或线程从Redis中获取订单消息进行处理,实现订单的异步处理和解耦。 游戏类应用场景 分布式缓存服务Redis版是游戏中重要的组件,一般用于玩家数据的缓存和持久化。 缓存玩家数据:分布式缓存服务Redis版可以用作玩家数据的缓存存储,包括玩家的角色信息、道具装备、技能等业务数据。通过将玩家数据存储在Redis中,可以提高数据的读取速度,并减轻数据库的负载。这对于需要频繁读取玩家数据的游戏来说尤为重要。 排行榜数据存储:在一个在线游戏中,我们需要实时统计玩家的得分,并展示排行榜,以便玩家之间进行竞争和比较。可使用分布式缓存服务Redis版的有序集合数据结构存储用户排行榜,利用Redis提供的排序功能快速获取排名信息。可参考最佳实践:排行榜功能 状态管理和计数器:Redis的计数器和键值存储特性可以用于游戏中的状态管理和计数功能。例如,可以使用Redis的计数器记录游戏中的击杀数、经验值等,以及管理玩家的在线状态,同时可以使用Redis的键值存储功能存储和读取游戏中的各种状态信息。
        来自:
        帮助文档
        分布式缓存服务Redis版
        产品介绍
        应用场景
      • 1
      • ...
      • 11
      • 12
      • 13
      • 14
      • 15
      • ...
      • 243
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      多活容灾服务

      镜像服务 IMS

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      公共算力服务

      模型推理服务

      科研助手

      一站式智算服务平台

      推荐文档

      操作手册

      天翼云最佳实践①:Linux实例搭建FTP站点

      基本功能

      新品上线

      邀请参会方

      玩转天翼云⑦:Linux扩展Swap分区的三种方法

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号