爆款云主机低至25.83元/年
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 云聚517 · 好价翼起拼 NEW 爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
智算安全专区
  • 大模型安全评测
  • 大模型安全护栏
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      消息队列Kafka版_相关内容
      • 重置消费位置
        介绍分布式消息服务Kafka重置消费位置功能操作内容。 场景描述 Kafka重置消费位置的场景包括以下几个: 初次消费:当一个新的消费者加入到Kafka集群时,它需要从某个位置开始消费消息。在这种情况下,可以将消费位置重置为最早的消息或最新的消息。 消费者组重置:当消费者组中的消费者发生变化,如新增或退出消费者,可能需要重置消费位置。在这种情况下,可以将消费位置重置为最早的消息或最新的消息。 消费者出现故障:当消费者发生故障,并且需要将其替换或修复时,可能需要重置消费位置。在这种情况下,可以将消费位置重置为最早的消息或最新的消息,以确保新的消费者能够从正确的位置开始消费。 消费者重新处理消息:在某些情况下,消费者可能需要重新处理之前已经消费过的消息。这可能是由于消费者的处理逻辑发生变化,或者需要重新计算之前的结果。在这种情况下,可以将消费位置重置为指定的消息位置,以便消费者重新处理消息。 消费者消费速度过慢:当消费者的处理能力不足,无法及时消费消息时,可能需要重置消费位置。在这种情况下,可以将消费位置重置为最新的消息,以便消费者能够跳过堆积的消息,从最新的消息开始消费。 操作步骤 Tips:目前消费只能重置72小时内的消息,可选择72小时内时间点重置。 (1)登录管理控制台。 (2)进入Kafka管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“消费组管理”后进入消费组管理页面。 (5)在目标消费组所在行,点击其右侧的“更多”,在下拉框中单击“重置消费位置”。 (6)出现重置消费位置窗口后,可以选择从最新点位开始消费、从最旧点位开始消费、按时间点进行消费位置重置、重置消费点位到附近n条。 四种重置方式试用场景如下: 从最新点位开始消费:将消费者的消费位置重置为最新的消息。这意味着消费者将从当前Kafka主题的最新消息开始消费,忽略之前已经产生的消息。这种方式适用于只关注最新消息的场景,如实时监控或日志记录。 从最旧点位开始消费:将消费者的消费位置重置为最早的消息。这意味着消费者将从当前Kafka主题的最早消息开始消费,包括之前已经产生的消息。这种方式适用于需要处理全部消息历史记录的场景,如数据重播或数据分析。 按时间点进行消费位置重置:将消费者的消费位置重置为指定的时间点。这意味着消费者将从指定时间点之后的消息开始消费,可以精确地选择消费的起始位置。这种方式适用于需要从特定时间点开始消费的场景,如数据回溯或重新处理。 重置消费点位到附近n条:将消费者的消费位置重置到指定的消费位点上,这个是分区级别的,因此可以更加精确地选择消费的起始位置。这种方式适用于需要从特定位点开始消费的场景,如数据回溯或重新处理。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        消费组管理
        重置消费位置
      • 查看监控数据
        操作场景 天翼云分布式消息Kafka自集成了一整套监控方案,对Kafka实例的运行状态进行日常监控,可以通过管理控制台查看Kafka实例各项监控指标。 操作前提 已开通天翼云Kafka实例,且实例状态为“运行中” 实例有进行生产消费行为,实例中存在可消费的消息 Kafka 实例是天翼云Ⅱ类资源池实例,目前Ⅱ类资源池包括:华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列,目标实例行点击“管理”。 4. 点击“可观测”后,选择“监控信息”,默认展示实例监控,除此之外,监控信息还包括实例节点监控、Topic监控、消费组监控和Connect监控,Connect监控只有开启Kafka Connect才展示。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        可观测
        监控信息
        查看监控数据
      • Kafka客户端使用规范
        其他建议 连接数限制:3000 消息大小:不能超过10MB 使用saslssl协议访问Kafka:确保DNS具有反向解析能力,或者在hosts文件配置kafka所有节点ip和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 副本数的2倍,即保留磁盘空闲50%左右。 业务进程JVM内存使用确保无频繁FGC,否则会阻塞消息的生产和消费。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        Kafka客户端使用规范
      • 创建虚拟主机
        介绍分布式消息服务RabbitMQ创建虚拟主机操作内容。 背景信息 虚拟主机,用作逻辑隔离,分别管理各自的交换器、队列和绑定,使得应用安全地运行在不同的虚拟主机上,相互之间不会干扰。一个实例下可以有多个虚拟主机,一个虚拟主机里面可以有若干个交换器和队列。生产者和消费者连接分布式消息服务 RabbitMQ 版需要指定一个虚拟主机。 操作步骤 (1)登录管理控制台。 (2)进入RabbitMQ管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“集群管理”后点击“虚拟主机”到达虚拟主机管理页面,点击“新建”按钮。 (5)点击“新建”后出现以下创建,输入虚拟主机名称后点击确定。 注意:设置虚拟主机名称时,有如下要求: 虚拟主机名称只能包含字母、数字、短划线()、下划线()。 虚拟主机名称长度限制在1~64个字符。 虚拟主机创建成功后,Vhost名称不可修改。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        虚拟主机管理
        创建虚拟主机
      • 管理死信队列
        导出死信消息 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称,进入实例详情页面。 3. 在左侧导航栏,单击“死信队列”,进入“死信队列”页面。 4. 在待导出的死信消息所在行,单击“导出消息”。 导出JSON格式的文件。 说明:如果需要批量导出死信消息,勾选待导出的多条死信消息,单击“批量导出消息”。 导出的消息字段说明如表1所示。 表1 消息字段说明 消息字段 字段说明 msgid 消息ID。 instanceid 实例ID。 topic Topic名称。 storetimestamp 存储消息的时间。 borntimestamp 产生消息的时间。 reconsumetimes 重试次数。 body 消息体。 bodycrc 消息体校验和。 storesize 存储大小。 propertylist 消息属性列表。lname:属性名称。lvalue:属性值。 bornhost 产生消息的主机IP。 storehost 存储消息的主机IP。 queueid 队列ID。 queueoffset 在队列中的偏移量。 重新投递死信消息 死信消息由于某些原因无法正常被消费者消费,请排查相关原因并解决,然后在控制台重新投递死信消息给消费者消费。 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称,进入实例详情页面。 3. 在左侧导航栏,单击“死信队列”,进入“死信队列”页面。 4. 选择以下任意一种方法重新投递死信消息。 在待重新投递的死信消息所在行,单击“重投”。 如需批量重新投递死信消息,勾选待重新投递的死信消息,单击“批量重投”。 须知: 死信消息重新投递成功后,此死信消息依然存在死信队列中,不会被删除。避免多次重复投递,造成重复消费。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        管理死信队列
      • 购买类常见问题
        本节介绍分布式消息服务Kafka计费类常见问题 可以购买哪些版本? 不同资源池可购买的版本、规格不一致,具体请查看产品规格说明 (1)华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3 可以选购Kafka引擎,选择主机类型、节点规格、节点数和存储空间。 (2)芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 可以选购高级版和基础版两个版本。 到期后如何续费? 在集群列表中点击“续费”,进入购买时长页面,购买成功后自动续费。 手动续订:对于包年/包月订购的分布式缓存服务,用户在资源到期前进行续费操作,可以延长原有资源到期时间,避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订:自动续订仅针对采用包月、包年计费模式的资源,详细操作请参考费用中心续订管理自动续订。 产品订购时可选资源池节点不一致? 已上线资源池节点的剩余容量达到一定比例后,为确保老客户权益,将不再面向新客户开放,产品订购时的可选资源节点范围以实际为准。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        计费与购买类
        购买类常见问题
      • 基于事件流实现消息路由至函数计算
        本文介绍如何应用事件总线EventBridge的事件流功能实现消息路由至函数计算。 前提条件 开通事件总线EventBridge并授权。 开通函数计算并创建对应函数。 开通分布式消息服务Kafka并创建最少两个主题。 背景信息 事件流作为更轻量、实时端到端的流式事件通道,提供轻量级的流式数据的过滤和转换的能力,在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步。源端分布式消息服务Kafka生产的消息可以通过事件流这个通道被路由到目标端的函数计算,并触发函数。 步骤一:创建事件流 1. 登录事件总线EventBridge控制台。 2. 在左侧导航栏,单击事件流。 3. 在事件流页面,单击创建事件流。 4. 在创建事件流面板,设置任务名称和描述,配置以下参数,然后单击保存。 a.在Source(源)配置向导,选择数据提供方为分布式消息服务Kafka ,设置以下参数,然后单击下一步。 参数 说明 示例 Kafka实例 选择Kafka实例。 instancexxx Kafka Topic 选择Kafka topic。 topicxxx Group 选择消费组。 快速创建 消费位点 选择消费位点。 最新位点 b.在Filtering(过滤)配置向导,设置事件过滤规则,单击下一步。 c.在Sink(目标)配置向导,选择服务类型为函数计算,配置以下参数,单击保存。 参数 说明 示例 函数 选择函数。 funxxx 函数版本或别名 选择函数版本或别名。 版本/LATEST 执行方式 选择执行函数的方式:同步或异步。 同步 事件 选择调用到函数的事件内容,更多内容请参考事件内容转换。 完整事件 5. 创建事件流后,会有30秒~60秒的延迟时间,您可以在事件流页面的状态栏查看启动进度。
        来自:
        帮助文档
        事件总线
        最佳实践
        基于事件流实现消息路由
        基于事件流实现消息路由至函数计算
      • kafkaConsumer
        介绍APM监控详情里消息监控中的KafkaConsumer相关指标的名称、含义等信息。 KafkaConsumer监控指标说明表 指标类别 指标 指标说明 数据类型 主题 (Topic,Kafka的Topic监控数据) id Clientid和IP信息 Enum 主题 (Topic,Kafka的Topic监控数据) topic Kafka的Topic名称 Enum 主题 (Topic,Kafka的Topic监控数据) kafkaconsumerbytesconsumedrate 每秒消费字节 Int 主题 (Topic,Kafka的Topic监控数据) kafkaconsumerfetchsizeavg 请求获取平均字节 Int 主题 (Topic,Kafka的Topic监控数据) kafkaconsumerfetchsizemax 请求获取最大字节 Int 主题 (Topic,Kafka的Topic监控数据) kafkaconsumerrecordsconsumedrate 每秒消费消息数 Int 主题 (Topic,Kafka的Topic监控数据) kafkaconsumerrecordsperrequestavg 单次请求平均消息数 Int 主题 (Topic,Kafka的Topic监控数据) kafkaconsumerrecordsconsumedrate 总消费次数 Int 主题 (Topic,Kafka的Topic监控数据) kafkaconsumerrecordsperrequestavg 总消费字节数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) errorCount 错误数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) invokeCount 调用次数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) maxTime 最慢调用 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) ms0To10Count 010ms次数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) ms10To100Count 10100ms次数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) ms100To500Count 100500ms次数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) ms500To1000Count 5001000ms次数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) ms1000To10000Count 110s次数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) msMorethan10000Count 10s以上次数 Int Kafka消费方法监控 (Consumer,Kafka消费方法监控) totalTime 总响应时间 Int 汇总(Total,KafkaConsumer汇总信息统计) recordConsumedTotal 总消费次数 Int 汇总(Total,KafkaConsumer汇总信息统计) bytesConsumedTotal 总消费字节数 Int 异常 (Exception,Kafka消费异常信息) exceptionstacktrace 异常产生的堆栈信息 String 异常 (Exception,Kafka消费异常信息) exceptiontype 异常类型 String 异常 (Exception,Kafka消费异常信息) exceptioncount 错误数 Int
        来自:
        帮助文档
        应用性能监控 APM
        产品介绍
        指标总览
        消息监控
        kafkaConsumer
      • 【降价】分布式消息服务Kafka产品资费价格下调
        为了让更多客户享受到分布式消息Kafka产品服务,我们致力于为客户提供更具竞争力的价格,并持续提升服务质量。 分布式消息服务KafkaⅡ类资源池从7月15日开始启用新资费计价,老资费计算增强型同规格对比新费用降幅达19%27%,更多资费信息请参见产品资费。 规格名称 计费单位 实例包月标准价格 降幅 规格名称 计费单位 20240715前价格 新价格 降幅 kafka.4u8g.cluster 元/代理 1726 1260 27% kafka.8u16g.cluster 元/代理 3122 2430 22% kafka.16u32g.cluster 元/代理 5555 4500 19% 注意 通用型规格已经调整为白名单特性,如需了解相关资费请联系技术支持。 本次降价适用于Ⅱ类资源池。
        来自:
        帮助文档
        分布式消息服务Kafka
        服务公告
        2024年
        【降价】分布式消息服务Kafka产品资费价格下调
      • 认证与访问控制
        介绍分布式消息服务Kafka认证与访问控制方式 分布式消息服务Kafka支持CTIAM身份认证和多种访问控制,多维度保障您数据的安全。 身份认证 CTIAM 统一身份认证(Identity and Access Management, 简称:CTIAM)是提供用户进行权限管理的基础服务,可以帮助您安全的控制天翼云服务和资源的访问及操作权限,包括:用户身份认证、权限分配、访问控制等功能。具体介绍请参考统一身份认证产品介绍。 您可以创建IAM用户,并为其设置关联分布式消息服务Kafka实例权限,该用户就可以通过用户名和密码访问授权的实例资源。具体请参见统一身份认证快速入门创建IAM用户。 访问控制 权限控制 购买分布式消息服务Kafka实例之后,您可以使用CTIAM为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,通过CTIAM进行精细的权限管理。 VPC和子网 虚拟私有云(Virtual Private Cloud,VPC)为分布式消息服务Kafka构建隔离、私密的虚拟网络环境,提升数据库的安全性,并简化用户的网络部署。您可以完全掌控自己的专有网络,VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。通过子网与其他网络隔离,独享网络资源,提高网络安全性。具体内容请参见虚拟私有云用户指南创建虚拟私有云和子网 。 安全组 安全组是一个逻辑上的分组,可以为同一个虚拟私有云内具有相同安全保护需求并相互信任的Kafka实例提供相同的访问策略。您可以通过为数据库实例设置安全组,开通需访问Kafka实例的IP地址和端口,来保证保障其运行环境的安全性和稳定性。具体请参见配置安全组
        来自:
        帮助文档
        分布式消息服务Kafka
        产品简介
        安全
        认证与访问控制
      • 事件目标参数
        本文介绍事件流中事件目标的元数据参数。 请求参数 参数 类型 是否必选 描述 eventStreamName String 是 事件流名。 streamSource Object 是 事件源项。详见事件源参数。 desc String 否 事件流描述。 filterPattern String 是 事件过滤项。 transform Object 是 事件转换项。 streamSink Object 是 事件目标项。详见表StreamSink,更多信息请参考下文事件目标的格式。 表 StreamSink 参数 类型 是否必选 描述 type String 是 事件目标类型。 params Array of Objects 是 事件目标参数,详见表Params。 表 Params 参数 是否必填 参数类型 说明 resourceKey 是 String 事件目标参数名。 value 是 String 事件目标参数值。 form 是 String 事件目标参数格式。 template 否 String 事件目标参数模板样式。 分布式消息服务Kafka 当事件目标选择分布式消息服务Kafka时,事件目标的type值为kafka,params中的resourceKey字段中含义如下表所示。 resourceKey 是否必传 form value template instanceId 是 CONSTANT 分布式消息服务Kafka实例Id。 说明 实例Id可在分布式消息服务Kafka管理控制台实例详情页获取。 无 topic 是 CONSTANT Kafka主题。 无 value 是 CONSTANT ORIGINAL JSONPATH TEMPLATE 消息体。 如果form选择TEMPLATE,则在此处配置模板。详见事件内容转换。 key 是 CONSTANT EMPTY JSONPATH TEMPLATE 消息键值。 如果form选择TEMPLATE,则在此处配置模板。详见事件内容转换。 事件目标部分的参数示例如下: plaintext { "type": "kafka", "params": [ { "resourceKey": "instanceId", "value": "356b3496b87xxxxxxxxfe7deef7fe35", "form": "CONSTANT" }, { "resourceKey": "topic", "value": "test2", "form": "CONSTANT" }, { "resourceKey": "value", "value": "", "form": "ORIGINAL" }, { "resourceKey": "key", "value": "", "form": "EMPTY" } ] }
        来自:
        帮助文档
        事件总线
        用户指南
        事件流
        事件目标
        事件目标参数
      • 连接实例
        介绍分布式消息服务RabbitMQ连接实例操作内容。 场景描述 连接RabbitMQ实例的场景包括: 1. 消息队列通信:连接RabbitMQ实例可以用于构建分布式系统中的消息队列通信。不同的应用程序或服务可以通过RabbitMQ实例发送和接收消息,实现解耦和异步通信。 2. 任务队列:连接RabbitMQ实例可以用于构建任务队列,将任务提交到RabbitMQ中,然后由消费者从队列中获取任务并进行处理。这样可以实现任务的分发和负载均衡,提高系统的处理能力和可伸缩性。 3. 发布/订阅模式:连接RabbitMQ实例可以用于实现发布/订阅模式,其中发布者将消息发布到交换器,然后订阅者可以从交换器中订阅感兴趣的消息。这样可以实现消息的广播和多个消费者的并行处理。 4. 日志收集:连接RabbitMQ实例可以用于实现日志收集系统,应用程序可以将日志消息发送到RabbitMQ中,然后由日志消费者从队列中获取日志消息并进行处理和存储。 5. 系统集成:连接RabbitMQ实例可以用于实现不同系统之间的集成,通过将消息发送到RabbitMQ中,其他系统可以从队列中获取消息并进行处理,实现系统之间的数据交换和通信。 总之,连接RabbitMQ实例可以应用于各种场景,包括消息队列通信、任务队列、发布/订阅模式、日志收集和系统集成,提供了一种可靠和灵活的消息传递机制。 操作步骤 RabbitMQ是一个开源的消息队列中间件,支持生产者和消费者之间的异步通信。在上述资源准备完成后,接下来需要编译工程生产消费,主要分以下几个步骤: 1、编写生产者代码:使用编程语言编写一个生产者程序。该程序将连接到RabbitMQ服务器,并将消息发送到队列中。 2、编写消费者代码:同样使用编程语言编写一个消费者程序。该程序将连接到RabbitMQ服务器,并从队列中接收消息。 3、运行生产者和消费者:运行生产者程序,它将发送消息到队列中。然后运行消费者程序,它将从队列中接收并处理消息。 4、验证结果:检查生产者和消费者程序的输出,确保消息被正确发送和接收。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        实例管理
        连接实例
      • 使用开源Kafka触发器
        本章介绍函数工作流如何使用开源Kafka(OPENSOURCEKAFKA)触发器。 使用开源Kafka触发器后,FunctionGraph会定期轮询开源Kafka指定Topic下的新消息,FunctionGraph将轮询得到的消息作为参数传递来调用函数。 前提条件 进行操作之前,需要做好以下准备。 已经创建函数。 创建Kafka触发器,必须开启函数工作流VPC访问,请参见配置网络。 创建开源Kafka触发器 1、登录函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数,单击进入函数详情页。 3、选择“设置 > 触发器”,单击“创建触发器”,弹出“创建触发器”对话框。 4、设置以下信息。 触发器类型:选择“开源Kafka(OPENSOURCEKAFKA)”。 连接地址:搭建kafka的broker地址列表,以逗号分隔。 主题:用户自建的topic。 批处理大小:单次函数拉取最大数据量。 5、单击“确定”,完成开源kafka触发器的创建。 说明 函数网络配置需要和创建kafka的ecs节点网络配置一样,包括vpc和子网。 激活kafka触发器 开源Kafka触发器创建完成后默认是停用状态,需要在触发器界面上单击“启动”。 说明 如果启动失败可以联系技术支持工程师。 配置Kafka事件触发函数 1、返回函数工作流控制台,在左侧的导航栏选择“函数 > 函数列表”。 2、选择待配置的函数,单击进入函数详情页。 3、在函数详情页,选择函数版本。 4、在“代码”页签下,单击“测试”,弹出“配置测试事件”对话框。 5、填写如下所示测试信息后,单击“保存”。 表 测试信息 参数 说明 配置测试事件 可创建新的测试事件也可编辑已有的测试事件。选择默认值:“创建新的测试事件”。 事件模板 选择"kafkaeventtemplate"模板,使用系统内置Kafka事件模板。 事件名称 事件名称必须以大写或小写字母开头,支持字母(大写或小写),数字和下划线“”(或中划线“”),并以字母或数字结尾,长度为125个字符,例如kafka123test。 测试事件 自动加载系统内置kafka事件模板,本例不做修改。 6、单击“测试”,可以得到函数运行结果,函数会返回输入kafka消息数据。
        来自:
        帮助文档
        函数工作流
        用户指南
        配置触发器
        使用开源Kafka触发器
      • 延迟消息
        流程说明 1. 创建 死信交换机(DLX) 和 死信队列 2. 创建业务队列,并配置: xdeadletterexchange xdeadletterroutingkey 3. 消息进入业务队列并等待 TTL 到期 4. 消息过期后转入 DLX 5. 消费者从最终队列中消费消息 代码示例 java // 声明死信交换机 channel.exchangeDeclare("dlxexchange", "direct", true); // 声明死信队列 channel.queueDeclare("dlxqueue", true, false, false, null); channel.queueBind("dlxqueue", "dlxexchange", "dlxroutingkey"); // 创建业务队列并设置死信规则Map args new HashMap<>(); args.put("xdeadletterexchange", "dlxexchange"); args.put("xdeadletterroutingkey", "dlxroutingkey"); args.put("xmessagettl", 10000); //队列级TTL:10秒 channel.queueDeclare("businessqueue", true, false, false, args); //发送消息(消息级 TTL) AMQP.BasicProperties props new AMQP.BasicProperties.Builder() .expiration("5000") // 5 秒后过期 .build(); channel.basicPublish("","businessqueue",props,"延迟消息".getBytes(StandardCharsets.UTF8)); 特点说明 TTL 优先级 同时设置消息 TTL 和队列 TTL 时,取较小值 延迟精度 依赖队列头部过期检查机制,精度非严格实时 实现成本 无需额外组件,但配置相对复杂 方案二:延时消息插件方案 实现原理 通过声明特殊类型的交换机,使消息在 Exchange 层面延迟投递 。 消息在延迟时间到期前不会进入正常路由流程。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        最佳实践
        延迟消息
      • 计费类
        本节介绍了分布式消息服务RabbitMQ产品常见计费类问题。 支持哪些付费方式? 支持包年包月和按需计费。 产品规格可选择哪些? 分布式消息服务RabbitMQ是基于高可用、分布式集群技术,完全兼容RabbitMQ开源社区,支持消息路由、事务消息、优先级队列、延迟队列、死信队列、镜像队列等功能的消息云服务,更多产品信息请参见产品规格。 如何选择磁盘空间? 在集群模式中,RabbitMQ需要对消息持久化写入到磁盘中,因此,在创建RabbitMQ实例选择存储空间时,建议根据业务消息体积预估以及镜像队列副本数量选择合适的存储空间。镜像队列副本数最大为集群的节点数。 例如:业务消息体积预估100GB,则磁盘容量最少应为100GB节点数 + 预留磁盘大小100GB。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        常见问题
        计费类
      • 产品定义
        开源对比 相较于开源自建RocketMQ,分布式消息服务RocketMQ在自动化部署、运维监控、增强能力、延迟消息/定时消息、ACL访问控制等方面更具优势。更多信息请参见开源对比。 支持的消息类型 分布式消息服务RocketMQ支持的消息类型包括普通消息、顺序消息、事务消息与延时消息。 普通消息:RocketMQ中无特性的消息,普通消息主要包含同步消息和异步消息两种。 顺序消息:指消费消息的顺序要同发送消息的顺序一致,在RocketMQ中,主要有两种有序消息:全局有序消息和局部有序消息(又叫普通有序消息、分区有序消息)。 事务消息:提供类似X/Open XA的分布式事务功能来确保业务发送方和MQ消息的最终一致性,其本质是通过半消息(prepare消息和commit消息)的方式把分布式事务放在MQ端来处理。 延时消息:生产者将消息发送到消息队列RocketMQ服务端,设计消费时延,在预设的时间后才可以被消费者消费。 更多信息请参见功能特性。 功能特性 分布式消息服务RocketMQ的功能特性主要体现在以下几个方面: 访问接口 支持通过API调用,创建队列、查询消息监控指标、查询消息内容等。 队列能力 支持多种消息类型,包括普通队列(高并发场景)、FIFO有序队列(顺序消息场景)、严格有序队列。 消息能力 支持消息过滤、消息复用、消息重试、消息回溯、消息数据主动删除以及消息广播等能力。 安全防护 提供云审计进行租户管理操作的记录。 运维监控 提供主题、订阅组、生产者、消费者、队列的管理;同时支持集群、主题、队列多维度指标监控。 更多信息请参见功能特性。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        产品定义
      • 死信和TTL
        介绍分布式消息服务RabbitMQ死信和TTL功能。 死信 称为死信的信息,需要如下几个条件: 消息被消费者拒绝(通过basic.reject 或者 back.nack),并且设置 requeuefalse。 消息过期,队列设置了TTL(Time To Live)时间并且消息过期。 超过了队列的长度限制消息被丢弃。 为队列配置死信交换机,并在申明队列时指定“xdeadletterexchange”和“xdeadletterroutingkey”参数。队列根据“xdeadletterexchange”将死信消息发送到死信交换机中,并根据“xdeadletterroutingkey”为死信消息设置死信路由Key。 以下示例演示在Java客户端配置死信交换机和路由 channel.exchangeDeclare("some.exchange.name", "direct"); Map args new HashMap (); args.put("xdeadletterexchange", "some.exchange.name"); args.put("xdeadletterroutingkey", "someroutingkey"); channel.queueDeclare("myqueue", false, false, false, args); TTL RabbitMQ可以对消息和队列设置TTL. 目前有两种方法可以设置。第一种方法是通过队列属性设置,队列中所有消息都有相同的过期时间。第二种方法是对消息进行单独设置,每条消息TTL可以不同。如果上述两种方法同时使用,则消息的过期时间以两者之间TTL较小的那个数值为准。消息在队列的生存时间一旦超过设置的TTL值,就称为dead message, 消费者将无法再收到该消息。 设置队列TTL 通过队列属性设置消息TTL的方法是在queue.declare方法中加入xmessagettl参数,单位为ms. 以下示例演示在Java客户端设置队列TTL。 Map argss new HashMap (); argss.put("xmessagettl",6000); channel.queueDeclare(queueName, durable, exclusive, autoDelete, argss);
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        高级特性
        死信和TTL
      • 基于事件流实现RabbitMQ消息路由
        步骤二:测试验证 1. 登录分布式消息服务RabbitMQ控制台。 2. 在左侧导航栏,单击实例列表,选择事件流的源实例。 3. 在队列管理页面,选择源对应队列,点击生产拨测。 4. 在对话框输入想要发送的消息,然后点击发送。 5. 发送消息后返回实例列表,选择事件流的目标实例,进入管理。 6. 在队列管理页面,选择目标对应队列,点击消费拨测,查询目标队列对应的消息。 7. 查看查询到消息体与消息属性是否与预期一致,如图2所示。 图2 在分布式消息服务RabbitMQ管理控制台中查看消息详情
        来自:
        帮助文档
        事件总线
        最佳实践
        基于事件流实现消息路由
        基于事件流实现RabbitMQ消息路由
      • 产品优势
        分布式消息服务RabbitMQ的产品优势主要包括以下几个方面: 高可用性 分布式消息服务RabbitMQ主要通过以下三种方式保证服务的连续性和可靠性: 支持生产消费自动负载均衡 多个消费者:在RabbitMQ中,可以创建多个消费者来同时消费同一个队列中的消息。RabbitMQ会将消息平均地分配给这些消费者,从而实现负载均衡。 发布/订阅模式:使用RabbitMQ的发布/订阅模式可以实现自动负载均衡。在这种模式下,生产者将消息发送到交换机,然后交换机将消息广播给绑定到它的所有队列。每个队列上都可以有多个消费者,它们会共享接收到的消息负载。 优先级队列:RabbitMQ支持创建优先级队列,可以根据消息的优先级进行排序和传递。通过使用优先级队列,可以确保高优先级的消息能够更快地被处理,从而实现负载均衡。 lvs节点故障时的自动主备切换 配置镜像队列:首先,你需要在RabbitMQ集群的各个节点之间配置镜像队列。镜像队列会将消息复制到备用节点上,在主节点发生故障时,备用节点会接管主节点的工作。 心跳检测:RabbitMQ会通过心跳机制监测节点之间的连接状态。如果主节点无法进行正常通信(比如网络故障或节点崩溃),备用节点会被选举为新的主节点。 节点选举:当主节点无法通信时,RabbitMQ集群中的其他节点会开始进行选举,选择一个备用节点来替代主节点。选举过程中,节点会相互通信并比较彼此的状态和能力。最终,一个节点会被选举为新的主节点。 自动切换:一旦新的主节点被选举出来,RabbitMQ集群就会自动切换到新的主节点,并开始处理消息。客户端可以通过相同的连接重新连接到新的主节点,并继续发送和接收消息。 镜像队列安全备份 数据复制: RabbitMQ的镜像队列通过在多个节点之间复制队列的消息来提供冗余备份。每个节点都维护自己的完整队列副本,这样当一个节点发生故障时,其他节点将能够接管并继续处理消息。 同步复制: 镜像队列支持同步复制和异步复制两种模式。在同步复制模式下,所有的写入操作都会等待所有镜像节点都完成相同的操作,这样可以确保数据的一致性。但是这会增加写入操作的延迟。 容错机制: 当一个节点失效时,RabbitMQ会自动将该节点上的队列重新分配给其他正常工作的节点。这个过程是自动的,无需人工干预。因此,即使整个节点失效,消息也不会丢失。 高可用性: 镜像队列提供了高可用性的保证。如果一个节点故障,其他节点将自动接管该节点上的队列并继续处理消息,从而确保系统的可靠性和可用性。 故障恢复: 当一个节点失效后重新启动时,RabbitMQ会自动将该节点上的队列重新同步到新的镜像节点上,以确保数据的完整性和一致性。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        产品简介
        产品优势
      • 数据投递至Kafka
        查看Prometheus监控数据 1. 登录分布式消息服务Kafka控制台。 2. 在实例列表页面,点击目标Kafka实例名称。 3. 在左侧导航栏,单击消息查询,可选择按时间查询,并选择目标Topic。 4. 点击消息详情,即可查看您导入的Prometheus监控数据。
        来自:
        帮助文档
        应用性能监控 APM
        用户指南
        Prometheus监控
        控制台操作指南
        数据投递
        数据投递至Kafka
      • 使用限制
        介绍分布式消息服务RocketMQ功能使用限制。 参数限制 RocketMQ是一个高性能、高可靠、可伸缩的分布式消息队列系统,但也有一些使用限制需要注意。以下是一些常见的RocketMQ使用限制: 限制项 限制说明 topic名字 限制2到64个字符,超过限制会导致创建主题失败,用户创建主题只能包含大小写字母数字以及和符号。 group名字 限制2到64个字符,超过限制会导致创建订阅组失败,用户创建订阅组只能包含大小写字母数字以及和符号。 AccessKey 高级版引擎在角色管理中创建AccessKey只能包含大小写字母数组以及符号,长度限制必须大于6个字符小于64个字符。 SecretKey 高级版引擎角色管理创建SecretKey必须包含大小写字母数字以及以下特殊符号:!@ $%,长度限制必须大于8位小于64个字符。 延时消息的发送时间点 最大支持40天的延时时间点,超过40天将发送失败。 消息大小 普通消息和顺序消息大小限制4MB,延时消息消息大小限制16KB,超过限制会导致消息发送失败。 消息存储时长 消息存储时长限制默认为7天,超过最长存储时间的消息会被删除。 资源配额 限制项 限制说明 单地域实例数 实例总数不超过100个。 单代理TPS 由购买的实例规格决定,具体限制值,请参见实例规格限制。 单代理Topic数量 由购买的实例规格决定,具体限制值,请参见实例规格限制。 单代理消费组数量 由购买的实例规格决定,具体限制值,请参见实例规格限制。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        使用限制
      • 操作策略管理
        本节介绍了在RabbitMQ实例中如何创建、修改和删除操作策略。 背景信息 RabbitMQ操作策略管理是一种用于管理RabbitMQ服务器的功能,它允许管理员定义和控制各种操作策略以满足特定的需求和约束。 操作策略可以应用于多个方面,包括队列、交换机、绑定和连接等。通过操作策略管理,管理员可以定义以下内容: ● 长度限制:管理员可以设置队列的最大长度,以防止队列无限增长导致资源耗尽。当队列达到指定的长度限制时,可以选择丢弃新的消息或者拒绝新的连接。 ● 时间限制:管理员可以设置队列中消息的最大存活时间,以防止消息在队列中长时间滞留。一旦消息超过指定的时间限制,可以选择将其丢弃或者转发到其他队列。 ● 内存限制:管理员可以设置队列或交换机的最大内存使用量,以防止RabbitMQ服务器的内存资源被过度消耗。当达到指定的内存限制时,可以选择丢弃消息或者拒绝新的连接。 ● 消息优先级:管理员可以为消息设置优先级,以确保重要的消息能够优先处理。可以通过操作策略管理来定义消息优先级的规则和行为。 ● 连接限制:管理员可以设置连接的最大数量,以限制同时连接到RabbitMQ服务器的客户端数量。这可以用于控制系统的负载和资源消耗。 通过操作策略管理,管理员可以根据实际需求和约束对RabbitMQ服务器进行细粒度的控制和管理。这有助于提高系统的可靠性、性能和可伸缩性,并确保消息队列系统能够适应各种场景和负载。
        来自:
      • 将Oracle同步到Kafka
        参数 描述 Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择Oracle投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。详细格式可参考Kafka消息格式。 同步对象 同步对象支持表级同步,您可以根据业务场景选择对应的数据进行同步。 选择对象的时候支持搜索,以便您快速选择需要的数据库对象。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        自建到自建
        将Oracle同步到Kafka
      • 普通集成
        产品分类 产品名称 存储 混合存储网关、云硬盘、弹性文件服务、媒体存储、云备份、云硬盘备份、对象存储、云主机备份、海量文件服务 OceanFS、云容灾、对象存储(经典版)I型、并行文件 网络与CDN 弹性IP、天翼云SDWAN、NAT网关、VPN连接、云间高速、虚拟私有云、弹性负载均衡、共享流量包、智能边缘云、云专线CDA、应用加速、边缘安全加速平台、CDN加速、智能DNS、VPC终端节点、全站加速、科研助手 计算 弹性云主机、天翼云电脑(政企版)、函数计算、弹性高性能计算、镜像服务、弹性伸缩服务、物理机、云骁智算平台、数据加密 数据库 关系数据库SQL Server版、关系数据库PostgreSQL版、分布式关系型数据库、关系数据库MySQL版、数据传输服务、文档数据库服务、数据管理服务、分布式缓存服务Redis版、时序数据库Influx版、分布式融合数据库HTAP、云数据库ClickHouse 监控与管理 云日志服务、应用性能监控 应用服务 API网关、EasyCoding敏捷开发平台、软件开发生产线CodeArts 数据库 关系型数据库MySQL版(CTRDS)、关系型数据库PostgreSQL版、关系型数据库SQL Server版、云数据库GaussDB、分布式关系型数据库、分布式融合数据库HTAP、文档数据库服务、时序数据库Influx版、分布式缓存服务Redis版 人工智能 AI能力开放平台、慧聚一站式智算服务平台 大数据 云搜索服务、大数据管理平台 DataWings、翼MapReduce 容器与中间件 应用服务网格、弹性容器实例、分布式容器云平台、容器镜像服务、分布式消息服务RabbitMQ、分布式消息服务RocketMQ、微服务应用平台MSAP、云容器引擎、分布式消息服务Kafka、微服务引擎注册配置中心、微服务引擎MSE、应用性能监控apm、分布式容器云平台CCSE ONE 安全及管理 云防火墙(原生版)、统一身份认证、密钥管理、服务器安全卫士(原生版)、云监控、Web应用防火墙(原生版)、证书管理服务、DDoS高防(边缘云版)、云堡垒机、Web应用防火墙(边缘云版)、云审计 企业应用 云通信短信 视频 视频直播、智能视图服务、云点播 专属云 专属云(计算独享型) 价格 账务 其他 数据库审计、云日志服务、轻量型云主机、云原生网关、API网关
        来自:
        帮助文档
        函数计算
        用户指南
        云工作流
        工作流集成
        普通集成
      • 查看Topic
        Topic详情 展示当前Topic的统计指标、队列分布信息、消费组、生产组的情况。 1、队列信息 2、消费组 标识正在连接该Topic的消费组列表。 消费方式分为两种: CONSUMEPASSIVELY为push消费模式。 CONSUMEACTIVELY为pull消费模式。 路由 展示Topic的队列分布情况,队列分布在哪些broker上。 RocketMQ的队列分布情况是根据Broker的配置和主题的配置来确定的。在RocketMQ中,每个主题可以有多个队列,每个队列可以有多个Broker来提供服务。 队列的分布情况可以通过以下几个因素来确定: Broker的配置:在RocketMQ中,每个Broker都有一个唯一的名称,可以通过名称来识别和配置Broker。当创建主题时,可以指定消息队列的数量和分布策略。分布策略可以是固定的,也可以是根据一定规则动态分配的。 主题的配置:在创建主题时,可以指定队列的数量和分布策略。分布策略可以是按照固定数量进行分配,也可以是根据一定规则进行动态分配。例如,可以将消息队列均匀地分布在不同的Broker上,也可以根据消息的属性将消息路由到不同的队列。 负载均衡策略:RocketMQ提供了多种负载均衡策略,用于在Broker集群中均衡地分布消息队列。负载均衡策略可以根据Broker的负载情况、网络延迟等因素来进行动态调整,以确保消息队列的均衡分布和高效处理。 总的来说,RocketMQ的队列分布情况是根据Broker的配置、主题的配置和负载均衡策略来确定的。通过合理的配置和使用负载均衡策略,可以实现消息队列的均衡分布和高效处理,提高消息系统的性能和可扩展性。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        Topic管理
        查看Topic
      • 网络带宽利用率监控告警配置指导
        本章介绍Kafka的网络带宽利用率监控告警配置指导。 使用场景建议 Kafka存在持续业务,避免出现客户端批量断链场景。 间断性业务场景不建议使用,会存在误告警。 新创建实例不建议设置告警。 告警通知设置,告警对象、告警组设置 1. 登录管理控制台。 2. 在管理控制台左上角单击,选择目标实例所在的区域。 3. 在管理控制台左上角单击,搜索CES服务进入“云监控服务”界面。 4. 选择“告警 >告警通知”,单击“通知对象 >创建通知对象”,填写要通知的对象以及相关联系方式,如果已存在则跳过该步骤,重复该步骤可创建多个通知对象。 5. 选择“通知组 >创建通知组”,把步骤4创建的告警对象都纳入当前组进行管理。 设置告警规则 1. 选择“告警 >告警规则 >创建告警规则”。 参数 说明 名称 自定义名称 描述 自定义描述 告警类型 指标 资源类型 分布式消息服务 维度 Kafka专享版 Broker节点 监控范围 指定资源 监控对象 选择指定kafka实例的所有broker,可选择多个kafka实例 触发规则 自定义创建 告警策略 若++网络带宽利用率++ 的++原始值连续3次<++xx则++每5分钟 告警一次++ ++根据实际情况设置xx的紧急、重要、次要等告警++ 发送通知 打开 通知方式 通知组 通知组 选择上一步创建的通知组 通知内容模板 都可以选择系统模版 生效时间 每日00:00 – 23:59 触发条件 出现告警恢复告警都选 2. 单击“立即创建”。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        网络带宽利用率监控告警配置指导
      • 资源监控
        表名,表分区个数。 Hive HQL的Map数 Hive周期内执行的HQL与执行过程中调用的Map数统计,展示的信息包括:用户、HQL语句、Map数目。 Hive HQL访问次数 周期内HQL访问次数统计信息。 Kafka Kafka磁盘使用率分布 Kafka集群的磁盘使用率分布统计。 Spark2x HQL访问次数 周期内HQL访问次数统计信息,展示信息包括用户名,HQL语句,执行该语句的次数。 Yarn 资源使用(按任务) l 任务使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用(按租户) l 租户所使用的CPU核数和内存。 l 可选择“按内存”或“按CPU”观察。 Yarn 资源使用比例(按租户) l 租户所使用的CPU核数和内存的比例。 l 可选择“按内存”或“按CPU”观察。 Yarn 任务耗时排序 对Yarn任务耗时进行排序显示。 Yarn ResourceManager RPC连接数(按用户) 统计连接到RM的Client RPC请求中,各个用户的连接数。 Yarn 操作数 统计Yarn每种操作类型对应的操作数及占比。 Yarn 队列中任务资源使用排序 l 在界面上选择某个队列(租户)后,显示在该队列中正在运行任务的消耗资源排序。 l 可选择“按内存”或“按CPU”观察。 Yarn 队列中用户资源使用排序 l 在界面上选择某个队列(租户)后,显示在该队列中正在运行任务的用户消耗的资源排序。 l 可选择“按内存”或“按CPU”观察。 ZooKeeper 资源使用(按二级Znode) l ZooKeeper服务二级znode资源状况。 l 可选择“按Znode数量”或“按容量”观察 ZooKeeper 连接数(按客户端IP) ZooKeeper客户端连接资源状况。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        集群管理
        管理服务
        其他服务管理操作
        资源监控
      • 运行Kafka作业
        本章节主要介绍翼MapReduce运行kafka作业。 用户可将自己开发的程序提交到翼MR中,执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的kafka作业。 通过后台提交作业 1. 登录翼MR管理控制台。 2. 选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 3. 在“节点管理”页选中单击Master节点,选择要进入的Master节点。 4. 单击该节点右侧的“远程连接”。 5. 根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。 6. 创建kafka的topic。 plaintext /usr/local/kafka/bin/kafkatopics.sh zookeeper :2181/kafka topic create 7. 当前集群默认开启Kerberos认证,执行以下命令添加认证信息。 plaintext export KAFKAOPTS"Djava.security.krb5.conf/etc/krb5.conf Djava.security.auth.login.config/usr/local/kafka/config/kafkajaas.conf" 8. 向topic中写入消息。 plaintext /usr/local/kafka/bin/kafkaconsoleproducer.sh brokerlist :9092 topic producer.config /usr/local/kafka/config/producer.properties 9. 消费topic中的消息。 plaintext /usr/local/kafka/bin/kafkaconsoleconsumer.sh bootstrapserver :9092 topic consumer.config /usr/local/kafka/config/consumer.properties frombeginning maxmessages 5 注意 frombeginning:只能消费未被消费的历史数据,已消费数据不会出现。 maxmessages:最多消费多少条数据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行Kafka作业
      • 支持天翼云APP产品控制台的云产品
        本文介绍天已支持翼云APP产品控制台的云产品。 天翼云支持在天翼云APP对云产品进行管理。 天翼云APP产品控制台支持的云产品 1、弹性云主机(一类节点) 2、天翼云电脑(政企版)(一类节点) 3、分布式消息服务Kafka(一类节点) 4、分布式缓存服务Redis版(一类节点) 5、云容器引擎(一类节点) 6、关系数据库MySQL版(一类节点 II 类型资源池) 7、媒体存储(通用) 8、对象存储(经典版)I型(一类节点) 9、备案(通用) 更多产品管理控制台正在接入中,敬请期待,如对产品控制台有任何建议,欢迎提交建议与反馈
        来自:
        帮助文档
        天翼云APP
        管理控制台
        支持天翼云APP产品控制台的云产品
      • 仪表盘
        使用场景 RabbitMQ仪表盘支持实时监控消息流、排查生产消费异常、配置与维护队列 / 交换机 / 绑定、权限管理及集群状态查看,是 RabbitMQ 运维与开发调试的核心工具。 指标说明 指标 指标含义 可消费消息数 队列中已经准备好等待消费者去获取和处理的消息数量。 连接数 当前与 RabbitMQ 服务器建立的 TCP 连接总数。每个生产者或消费者客户端都需要与 RabbitMQ 建立一个 TCP 连接。 信道数 在所有 TCP 连接上打开的 AMQP 信道总数。信道是在 TCP 连接内部建立的虚拟连接,用于多路复用,以减少建立和关闭 TCP 连接的开销。 消费者数 当前所有队列上注册的消费者总数。一个消费者可以监听一个或多个队列。 交换器生产速率 单位时间内发送到某个交换器的消息数量。 交换器消费速率 单位时间内从某个交换器路由到其绑定队列的消息数量。 队列生产速率 单位时间内发送到某个队列的消息数量。 队列消费速率 单位时间内从某个队列成功投递给消费者并收到确认(ACK)的消息数量。 队列可消费消息数 某个队列中当前处于 "Ready" 状态的消息数量。 队列消费者数 当前正在监听某个队列的消费者数量。 VHost连接数 当前连接到某个特定 VHost 的 TCP 连接总数。 VHost信道数 当前在某个特定 VHost 的所有连接上打开的信道总数。 VHost每个连接的信道数 某个 VHost 的信道总数除以其连接总数得到的平均值。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        仪表盘
      • 操作类
        本节介绍了分布式消息服务RabbitMQ产品常见操作类问题。 无法被路由的消息,去了哪里? 如果没有任何设置,无法路由的消息会被直接丢弃。 无法路由的情况:Routing key不正确。 解决方案: 1.使用mandatorytrue配合ReturnListener,实现消息回发。 2.声明交换机时,指定备份交换机。 多个消费者监听一个队列时,消息如何分发? 1.RoundRobin(轮询) 默认的策略,消费者轮流、平均地收到消息。 2.Fair dispatch(公平分发) 如果要实现根据消费者的处理能力来分发消息,给空闲地消费者发送更多消息,可以用basicQos(int prefetchcount)来设置。prefetchcount含义:当消费者有多条消息没有响应ACK时,不再给这个消费者发送消息。 消息在什么时候会变成Dead Letter(死信)? 1.消息被拒绝并且没有设置重新入队:(NACK Reject ) && requeue false 2.消息过期(消息或者队列的TTL设置) 3.消息堆积,并且队列达到最大长度,先入队的消息编程DL。 解决方案:可以在声明队列时,指定一个Dead Letter Exchange,来实现Dead Letter的转发,保证消息不会丢失。 如何进行消息持久化? 所谓持久化,就是RabbitMQ将内存中的数据(比如交换机、队列、消息等)固化到磁盘,以防止异常情况的发生时造成数据丢失。 持久化分类 说明 交换机持久化 在创建Exchange时设置durable参数参数。channel.exchangeDeclare(EXCHANGENAME, "direct", true); 队列持久化 同样也是设置设置durable参数。持久化的队列会存盘,在服务器重启的时候可以保证不丢失相关信息。channel.queueDeclare(QUEUENAME, true, false, false, null); 消息持久化 即使交换机、队列持久化不会因为重启丢失,但是存储在队列中的消息仍然会丢失。解决的办法就是设置消息的投递模式为2,即代表持久化(JAVA)。理论上,可以将所有的消息都设置为持久化,但是这会严重影响RabbitMQ性能,因为写入到磁盘的速度可比写入到内存的速度慢非常多。因此,在选择是否要持久化消息时,需要在可靠性和吞吐量之间做一个权衡。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        常见问题
        操作类
      • 应用场景
        异步通信 RabbitMQ是一个消息中间件,可以用于异步通信。在用户注册场景中,RabbitMQ可以用于发送和接收注册相关的消息。 下面是一个异步用户注册流程: 1. 用户提交注册表单。 2. 服务器接收到注册请求后,将用户提交的数据写入数据库,并生成一个唯一的用户ID。 3. 服务器将用户ID封装成一个消息,发送到RabbitMQ的注册队列中。 4. 注册队列中的消息被一个或多个消费者监听。 5. 消费者接收到注册消息后,执行注册相关的逻辑,比如发送确认邮件、生成用户账号等操作。 6. 在完成注册逻辑后,消费者可以将结果封装成一个消息,发送到另一个队列中,比如发送注册成功通知给用户。 7. 另一个队列中的消息可以由一个或多个消费者监听,负责处理注册成功通知的逻辑。 使用RabbitMQ实现异步用户注册可以带来以下好处: 解耦:通过将注册请求和注册逻辑解耦,使得系统组件之间的依赖减少。 异步处理:用户不需要等待注册逻辑完成,而是可以立即返回一个成功的响应。真正的注册逻辑可以在后台完成,提高系统的并发能力。 可伸缩性:通过添加更多的消费者来处理注册消息,可以轻松地提高系统的吞吐量。 可靠性:RabbitMQ具备持久化消息的能力,即使在发生故障时也不会丢失消息。 需要注意的是,使用RabbitMQ进行异步通信需要对消息的可靠性进行处理,比如使用事务或者消息确认机制,以确保消息能够被成功处理。 高可用 RabbitMQ提供了多种方式来实现高可用性,确保消息队列的稳定和可靠性。以下是一些常用的方法: 1. 集群模式:RabbitMQ支持将多个节点组成集群,通过在多个节点之间复制消息队列和交换器,实现数据的冗余和高可用性。当一个节点发生故障时,其他节点可以接管其工作,确保消息的连续传递。 2. 镜像队列:RabbitMQ的镜像队列功能可以将队列的数据在多个节点之间进行复制。这样,当一个节点发生故障时,其他节点上的镜像队列可以继续提供服务,确保消息的可靠传递。 3. 自动化故障转移:RabbitMQ支持自动故障转移,当一个节点发生故障时,可以自动将其上的队列和交换器迁移到其他正常的节点上,确保消息的连续处理。 4. 心跳机制:RabbitMQ通过心跳机制来监测节点的健康状态。当一个节点长时间没有响应时,其他节点可以将其标记为不可用,并进行故障转移。 5. 负载均衡:通过在多个节点之间分配消息的处理负载,可以提高系统的吞吐量和可用性。RabbitMQ支持多种负载均衡算法,如轮询、随机等。 6. 数据备份和恢复:为了防止数据丢失,可以定期备份RabbitMQ的数据,并在节点故障时进行数据恢复。 通过以上的方法,可以实现RabbitMQ的高可用性,确保消息队列的稳定运行和数据的可靠传递。但是需要注意的是,高可用性的实现需要根据具体的需求和场景进行配置和调优。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        产品简介
        应用场景
      • 1
      • ...
      • 7
      • 8
      • 9
      • 10
      • 11
      • ...
      • 262
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      云聚517 · 好价翼起拼

      爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      产品推荐

      多活容灾服务 MDR

      GPU云主机

      镜像服务 IMS

      轻量型云主机

      弹性高性能计算 E-HPC

      天翼云CTyunOS系统

      训推服务

      AI Store

      公共算力服务

      推荐文档

      产品功能

      还原参数组

      编辑

      法律法规

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号