云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      消息队列RocketMQ版_相关内容
      • 监控安全风险
        介绍分布式消息服务Kafka监控安全风险 分布式消息服务Kafka提供资源和操作监控能力,可以对每个消息实例实时监控、告警和通知操作。用户可以实时掌握实例、主题、消费组的生产消费情况,包括流量、堆积量、重平衡次数等关键信息。 分布式消息服务Kafka支持的监控指标等内容,参考监控信息。
        来自:
        帮助文档
        分布式消息服务Kafka
        产品简介
        安全
        监控安全风险
      • 配置DDoS封堵通知渠道(1)
        操作步骤 1.登录天翼云官网,进入管理中心。 2.进入消息中心 3.进入消息订阅,新增消息接收人。 4.进入消息订阅的消息管理,将新增的消息接收人配置到安全消息一行中。
        来自:
      • 用户使用流程
        此章节主要介绍主账号和子账号的使用流程 主账号使用流程 前置条件 已使用主账号登录到训推智算服务平台 主账号使用流程 主账号的使用流程,整体如下: 注意:资源配额和工作空间目前仅在杭州7资源池支持 主账号的使用流程按照AI全周期的工作流程进行,具体步骤如下: 流程 子任务 说明 详细指导 购买专属集群 购买专属集群 相比平台提供的默认集群资源,购买专属集群资源独享,隔离性更好 注:非必要步骤,可以使用平台提供的默认集群按需使用 需联系客户经理进行购买 创建队列 创建队列 在购买专属集群后,可以将专属集群资源按照一定维度划分成多个队列,供成员在工作空间内进行作业时使用 注:非必要步骤,非必需购买专属集群,可以使用平台提供的默认集群,默认集群无需创建队列,可直接使用。 队列管理 数据集准备与处理 创建基础数据集 可上传基础数据集到ZOS或HPFS 基础数据集 数据集准备与处理 创建标注数据集 创建标注数据集,可对数据集进行标注,并发布为新的数据集 标注数据集 数据集准备与处理 数据清洗 可以对数据进行清洗 数据处理 镜像准备 预置镜像 预置镜像即平台预先设置的完整镜像,可直接用于创建任务时使用 预置镜像 镜像准备 自定义镜像 可以通过开发机自主制作镜像或通过天翼云容器镜像服务将镜像服务内的容器共享给一体化智算平台 [自定义镜像](
        来自:
        帮助文档
        训推服务
        快速入门
        用户使用流程
      • Kafka数据迁移概述
        迁移方案一:先迁生产,再迁消费 先将生产消息的业务迁移到新的Kafka,原Kafka不会有新的消息生产。待原有Kafka实例的消息全部消费完成后,再将消费消息业务迁移到新的Kafka,开始消费新Kafka实例的消息。 本方案为业界通用的迁移方案,操作步骤简单,迁移过程由业务侧自主控制,整个过程中消息不会存在乱序问题, 适用于对消息顺序有要求的场景 。但是该方案中需要等待消费者业务直至消费完毕,存在一个时间差的问题,部分数据可能存在较大的端到端时延。 1、将生产客户端的Kafka连接地址修改为新Kafka实例的连接地址。 2、重启生产业务,使得生产者将新的消息发送到新Kafka实例中。 3、观察各消费组在原Kafka的消费进度,直到原Kafka中数据都已经被消费完毕。 4、将消费客户端的Kafka连接地址修改为新Kafka实例的连接地址。 5、重启消费业务,使得消费者从新Kafka实例中消费消息。 6、观察消费者是否能正常从新Kafka实例中获取数据。 7、迁移结束。 结束 迁移方案二:同时消费,后迁生产 消费者业务启用多个消费客户端,分别向原Kafka和新Kafka实例消费消息,然后将生产业务切到新Kafka实例,这样能确保所有消息都被及时消费。 本方案中消费业务会在一段时间内同时消费原Kafka和新Kafka实例。由于在迁移生产业务之前,已经有消费业务运行在新Kafka实例上,因此不会存在端到端时延的问题。但在迁移生产的开始阶段,同时消费原Kafka与新Kafka实例,会导致部分消息之间的生产顺序无法保证,存在消息乱序的问题。此场景 适用于对端到端时延有要求,却对消息顺序不敏感的业务 。 1、启动新的消费客户端,配置Kafka连接地址为新Kafka实例的连接地址,消费新Kafka实例中的数据。 原有消费客户端需继续运行,消费业务同时消费原Kafka与新Kafka实例的消息。 2、修改生产客户端,Kafka连接地址改为新Kafka实例的连接地址。 3、重启生产客户端,将生产业务迁移到新Kafka实例中。 4、生产业务迁移后,观察连接新Kafka实例的消费业务是否正常。 5、等待原Kafka中数据消费完毕,关闭原有消费业务客户端。 6、迁移结束。 结束
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Kafka数据迁移
        Kafka数据迁移概述
      • 操作类常见问题
        设备偶尔出现“connection reset by peer”错误。 当两个客户端具有相同的客户端ID(Client ID)时,MQTT Broker会根据规范的要求进行互踢(Kickoff),即断开其中一个客户端的连接。这是因为MQTT协议要求每个客户端ID必须是唯一的,用于标识不同的客户端。 当发生客户端ID重复的情况时,MQTT Broker会选择保持最新连接的客户端,而断开旧连接的客户端。这是为了确保每个客户端ID都对应唯一的客户端连接,并避免潜在的冲突和数据混乱。 当旧连接的客户端被断开后,它可能仍然尝试发送数据到已经断开的TCP连接。这会导致对端Socket发送RST(Reset)报文,通知客户端连接已经被重置或关闭。这是正常的网络行为,用于清除已经断开的连接的残留数据。 资源报表的最大查询范围是多少? 分布式消息服务MQTT支持查询7天以内的指标数据。 为什么设备都断电了,控制台还显示设备在线? 分布式消息服务MQTT会定时检查客户端心跳,当系统检测到客户端超过指定时长(1.5keepalive时长)没有心跳,则会断开连接。 如何在控制台修改订阅关系? 订阅关系在订阅消息的SDK代码中设置,控制台只能查询。 本地测试先发送消息,再订阅接收不到消息,设置离线消息后还是接收不到。 若先启动生产者发送消息,如果Topic从未有过订阅,则即使设置了离线消息(QoS1且cleanSessionfalse),消费者启动后也不会收到离线消息;如果Topic被消费者订阅过,消费者离线后,若设置了离线消息,这些离线消息会在消费者再次上线后被消费到。
        来自:
        帮助文档
        分布式消息服务MQTT
        常见问题
        操作类
        操作类常见问题
      • 连接查询
        本文为您介绍分布式消息服务MQTT的操作指南连接查询。 分布式消息服务MQTT提供按 Client ID 查询客户端的连接信息和订阅关系,进行剔除(下线)和主题退订操作。 操作步骤 1、 天翼云官网点击控制中心,选择产品分布式消息服务MQTT。 2、 登录分布式消息服务MQTT控制台,点击右上角地域选择对应资源池。 3、 进入实例列表,点击【管理】按钮进入管理菜单。 4、 进入连接查询菜单页面,输入Client ID,点击查询按钮。 5、 展示客户端的连接信息和订阅关系,支持剔除(下线)和主题退订操作。 查询结果 ClientID:一个在客户端连接到MQTT代理(MQTT broker)时分配的唯一标识符,用于标识特定的MQTT客户端。 客户端IP:客户端的IP地址。 连接协议:MQTT协议。 连接时间:指客户端与MQTT代理(MQTT broker)之间建立和维护连接的时间。 cleanSession: MQTT 协议中一个重要的连接选项,用于定义客户端与 MQTT 代理(broker)之间的会话保持行为。这个选项决定了当客户端重新连接到代理时,是否应该恢复之前的会话状态。 认证用户:认证授权模块创建的用户。 当前订阅数:指当前连接到MQTT代理的客户端数量,这些客户端已经发送了订阅请求并成功订阅了一个或多个主题。每个订阅都占用一个资源,因此订阅数可以反映出代理的负载和资源使用情况。 发送消息数:在MQTT代理(broker)上发布或传输的消息数量。这个指标反映了在特定时间段内从一个或多个发布者发送到MQTT代理并通过代理传递到一个或多个订阅者的消息数量。发送消息数通常用于衡量MQTT通信的活动水平和负载。 接收消息数:MQTT代理(broker)上接收并传递给订阅者(Subscriber)的消息数量。这个指标表示了在特定时间段内,MQTT代理成功接收到的消息数量,然后将这些消息传递给相应的订阅者。 是否在线:客户端是否在线,支持剔除下线操作。 连接断开时间:客户端与服务器之间的连接保持(Keep Alive)时间。在MQTT中,客户端和服务器之间的连接是通过心跳机制来保持的,以确保连接的活跃性和可靠性。
        来自:
        帮助文档
        分布式消息服务MQTT
        用户指南
        连接查询
      • 预取值
        介绍分布式消息服务RabbitMQ预取值功能 使用场景 所谓消息预取机制,它定义了在一个信道上,消费者允许的最大未确认的消息数量。 一旦未确认的消息数量达到了设置的预取值,RabbitMQ就停止传递更多消息,除非至少有一条未完成的消息得到了确认。 如何设置合适的预取值 通常,增加预取将提高向消费者传递消息的速度。虽然自动应答传输消息速率是最佳的,但是,在这种情况下已传递但尚未处理的消息的数量也会增加,从而增加了消费者的 RAM 消耗(随机存取存储器)应该小心使用具有无限预处理的自动确认模式或手动确认模式,消费者消费了大量的消息如果没有确认的话,会导致消费者连接节点的内存消耗变大,所以找到合适的预取值是一个反复试验的过程,不同的负载该值取值也不同 100 到 300 范围内的值通常可提供最佳的吞吐量,并且不会给消费者带来太大的风险。 预取值为 1 是最保守的。当然这将使吞吐量变得很低,特别是消费者连接延迟很严重的情况下,特别是在消费者连接等待时间较长的环境 中。对于大多数应用来说,稍微高一点的值将是最佳的。 设置预取值 设置预取值的java示例代码如下 ConnectionFactory factory new ConnectionFactory(); Connection connection factory.newConnection(); Channel channel connection.createChannel(); channel.basicQos(20, false);
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        高级特性
        预取值
      • 基于事件流实现消息路由至函数计算
        步骤二:测试验证 1. 登录分布式消息服务Kafka控制台。 2. 在左侧导航栏,单击实例列表,选择事件流的源实例。 3. 在主题管理页面,选择源的目标主题,操作列点击更多 ,然后点击生产消息。 4. 在生产消息对话框输入想要发送的消息,然后点击发送消息。 5. 发送消息后,登录函数计算管理控制台。 6. 在函数页面,单击目标函数名称。 7. 在目标函数详情页面,单击监控页签,查看函数是否被触发以及调用时延,如图1所示。 图1 在函数计算管理控制台中查看函数监控指标
        来自:
        帮助文档
        事件总线
        最佳实践
        基于事件流实现消息路由
        基于事件流实现消息路由至函数计算
      • KafkaProducer
        介绍APM监控详情里消息监控中的KafkaProducer相关指标的名称、含义等信息。 KafkaProducer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptiontype 异常类型 String 异常 exceptioncount 错误数 Int Topic (Topic,Kafka的Topic监控数据) id Clientid和IP信息 Enum Topic (Topic,Kafka的Topic监控数据) topic Kafka的Topic名称 Enum Topic (Topic,Kafka的Topic监控数据) kafkaproducerbyterate 每秒发送字节 Int Topic (Topic,Kafka的Topic监控数据) kafkaproducerrecorderrorrate 每秒错误数 Int Topic (Topic,Kafka的Topic监控数据) kafkaproducerrecordretryrate 每秒重试数 Int Topic (Topic,Kafka的Topic监控数据) kafkaproducerrecordsendrate 每秒发送数 Int Topic (Topic,Kafka的Topic监控数据) kafkaproducerrecordsendtotal 总发送次数 Int Topic (Topic,Kafka的Topic监控数据) kafkaproducerbytetotal 总发送字节数 Int 汇总(Total,KafkaProducer汇总信息统计) kafkaproducerrecordsendtotal 总发送次数 Int 汇总(Total,KafkaProducer汇总信息统计) kafkaproducerbytetotal 总发送字节数 Int 发送方法(DoSendMethod,发送消息方法监控) topic Kafka的Topic名称 Enum 发送方法(DoSendMethod,发送消息方法监控) errorCount 错误数 Int 发送方法(DoSendMethod,发送消息方法监控) invokeCount 调用次数 Int 发送方法(DoSendMethod,发送消息方法监控) maxTime 最慢时延 Int 发送方法(DoSendMethod,发送消息方法监控) ms0To10Count 010ms次数 Int 发送方法(DoSendMethod,发送消息方法监控) ms10To100Count 10100ms次数 Int 发送方法(DoSendMethod,发送消息方法监控) ms100To500Count 100500ms次数 Int 发送方法(DoSendMethod,发送消息方法监控) ms500To1000Count 5001000ms次数 Int 发送方法(DoSendMethod,发送消息方法监控) ms1000To10000Count 110s次数 Int 发送方法(DoSendMethod,发送消息方法监控) msMorethan10000Count 10s以上次数 Int 发送方法(DoSendMethod,发送消息方法监控) totalTime 调用总耗时 Int
        来自:
        帮助文档
        应用性能监控 APM
        产品介绍
        指标总览
        消息监控
        KafkaProducer
      • 新建消费组
        介绍分布式消息服务Kafka的新建消费组功能操作介绍。 场景描述 Kafka新建消费组的场景如下: 多个应用程序需要独立消费同一个主题:如果有多个应用程序需要从同一个Kafka主题中独立消费消息,并且每个应用程序需要管理自己的消费进度和分区分配,那么可以为每个应用程序创建一个独立的消费组。 消费者需要实现消息的负载均衡:当有多个消费者需要消费同一个主题的消息时,可以将它们加入同一个消费组,Kafka会自动将主题的分区均匀地分配给消费组中的消费者,实现消息的负载均衡。 消费者需要实现消息的并行处理:如果需要将一个主题的消息并行地处理,可以创建多个消费者实例,并将它们加入同一个消费组。Kafka会将主题的分区分配给消费组中的消费者,每个消费者只消费自己被分配的分区,从而实现消息的并行处理。 消费者需要实现高可用性:为了提高消费者的可用性,可以创建一个消费组,并将多个消费者实例加入该组。当一个消费者实例发生故障时,Kafka会将该消费者的分区重新分配给其他健康的消费者,从而保证消息的连续消费。 操作步骤 (1)登录管理控制台。 (2)进入Kafka管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“消费组管理”后进入消费组管理页面。 (5)点击“创建消费组”后,输入消费组名称,点击创建。 说明 消费组业务应用接入使用时客户端也可自动创建。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        消费组管理
        新建消费组
      • Kafka客户端使用规范
        本节主要介绍Kafka客户端使用规范。 consumer使用规范 1、consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。 2、确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 3、consumer不能频繁加入和退出group,频繁加入和退出,会导致consumer频繁做rebalance,阻塞消费。 4、consumer数量不能超过topic分区数,否则会有consumer拉取不到消息。 5、consumer需周期poll,维持和server的心跳,避免心跳超时,导致consumer频繁加入和退出,阻塞消费。 6、consumer拉取的消息本地缓存应有大小限制,避免OOM(Out of Memory)。 7、consumer session设置为30秒,session.timeout.ms30000。 8、Kafka不能保证消费重复的消息,业务侧需保证消息处理的幂等性。 9、消费线程退出要调用consumer的close方法,避免同一个组的其他消费者阻塞sesstion.timeout.ms的时间。 producer使用规范 1、同步复制客户端需要配合使用:acksall 2、配置发送失败重试:retries3 3、发送优化:linger.ms0 4、生产端的JVM内存要足够,避免内存不足导致发送阻塞 topic使用规范 配置要求:推荐3副本,同步复制,最小同步副本数为2,且同步副本数不能等于topic副本数,否则宕机1个副本会导致无法生产消息。 创建方式:支持选择是否开启kafka自动创建Topic的开关。选择开启后,表示生产或消费一个未创建的Topic时,会自动创建一个包含3个分区和3个副本的Topic。 单topic最大分区数建议为100。 topic副本数为3(当前版本限制,不可调整)。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        Kafka客户端使用规范
      • 系统配置
        自定义云短信网关 1 登录云堡垒机系统。 2 选择“系统 > 系统配置 > 外发配置”,进入系统外发配置管理页面。 外发配置 3 在“短信网关配置”区域,单击“编辑”,弹出短信网关配置窗口。 4 单击“确认”,返回外发配置页面,即可查看短信网关信息。 云短信网关参数说明 参数 说明 APPKey 申请短信应用后,输入短信应用的APPKey。 APPSecret 申请短信应用后,输入短信应用的APPSecret。 APP接入地址 申请短信应用后,输入短信应用的APP接入地址。 通道号 申请短信签名后,输入短信前面通道号。 模板ID 申请短信模板后,输入短信模板的ID。 测试手机号 输入可用手机号码,验证短信内容。 告警配置 配置告警方式 针对系统消息、业务消息、任务消息、命令告警、工单消息五大类告警类型,支持不同告警类型各级别消息是否告警和告警方式。 告警方式包括消息中心、邮件通知、短信通知。 根据告警等级划分各类消息是否告警,以及告警方式。 默认低等级消息不告警。 默认中等级消息告警,通过消息中心告警提醒。 默认高等级消息告警,通过消息中心和邮件通知。 本小节主要介绍如何配置系统告警方式。
        来自:
        帮助文档
        运维安全中心(云堡垒机)
        用户指南
        系统管理
        系统配置
      • 查看弹性资源池扩缩容历史
        本章节主要介绍如何查看弹性资源池扩缩容历史。 操作场景 当弹性资源池添加队列、删除队列,或添加的队列扩缩容时,可能会引起弹性资源CUs扩缩容变化。控制台提供的“扩缩容历史”功能,可以查看弹性资源池的CUs变化历史。 约束与限制 当前控制台仅支持查看30天以内的弹性资源池扩缩容历史。 查看弹性资源池扩缩容历史 1.在DLI管理控制台左侧,选择“资源管理 > 弹性资源池”。 2.选择需要查看的弹性资源池,单击“操作”列“更多”中的“扩缩容历史”。 3.在“扩缩容历史”页面,选择日期范围,查看CUs资源使用趋势。 您可以查看弹性资源池扩缩容前CUs,扩缩容后CUs,扩缩容目标CUs。 扩缩容历史支持“图形化展示”和“表格展示”两种形式。可以点击右上方 进行切换。
        来自:
        帮助文档
        数据湖探索
        用户指南
        弹性资源池
        弹性资源池基本操作
        查看弹性资源池扩缩容历史
      • 从服务端应用向消息队列MQTT版发送单条消息
        本文为您介绍分布式消息服务MQTT的API消息发送。 POST ContentType:application/json 请求体json参数说明: 参数名 参数类型 是否必填 参数描述 prodInstId String 是 实例ID mqttTopic String 是 MQTT主题 payload String 是 消息内容 返回参数说明: 参数名 参数类型 参数描述 message String 描述状态 statusCode Integer 800成功 其他失败 成功 { "message": "success","statusCode": "800"} 失败 {"returnObj": null,"message": "error","statusCode": "900"}
        来自:
        帮助文档
        分布式消息服务MQTT
        API参考
        API
        消息发送
        从服务端应用向消息队列MQTT版发送单条消息
      • 消息通知概览
        本文介绍消息通知的功能。 消息通知是什么 消息通知功能是网络管理与业务运营系统中的关键组件,它主要负责及时、精准地将各类重要事件信息传达给相关人员。无论是网络监测中带宽使用超量,还是业务流程出现异常状况,该功能都能自动生成对应的消息通知,让相关人员第一时间掌握情况,为后续处理争取时间,保障系统稳定运行和业务顺利开展。 消息通知特点 拥有高度灵活的配置能力,支持对消息类型、通知方式和接收对象进行自由组合设置。比如,针对带宽超量事件可选择短信通知特定网络管理员,针对业务订单异常可通过邮件通知负责人,满足多样化的业务需求。 通知方式丰富多样,如短信、邮件、客户端等,每种方式各有特点,能适配不同场景。像短信通知即时性强,可确保信息快速触达;邮件通知适合传递详细内容,方便接收者深入了解事件。 短信通知方面,支持接入如阿里短信网关等多种可靠的短信网关,借助成熟的短信服务平台,保证短信通知的高效性和稳定性,避免重要信息遗漏,提升整体系统的可靠性和响应速度。 消息通知功能 功能 功能说明 通知类型 产品识别并针对不同性质的事件生成相应的消息通知。例如,套餐用量使用方面,当短信使用出现超量事件时,系统会自动生成对应的通知消息,消息通知需要由客户进行设定通知的方式、通知对象以便更及时的进行消息传递。 通知渠道 为了实现高效、稳定的通知服务,产品除了自身携带的通知网关后,还支持接入多种网关,比如阿里云短信服务网关。
        来自:
        帮助文档
        边缘安全加速平台
        零信任网络服务
        设置
        消息通知
        消息通知概览
      • DLI SQL
        参数 是否必选 说明 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据库名称 是 默认选择SQL脚本中设置的数据库,支持修改。 DLI环境变量 否 环境变量配置项需要以"dli.sql."或"spark.sql."开头。 环境变量的key为dli.sql.shuffle.partitions或dli.sql.autoBroadcastJoinThreshold时,不能包含><符号。 如果作业和脚本中同时配置了同名的参数,作业中配置的值会覆盖脚本中的值。 队列名称 是 默认选择SQL脚本中设置的DLI队列,支持修改。如需新建资源队列,请参考以下方法: 单击 ,进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用 刷新按钮同步。 节点名称 是 默认显示为SQL脚本的名称,支持修改。规则如下:节点名称,可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 是否记录脏数据 是 单击 选择节点是否记录脏数据。 是:记录脏数据 否:不记录脏数据
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        DLI SQL
      • 与其他服务关系
        介绍分布式消息服务Kafka与天翼云其他服务关系。 虚拟私有云(CTVPC ,Virtual Private Cloud) 虚拟私有云为分布式消息服务Kafka提供一个逻辑隔离的区域,构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机(CTECS,Elastic Cloud Server) 分布式消息服务Kafka订购后,默认按照用户选择的实例规格开通弹性云主机,云主机由 CPU、内存、镜像、云硬盘组成,同时结合VPC、安全组、数据多副本保存等能力,打造一个既高效又可靠安全的计算环境,确保分布式消息服务Kafka持久稳定运行。更多信息请参见弹性云主机。 云硬盘(CTEVS,Elastic Volume Service) 分布式消息服务Kafka订购后,默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备,可以为分布式消息服务Kafka提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP(Elastic IP,EIP) 弹性IP是可以独立申请的公网 IP 地址,包括公网IP地址与公网出口带宽服务。可以与分布式消息服务Kafka动态绑定和解绑,实现云资源的互联网访问。针对需要公网访问分布式消息服务Kafka实例的需求,用户可开通弹性IP后,在Kafka实例开通页面进行绑定。更多信息请参见弹性IP。
        来自:
        帮助文档
        分布式消息服务Kafka
        产品简介
        与其他服务关系
      • 运维指导
        访问FlinkUI/SparkUI页面无法正常显示怎么办? 问题现象 访问FlinkUI/SparkUI页面无法正常显示,打开页面返回信息不全。 根因分析 根据分析发现队列为按需队列,运行作业的时候会重新创建集群,大概需要10分钟左右才能完成集群创建。在集群创建完成之前,访问FlinkUI会导致缓存空的projectID,从而导致无法访问。出现该问题可能原因是由于集群未创建。 解决方案 建议将队列更换为专属队列,空闲状态下集群不会被释放。或者提交作业等一段时间之后在查看FlinkUI。 Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 异常信息 根因分析 1.检查网络是否发生闪断,分析集群负载是否很高。 2.如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 Full GC 处理步骤 如果频繁Full GC, 建议排查代码,是否有内存泄漏。 增加单TM所占的资源。 联系技术支持,修改集群心跳配置参数。 Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? 1.首先测试地址连通性。 2.若果网络不可达,需要先配置网络连通。确保DLI 队列与外部数据源的网络连接性正常。
        来自:
        帮助文档
        数据湖探索
        常见问题
        操作类
        Flink作业相关问题
        运维指导
      • 接入数据
        名词解释 环境 目前天翼云Prometheus服务支持容器环境与云服务环境。 容器环境:每个云容器集群对应一个独立的容器环境。针对容器环境,Prometheus提供了自动化的监控采集链路,完成探针安装、数据采集、数据加工等工作。 云服务环境:对于常规云服务产品的数据采集,将按照资源池进行划分,为每个资源池创建各自的云服务环境。 组件 接入管理的每一个选项卡片即为一个组件,目前支持容器集群、分布式缓存服务Redis版、分布式消息服务Kafka与分布式容器云平台CCE ONE组件接入。 操作步骤 1. 登录Prometheus监控服务控制台。 2. 在左侧导航栏,单击接入中心。 3. 在接入中心页面,单击目标组件卡片接入数据。 4. 在弹出的面板中,在开始接入页签下,选择所属的环境类型。 5. 根据控制台提示配置相应参数,如选择对应的容器集群。 6. 点击确定,等待环境初始化、组件安装以及数据检查完成。 如果一切正常,接入完成后您可以进入接入管理的环境详情页面查询接入的大盘或告警规则,也可以探索产生的指标。 如果遇到异常,可根据异常提示进行相应的操作。
        来自:
        帮助文档
        应用性能监控 APM
        用户指南
        Prometheus监控
        控制台操作指南
        接入数据
      • 消费位点
        每个 Topic 会有多个分区,每个分区会统计当前消息的总条数,这个称为最大位点 MaxOffset。Kafka Consumer 会按顺序依次消费分区内的每条消息,记录已经消费了的消息条数,称为ConsumerOffset。 剩余的未消费的条数(也称为消息堆积量) MaxOffset ConsumerOffset
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        消费者实践
        消费位点
      • 添加子租户
        参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线()。 根据业务需求规划子租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户资源类型 指定租户是否是一个叶子租户: 选择“叶子租户资源”:当前租户为叶子租户,不支持添加子租户。 选择“非叶子租户资源”:当前租户为非叶子租户,支持添加子租户,但租户层级不能超过5层。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时,系统自动在Yarn中以子租户名称创建任务队列。 − 如果是叶子租户,叶子租户可直接提交到任务队列中。 − 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。 但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。 不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时,只需配置“默认资源池容量 (%)”参数即可。 选择“高级”时,可手动配置资源分配权重,租户的最小/最大/预留资源。 默认资源池容量(%) 配置当前租户使用的计算资源百分比,基数为父租户的资源总量。 权重 资源分配权重,取值范围从0到100。 最小资源 保证租户资源能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户资源作业量比较少时,资源会自动借给其他租户资源,当租户资源能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。 最大资源 租户资源最多能使用的资源,租户资源不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。 预留资源 租户资源预留资源。即使租户资源内没有作业,预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。 不选择“HDFS”时,系统不会分配存储资源。 文件目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。 当存储空间配额单位设置为MB时,范围为1~8796093022208,当“存储空间配额单位”设置为GB时,范围为1~8589934592。 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额,实际存储量不超过父租户配额。 存储路径 配置租户在HDFS中的存储目录。 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”,父目录为“/tenant/ta1”,系统默认自动配置此参数值为“/tenant/ta1/ta1s”,最终子租户的存储目录为“/tenant/ta1/ta1s”。 支持在父目录中自定义存储路径。 服务 是否需要关联使用其他服务的资源,参见步骤4。 描述 配置当前租户的描述信息
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Superior调度器的租户业务
        创建租户
        添加子租户
      • SQL限流
        参数 说明 Rulename 限流规则名称。 Running 匹配到该限流规则,且正常执行的SQL语句数量。 Waiting 匹配到该限流规则,且正在等待队列里的SQL语句数量。 Killed 匹配到该限流规则,且被Kill的SQL语句数量。 Totalmatch 匹配到该限流规则的总次数。 Maxconcurrencypernode 每个计算节点的并发度。 Waitqueuesizepernode 每个计算节点上等待队列的最大长度。 Waittimeout SQL语句在等待队列的最大等待时间。 Maxmergerows SELECT语句从DN返回的最大行数。 Sqltype SQL语句类型,可能值: SELECT DELETE UPDATE INSERT User 用户名。 Keywords 关键词列表。 Templateid SQL模板的哈希值。 Createdtime 限流规则的创建时间。 Templatesql SQL模板。
        来自:
        帮助文档
        分布式关系型数据库
        开发指南
        SQL限流
      • 备份HBase业务数据
        操作步骤 1.在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份,仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS,不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时,每次增量备份都会刷新最近一次全量备份的备份数据,所以不会产生新的恢复点。 6.在“备份配置”,勾选“业务数据”下的“HBase > HBase”。 7.在“HBase”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。 选择此参数值,还需要配置以下参数: “目的端NameService名称”:填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称(haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4),也可输入其他已配置的远端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如“/hbase”或“/user/hbase/backup”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “CIFS”:表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “SFTP”:表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”:SFTP服务器上的备份路径。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为20。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为100。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在“备份内容”中,选择一个或多个需要备份的HBase表。 支持两种方式选择备份数据: 直接选择 单击导航中某个命名空间的名称,将展开显示此命名空间中的所有表,勾选指定的表。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示,在第一个输入框填写HBase表所在的命名空间,需要与当前存在的命名空间完全匹配。例如“default”。 c. 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选命名空间中所有的表,输入“([sS]?)”。例如要筛选命名规则为字母数字组合的表,如tb 1 可输入“tbd ”。 d. 单击“刷新”,在“目录名称”查看筛选的表。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因: 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的HBase表数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为“ 备份任务名数据源任务创建时间” ,数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        备份数据
        备份HBase业务数据
      • 续订和退订
        本文为您介绍分布式消息服务MQTT续订和退订内容。 场景描述 分布式消息服务MQTT为用户提供全面周到的服务,支持用户续订和退订的需求。 续订:针对包周期消息实例服务,用户可在到期前进行服务周期延长操作,即续订操作。 退订:用户如不需要继续使用该分布式消息服务MQTT实例,可进行删除实例操作,即退订操作。 续订 1、登录MQTT消息控制台,可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 续订。 3、 进入到续订页面,在弹出来的确认窗口选择续订时长,点击确认即可。 退订 1、登录MQTT消息控制台,可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 退订。 3、 进入到退订页面,在弹出来的确认窗口点击确认即可。 注意 退订的实例处于冻结状态,请务必在实例退订前停止全部的应用。 在申请退订前,请做好数据备份工作,退订后数据将保留15个自然日,15天后相关数据将不予保留,且不会进行备份,务必谨慎操作。
        来自:
        帮助文档
        分布式消息服务MQTT
        用户指南
        实例管理
        续订和退订
      • 使用Redis实例的发布订阅(pubsub)有哪些注意事项?
        本文介绍Redis实例的发布订阅(pubsub)注意事项 订阅和发布的顺序:在使用 Redis 的发布订阅功能时,订阅者(Subscriber)必须先订阅频道(Channel)才能接收到发布者(Publisher)发送的消息。如果先发布消息而没有订阅者监听该频道,那么消息将会丢失。因此,在使用发布订阅功能时,要确保订阅者在发布者发送消息之前已经成功订阅了频道。 异步处理:Redis 的发布订阅功能是异步的,即发布者发送消息后,订阅者可能不会立即接收到消息。这是因为订阅者与发布者之间存在网络延迟和处理时间。因此,在订阅消息后,订阅者需要以异步方式处理接收到的消息,并考虑可能出现的延迟。 取消订阅:当不再需要接收某个频道的消息时,订阅者应该主动取消订阅,以减少不必要的网络开销和资源消耗。可以使用 UNSUBSCRIBE 命令取消订阅指定频道,或使用 PUNSUBSCRIBE 命令取消订阅所有频道。 频道命名规范:在定义频道名称时,要注意选择有意义且易于区分的名称。频道名称可以是字符串,但最好遵循一定的命名规范,以免产生混淆或错误地订阅了不正确的频道。 安全性考虑:Redis 的发布订阅功能是公开的,任何连接到 Redis 的客户端都可以订阅频道并接收消息。因此,要特别注意在敏感信息传输或涉及安全性的场景中使用发布订阅功能,并考虑适当的安全措施,例如使用认证和加密等方式来保护数据的安全性。
        来自:
        帮助文档
        分布式缓存服务Redis版
        常见问题
        网络与连接
        使用Redis实例的发布订阅(pubsub)有哪些注意事项?
      • RabbitMqConsumer
        介绍APM监控详情里消息监控中的RabbitMqConsumer相关指标的名称、含义等信息。 RabbitMqConsumer监控指标说明表 指标类别 指标 指标说明 数据类型 异常 exceptionstacktrace 异常产生的堆栈信息 String 异常 exceptiontype 异常类型 String 异常 exceptioncount 错误数 Int 推模式消费维度监控 messageerrorcount 消费消息的错误次数 Int 推模式消费维度监控 ms0To10Count 010ms次数 Int 推模式消费维度监控 ms10To100Count 10100ms次数 Int 推模式消费维度监控 ms100To500Count 100500ms次数 Int 推模式消费维度监控 ms500To1000Count 5001000ms次数 Int 推模式消费维度监控 ms1000To10000Count 110s次数 Int 推模式消费维度监控 msMorethan10000Count 10s以上次数 Int 推模式消费维度监控 messagecount 调用次数 Int Connection监控 notacknowledgedpublished 该连接中未确认的消息数 Int Total监控 messageerrorcount 消费消息的错误次数 Int Total监控 messagecount 消费消息数 Int Total监控 messagetotalpayload 消费字节数 Int Total监控 Max(messagetotalpayload) 单次消费最大字节数 Int Total监控 acknowledged Ack消息数 Int Total监控 rejected Reject消息数 Int Total监控 ms0To10Count 010ms次数 Int Total监控 ms10To100Count 10100ms次数 Int Total监控 ms100To500Count 100500ms次数 Int Total监控 ms500To1000Count 5001000ms次数 Int Total监控 ms1000To10000Count 110s次数 Int Total监控 msMorethan10000Count 10s以上次数 Int Total监控 notacknowledgedpublished 未确认的消息数 Int Total监控 messagemaxcost 最大响应时间 Int Total监控 sum(messagecost) 消费消息的总响应时间 Int
        来自:
        帮助文档
        应用性能监控 APM
        产品介绍
        指标总览
        消息监控
        RabbitMqConsumer
      • 使用cube-volcano
        本节介绍了 使用cubevolcano的用户指南。 插件简介 Volcano调度器是一个基于Kubernetes的批处理平台,提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力,通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能,主要特性包括: 丰富的计算框架支持:通过CRD提供了批量计算任务的通用API,通过提供丰富的插件及作业生命周期高级管理,支持TensorFlow,MPI,Spark等计算框架容器化运行在Kubernetes上。 高级调度:面向批量计算、高性能计算场景提供丰富的高级调度能力,包括成组调度,优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理:支持分队列调度,提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址: 前置条件 安装cubevolcano插件 使用示例 修改调度器配置 查看调度配置,默认开启binpack插件 修改volcano调度器配置,增加binpack得分权重,减少其他调度插件的影响 调整日志级别,查看更详细的日志 创建验证负载任务并且指定使用volcano调度器 可查看负载的YAML,确认scheduleName已设置为volcano 从控制台查看调度器日志,得知各节点的得分 从日志中知道得分最高的节点,查看pod绑定节点,预期绑定的是最高得分的节点
        来自:
        帮助文档
        云容器引擎 专有版/托管版
        用户指南
        工作负载(新版)
        使用cube-volcano
      • 入门指引
        本章节将为您介绍分布式消息服务Kafka入门的基本流程,主要包括环境准备、购买实例、创建Topic以及编译运行Demo Java工程,帮助您快速上手Kafka。 操作流程 操作流程如下: 1. 环境准备 创建Kafka实例先要准备好虚拟私有云、子网和安全组,可选弹性公网IP。 2. 创建实例 在订购分布式消息Kafka填写和确认实例名称、计费模式等信息,确认费用后点击下一步,等待开通流程结果通知成功后完成创建实例。 3. 创建Topic 开通实例后,在控制台相关页面按照指引创建主题,用于发送消息。点击“生产消息”来测试Topic是否正常。 4. 编译运行Demo Java工程 以上工作完成后,在客户端应用编译工程进行生产消费,包括引入依赖,生产消息和消费消息。
        来自:
        帮助文档
        分布式消息服务Kafka
        快速入门
        入门指引
      • 连接已开启SASL的Kafka专享实例
        创建实例时开启SASLSSL访问,则数据加密传输,安全性更高。 由于安全问题,支持的加密套件为TLSECDHEECDSAWITHAES128CBCSHA256,TLSECDHERSAWITHAES128CBCSHA256和TLSECDHERSAWITHAES128GCMSHA256。 本节介绍如何使用开源的Kafka客户端访问开启SASL的Kafka专享实例的方法。 说明: 使用SASL方式连接Kafka实例时,为了客户端能够快速解析实例的Broker,建议在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系。 其中,IP地址必须为实例连接地址(Broker地址),host为每个实例主机的名称(您可以自定义主机的名称,但不能重复)。 例如: 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 前提条件 已配置正确的安全组。 访问开启SASL的Kafka专享实例时,支持VPC内访问。实例需要配置正确的安全组规则,具体安全组配置要求,请参考表32。 已获取连接Kafka专享版实例的地址。 使用VPC内访问,实例端口为9093,实例连接地址获取如下图。 获取VPC内访问Kafka专享实例的连接地址(实例已开启SASL) Kafka专享实例已创建Topic,否则请提前创建Topic。 已下载client.truststore.jks证书。如果没有,在控制台单击Kafka实例名称,进入实例详情页面,在“基本信息 > 高级配置 > Kafka SASLSSL”所在行,单击 。下载压缩包后解压,获取压缩包中的客户端证书文件:client.truststore.jks。 已下载Kafka命令行工具1.1.0版本或者Kafka命令行工具2.3.0版本,确保Kafka实例版本与命令行工具版本相同。 已在Kafka命令行工具的使用环境中安装Java Development Kit 1.8.111或以上版本,并完成环境变量配置。 命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 解压Kafka命令行工具。 进入文件压缩包所在目录,然后执行以下命令解压文件。 tar zxf [kafkatar] 其中,[kafkatar]表示命令行工具的压缩包名称。 例如: tar zxf kafka2.111.1.0.tgz 修改Kafka命令行工具配置文件。 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件,并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAIN security.protocolSASLSSL ssl.truststore.location/opt/kafka2.111.1.0/config/client.truststore.jks ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明: username和password为创建Kafka专享实例过程中开启SASLSSL时填入的用户名和密码。 ssl.trustore.location配置为client.truststore.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中拷贝路径时的“”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码,不可更改,需要保持为dms@kafka。 ssl.endpoint.identification.algorithm为证书域名校验开关,为空则表示关闭。这里需要保持关闭状态,必须设置为空。 进入Kafka命令行工具的“/bin”目录下。 注意,Windows系统下需要进入“/bin/windows”目录下。 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ${连接地址} topic ${Topic名称} producer.config ../config/producer.properties 参数说明如下: 连接地址:从前提条件获取的连接地址。 Topic名称:Kafka实例下创建的Topic名称。 如下示例,Kafka实例连接地址为“10.xxx.xxx.202:9093,10.xxx.xxx.197:9093,10.xxx.xxx.68:9093”。 执行完命令后,输入需要生产的消息内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]
        来自:
        帮助文档
        专属云分布式消息服务Kafka
        用户指南
        连接已开启SASL的Kafka专享实例
      • 续费、到期与欠费
        本文为您介绍分布式消息服务MQTT续费、到期与欠费内容。 到期前续费 手动续订:对于包年式消息服务MQTT,用户在资源到期前进行续费操作,可以延长原有资源到期时间,避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订:自动续订仅针对采用包月、包年计费模式的资源,详细操作请参考费用中心续订管理自动续订。 到期处理 到期后,分布式消息服务MQTT进入保留期,您将不能正常访问及使用天翼云分布式消息服务MQTT,但对于您存储在分布式消息服务MQTT中的数据予以保留。 若您在到期后15天内续费,自资源续订解冻开始,计算新的服务有效期,按照新的服务有效期计算费用; 若到期15天后您仍未续费,存储在分布式消息服务MQTT中的数据将被删除。 欠费原因 在按需计费的模式下帐号的余额不足。 按需欠费资源冻结规则 欠费后,资源进入保留期,您将不能正常访问及使用分布式消息服务MQTT,已开通的实例资源将予以保留。 若您在保留期内充值,充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值,MQTT实例资源将被释放。
        来自:
        帮助文档
        分布式消息服务MQTT
        计费说明
        续费、到期与欠费
      • 管理全局用户策略
        本章节主要介绍翼MapReduce的管理全局用户策略操作。 操作场景 如果租户配置使用Superior调度器,那么系统可以控制具体用户使用资源调度器的行为,包含: 最大运行任务数 最大挂起任务数 默认队列 操作步骤 添加策略 1. 在FusionInsight Manager,单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 说明 defaults(default setting)表示如果一个用户未配置全局用户策略,则默认使用defaults所指定的策略。该策略不可删除。 4. 单击“添加全局用户策略”,在弹出窗口中填写以下参数。 集群:选择需要操作的集群。 用户名:表示需要控制资源调度的用户,请输入当前集群中已存在用户的名称。 最大运行任务数:表示该用户在当前集群中能运行的最大任务数量。 最大挂起任务数:表示该用户在当前集群中能挂起的最大任务数量。 默认队列:表示用户的队列,请输入当前集群中已存在队列的名称。 修改策略 1. 在FusionInsight Manager,单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行,单击“操作”列中的“修改”。 5. 调整相关参数后,单击“确定”。 删除策略 1. 在FusionInsight Manager,单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“全局用户策略”页签。 4. 在指定用户策略所在行,单击“操作”列中的“删除”。 在弹出窗口单击“确定”。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        使用Superior调度器的租户业务
        管理全局用户策略
      • DLI Flink Job
        参数 是否必选 说明 作业类型 是 选择“Flink SQL作业”。用户采用编写SQL语句来启动作业。 脚本路径 是 选择需要执行的Flink SQL脚本。如果脚本未创建,请参考 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时,子用户只能选择已经被分配的队列。 CUs 是 一个CU是1核4G的资源配置。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明 并发数不能大于计算单元(CUs1)的4倍。 UDF Jar 否 当作业所属集群选择独享集群时,该参数有效。在选择UDF Jar之前,您需要将UDF Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考 异常自动启动 否 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 作业名称 是 填写DLI Flink作业的名称,只能包含英文字母、数字、“”,且长度为1~64个字符。默认与节点的名称一致。 作业名称添加工作空间前缀 否 设置是否为创建的作业名称添加工作空间前缀。 节点名称 是 节点名称,可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        DLI Flink Job
      • 1
      • ...
      • 21
      • 22
      • 23
      • 24
      • 25
      • ...
      • 241
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性云主机 ECS

      多活容灾服务

      GPU云主机

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      训推服务

      公共算力服务

      应用托管

      科研助手

      推荐文档

      组长权限

      PostgreSQL

      编辑备份集

      消费重置

      重置

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号