云主机开年特惠28.8元/年,0元秒杀等你来抢!
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 天翼云新春焕新季 NEW 云主机开年特惠28.8元/年,0元秒杀等你来抢!
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      专属云分布式消息服务Kafka_相关内容
      • 制作并替换证书
        步骤二:替换证书 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 此处请选择与您的应用服务相同的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击待替换证书的实例名称,进入实例详情页面。 步骤 5 在“连接信息 > SSL证书”后,单击“替换”,弹出“替换SSL证书”对话框。 图 连接信息 步骤 6 参考下表,设置替换SSL证书的参数。 图 替换SSL证书 表 替换SSL证书参数说明 参数名称 说明 Key密码 输入制作证书中设置的keystore密码 Keystore密码 输入制作证书中设置的keystore密码 Keystore文件 导入“server.keystore.jks”证书 Truststore密码 输入服务端证书的Truststore密码 Truststore文件 导入“server.truststore.jks”证书 步骤 7 单击“确定”,弹出“替换SSL证书”对话框。 步骤 8 单击“确认”,完成证书的替换。 在“后台任务管理”页签,替换SSL证书任务的“状态”为“成功”时,表示替换证书成功。 说明 证书替换成功后,在实例详情页单击“下载”,下载的证书为分布式消息服务Kafka提供的证书,并非您自己制作的证书。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        连接Kafka实例
        制作并替换证书
      • 关闭Smart Connect
        本节介绍如何关闭Smart Connect。 如果不再使用Smart Connect相关功能,您可以关闭Smart Connect,释放资源。 关闭Smart Connect不会影响业务。 约束与限制 关闭Smart Connect后,实例会停止收取用于Smart Connect的代理费用,并自动删除用于Smart Connect的代理。 关闭Smart Connect后,再重新开启Smart Connect,已删除的Smart Connect任务无法找回,需要重新创建。 前提条件 已创建Kafka实例,且实例状态为“运行中”。 关闭Smart Connect前,请先删除所有的Smart Connect任务,否则无法关闭Smart Connect。此操作是为了防止关闭Smart Connect导致正在运行的Smart Connect任务丢失。 关闭Smart Connect 1、登录管理控制台。 2、在管理控制台左上角单击,选择Kafka实例所在的区域。 3、在管理控制台左上角单击,选择“应用服务 > 分布式消息服务 Kafka”,进入分布式消息服务Kafka专享版页面。 4、通过以下任意一种方法,关闭Smart Connect。 在待关闭Smart Connect的Kafka实例所在行,单击“更多 > 关闭Smart Connect”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 关闭Smart Connect”。 5、单击,将Smart Connect设置为关闭,单击“下一步”。 6、确认“Smart Connect”为关闭状态,单击“提交”。 结束
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Kafka数据迁移
        使用Smart Connect迁移Kafka数据
        关闭Smart Connect
      • 重置SASL_SSL密码
        本文主要介绍重置SASLSSL密码。 操作场景 在“用户管理”页签创建的SASLSSL用户,如果忘记了SASLSSL密码,通过重置SASLSSL密码功能,重新设置一个新的密码,可使用新密码连接Kafka实例。 如果忘记了创建实例时设置的SASLSSL密码,请参考重置Kafka密码,重置密码。 说明 仅开启Kafka SASLSSL认证的Kafka实例才可以重置SASLSSL密码。 只有处于“运行中”状态的Kafka实例支持重置SASLSSL密码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击待重置SASLSSL密码的Kafka实例名称,进入实例详情页面。 步骤 5 在“用户管理”页签,在待重置SASLSSL密码的用户所在行,单击“重置密码”。 步骤 6 输入“新密码”,单击“确定”,完成密码重置。 如果重置密码成功,界面提示重置实例的密码成功。 如果重置密码失败,界面提示重置实例的密码失败,请重新尝试重置密码操作。如果多次重置失败,请联系客服处理。 说明 只有所有代理都重置密码成功,系统才会提示重置密码成功,否则会提示重置失败。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        SASL_SSL用户管理
        重置SASL_SSL密码
      • 查看流控监控
        本文主要介绍 查看流控监控。 本章节指导您在控制台查看每个代理上用户/客户端/Topic的流控使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 步骤 6 设置查询流控的参数。 表查询流控的参数说明 参数 说明 :: 统计方式 设置流控的统计方式。 前n个:统计带宽使用量排名前x 个的用户/客户端/Topic,x由您自行输入 带宽速率:统计带宽速率大于x MB/s的用户/客户端/Topic,x由您自行输入 带宽使用量:统计带宽使用量超过x %的用户/客户端/Topic,x由您自行输入 统计类型 设置流控的统计类型。 生产:统计生产消息的流控 消费:统计消费消息的流控 统计维度 设置流控的统计维度。 User/Client:统计用户/客户端的流控 Topic:统计Topic的流控 图 查询流控的参数 步骤 7 单击“查询”,查看每个代理上用户/客户端/Topic的流控使用量。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        流控管理
        查看流控监控
      • Trace详情
        Messaging(消息传递)是指在分布式系统中,通过消息传递实现不同组件之间的通信。 System (消息系统):是指消息传递所使用的消息系统,如Apache Kafka、RabbitMQ、ActiveMQ等。它是一个软件系统,用于实现异步消息传递。 Operation (操作):是指对消息执行的操作,包括发送、接收、确认等。它是一个字符串,用于表示当前执行的操作。 DestinationKind (目标类型):是指消息的目标类型,包括队列(Queue)和主题(Topic)两种。队列用于点对点的消息传递,主题用于发布订阅模式的消息传递。它是一个字符串,用于表示当前消息的目的地类型。 目标服务(Target Service)是指客户端需要访问的远程服务。 名称 (Name):是指目标服务的名称,用于唯一标识服务。它是一个字符串,通常由服务提供方指定,并在服务注册中心中注册。 类型 (Type):是指目标服务的类型,用于表示服务的功能类别。例如,Web服务、消息队列服务、数据库服务等。它是一个字符串,通常由服务提供方指定。 实例 (Instance):是指目标服务的实例,用于标识不同的服务实例。在分布式系统中,通常会有多个服务实例提供相同的服务。它是一个字符串,通常由服务注册中心分配。
        来自:
        帮助文档
        应用性能监控 APM
        用户指南
        调用链查询
        Trace详情
      • 快速创建Kafka流式集群
        本章节主要介绍如何快速创建Kafka流式集群。 本章节为您介绍如何快速创建一个Kafka流式集群,Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。 快速创建Kafka流式集群 1.登录MRS管理控制台。 2.单击“创建集群”,进入“创建集群”页面。 3.在创建集群页面,选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息,参数详细信息请参考创建自定义集群。 区域:默认即可。 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。例如:“mrs20200321”。 版本类型:默认选择普通版(不同版本提供的组件有所不同,请根据需要选择版本类型)。 集群版本:不同版本集群提供的组件有所不同,请根据需要选择集群版本。 组件选择:选择“Kafka流式集群”。 可用区:默认即可。 虚拟私有云:默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网:默认即可。 CPU架构:默认即可。 集群节点:请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 集群高可用:默认即可。MRS 3.x版本暂时不支持该参数。 LVM:默认即可。MRS 3.x版本暂时不支持该参数。 用户名:默认为“root/admin”,root用于远程登录ECS机器,admin用于登录集群管理页面。 密码:设置root用户和admin用户密码。 确认密码:再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权,通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时,需要确认是否需要开启Kerberos认证,若确认开启请单击“继续”,若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”,可以查看到集群创建的状态。单击“访问集群”,可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群,且最多支持管理100个集群。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        配置集群
        快速创建集群
        快速创建Kafka流式集群
      • 编辑流控
        本文主要介绍编辑流控。 操作场景 本章节指导您在流控创建成功后,修改生产上限速率或者消费上限速率。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”,进入流控列表页面。 步骤 6 在待修改的流控所在行,单击“编辑”,弹出“编辑流控”对话框。 步骤 7 修改生产上限速率或者消费上限速率,单击“确定”,跳转到“后台任务管理”页面,当流控任务的“状态”为“成功”时,表示流控修改成功。 进入“流控管理 > 流控列表”页面,查看修改后流控的生产上限速率或者消费上限速率。 说明 “生产上限速率”和“消费上限速率”不可同时为空。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        流控管理
        编辑流控
      • 使用MirrorMaker跨集群数据同步
        验证数据是否同步 1、 在目标集群中查看Topic列表,确认是否有源集群Topic。 说明 目标集群中的Topic名称和源集群相比,多了前缀(如A.),这属于正常情况,是MirrorMaker 2为了防止Topic循环备份进行的设置。 2、 在源集群生产并消费消息,在目标集群查看消费进度,确认数据是否已从源集群同步到了目标集群。 如果目标集群为Kafka实例的话,在分布式消息服务Kafka控制台的“消费组管理 > 消费进度”中,查看消费进度。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        使用MirrorMaker跨集群数据同步
      • Topic和分区问题
        本文主要介绍 Topic和分区问题。 Kafka实例的Topic数量是否有限制? Topic数量和Topic总分区数、每个Topic的分区数有关,Kafka实例对Topic总分区数设置了上限,当达到上限后,会导致用户无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表 Kafka实例规格 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理Consumer Group上限 单个代理客户端总连接数上限 存储空间范围 kafka.2u4g.cluster 3~30 30000 250 20 2000 300GB~300000GB kafka.4u8g.cluster 3~30 100000 500 100 4000 300GB~600000GB kafka.8u16g.cluster 3~30 150000 1000 150 4000 300GB~900000GB kafka.12u24g.cluster 3~30 200000 1500 200 4000 300GB~900000GB kafka.16u32g.cluster 3~30 250000 2000 200 4000 300GB~900000GB 为什么限制Topic的总分区数? Kafka以分区为粒度管理消息,分区多导致生产、存储、消费都碎片化,影响性能稳定性。在使用过程中,当Topic的总分区数达到上限后,用户就无法继续创建Topic。 不同规格配置的Topic总分区数不同,如下表所示。 表 Kafka实例规格 实例规格 代理个数范围 单个代理TPS 单个代理分区上限 单个代理Consumer Group上限 单个代理客户端总连接数上限 存储空间范围 kafka.2u4g.cluster 3~30 30000 250 20 2000 300GB~300000GB kafka.4u8g.cluster 3~30 100000 500 100 4000 300GB~600000GB kafka.8u16g.cluster 3~30 150000 1000 150 4000 300GB~900000GB kafka.12u24g.cluster 3~30 200000 1500 200 4000 300GB~900000GB kafka.16u32g.cluster 3~30 250000 2000 200 4000 300GB~900000GB
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        Topic和分区问题
      • 编译运行Demo Java工程
        介绍连接Kafka编译运行Demo Java工程 kafkaclients引入依赖 在使用Kafka时,你需要在你的项目中引入相应的依赖。具体的依赖项可能会因你的项目和需求而有所不同。在使用Kafka之前,请确保查阅官方文档以获取最新的依赖项和使用说明。 以Java编程语言为例,可以使用Kafka的Java客户端库。你可以在Maven或Gradle构建工具中添加以下依赖项: org.apache.kafka kafkaclients 示例代码 1. 从控制台获取以下信息 连接地址 实例连接地址从控制台实例详情菜单处获取,在实例详情页面的接入点信息一栏。 Topic名称 在Topic管理页面,选择需要的Topic名称。 消费组名称 在消费组管理页面,选择需要的消费组名称。 2. 在实例代码中替换以上信息即可实现消息。 import org.apache.kafka.clients.producer.Callback; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import org.apache.kafka.common.serialization.StringSerializer; import java.util.Properties; public class Producer { private final KafkaProducer producer; public final static String TOPIC "testtopic"; public final static String BROKERADDR "192.168.0.11:8090,192.168.0.9:8090,192.168.0.10:8090"; public Producer() { Properties props new Properties(); props.put(ProducerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ProducerConfig.VALUESERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.KEYSERIALIZERCLASSCONFIG, StringSerializer.class.getName()); props.put(ProducerConfig.ACKSCONFIG, "all"); props.put("retries",3); producer new KafkaProducer<>(props); } public void produce() { try { for (int i 0; i (TOPIC, data), new Callback() { public void onCompletion(RecordMetadata metadata, Exception exception) { if (exception ! null) { // TODO: 异常处理 exception.printStackTrace(); return; } System.out.println("produce msg completed, partition id " + metadata.partition()); } }); } } catch (Exception e) { // TODO: 异常处理 e.printStackTrace(); } producer.flush(); producer.close(); } public static void main(String[] args) { Producer producer new Producer(); producer.produce(); } } 3. 同样在实例代码中替换以上信息即可消费消息。 import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.util.Arrays; import java.util.Properties; public class Consumer { private org.apache.kafka.clients.consumer.Consumer consumer; private static final String GROUPID "testgroup"; private static final String TOPIC "testtopic"; public final static String BROKERADDR "192.168.0.11:8090,192.168.0.9:8090,192.168.0.10:8090"; public Consumer() { Properties props new Properties(); props.put(ConsumerConfig.BOOTSTRAPSERVERSCONFIG, BROKERADDR); props.put(ConsumerConfig.GROUPIDCONFIG, GROUPID); props.put(ConsumerConfig.AUTOOFFSETRESETCONFIG, "earliest"); props.put(ConsumerConfig.ENABLEAUTOCOMMITCONFIG, "false"); props.put(ConsumerConfig.KEYDESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); props.put(ConsumerConfig.VALUEDESERIALIZERCLASSCONFIG, "org.apache.kafka.common.serialization.StringDeserializer"); consumer new KafkaConsumer<>(props); } public void consume() { consumer.subscribe(Arrays.asList(TOPIC)); while (true){ try { ConsumerRecords records consumer.poll(1000); System.out.println("the numbers of topic:" + records.count()); for (ConsumerRecord record : records) { System.out.println("the data is " + record.value()); } }catch (Exception e){ // TODO: 异常处理 e.printStackTrace(); } } } public static void main(String[] args) { new Consumer().consume(); } }
        来自:
        帮助文档
        分布式消息服务Kafka
        快速入门
        编译运行Demo Java工程
      • 磁盘水位处理
        操作步骤 磁盘自动扩容 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列,目标实例行点击“管理”按钮。 4. 点击“智能运维”、“弹性伸缩”菜单进入磁盘水位处理页面。 5. 在磁盘水位处理页面开启磁盘自动扩容。 6. 点击“配置”按钮,可调整配置参数。 动态策略:当磁盘使用量达到指定比例后,系统自动扩容磁盘指定比例的容量,单节点最低扩容100GB。 最高磁盘:实例磁盘总容量扩容到指定值后不再扩容。 7. 点击“确定”按钮保存配置。 8. 点击调整记录列的“查看”按钮跳转至任务列表查看磁盘自动扩容调整记录。 动态消息保留策略 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列,目标实例行点击“管理”按钮。 4. 点击“智能运维”、“弹性伸缩”菜单进入磁盘水位处理页面。 5. 在磁盘水位处理页面开启动态消息保留策略。 6. 点击“配置”按钮,可调整配置参数。 动态策略:当磁盘使用量达到指定比例后,系统自动调整主题的消息保留时长,删除指定比例的最早消息数据。 保底时长:主题消息的最低保留时长,当某个主题的保留时长调整到该值后,该主题不会再被调整。 7. 点击“确定”按钮保存配置。 8. 点击调整记录列的“查看”按钮跳转至任务列表查看动态消息保留记录。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        智能运维
        弹性伸缩
        磁盘水位处理
      • 回收站
        分布式消息服务Kafka实例回收站可展示到期、已退订的实例,您可以在回收站对这些实例执行恢复、彻底销毁等操作。 说明 回收站功能目前为白名单特性,如需要使用该特性,请联系技术支持开通后使用。 注意事项 根据付费方式的不同,当实例到期或欠费后,各时间节点对应的影响有所不同。更多信息,请参见续费、到期与欠费。 一旦实例到达被彻底销毁的时间点或者执行销毁实例操作后,实例中的数据将被彻底销毁且无法找回。 操作步骤 1. 登录管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在左侧菜单导航栏,单击【回收站】。 4. 在回收站的实例列表中,根据业务需求执行目标实例操作列中对应的操作: 操作 说明 恢复 跳转到恢复实例页面,用户续订后,完整恢复退订前所有数据,按所选续订时长从恢复时间起自动顺延实例到期时间。 销毁 彻底删除实例及其数据备份。 ⚠️注意:执行该操作后,实例的数据将被彻底删除且无法找回,请谨慎操作。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        实例管理
        回收站
      • 查看实例后台任务
        本文主要介绍查看实例后台任务。 . 对实例的一些操作,如修改公网访问开关、修改容量阈值策略等,会启动一个后台任务,您可以在后台任务页,查看该操作的状态等信息,同时可通过删除操作,清理任务信息。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例的“基本信息”页签。 步骤 5 单击“后台任务管理”页签,进入后台任务管理页面。 界面显示任务列表。 步骤 6 在右上角单击系统默认时间,选择开始时间和结束时间,单击“确定”,界面显示相应时间段内启动的任务。 在后台任务管理页面,您还可以执行以下操作: 单击,刷新任务状态。 单击“删除”,弹出“删除任务记录”对话框,单击“是”,清理任务信息。 说明 您只能在任务已经执行完成,即任务状态为成功或者失败时,才能执行删除操作。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        实例管理
        查看实例后台任务
      • 步骤一:准备环境
        本文主要介绍步骤一:准备环境。 虚拟私有云 虚拟私有云(Virtual Private Cloud,以下简称VPC)为Kafka实例提供一个隔离的、用户自主配置和管理的虚拟网络环境。 步骤 1 在创建Kafka实例前,确保已存在可用的虚拟私有云和子网。 创建方法,请参考《虚拟私有云用户指南》的“创建虚拟私有云和子网”。如果您已有虚拟私有云和子网,可重复使用,不需要多次创建。 在创建VPC和子网时应注意如下要求: 创建的VPC与使用的Kafka服务应在相同的区域。 创建VPC和子网时,配置参数建议使用默认配置。 步骤 2 在创建Kafka实例前,确保已存在可用的安全组。 创建方法,请参考《虚拟私有云用户指南》的“创建安全组”。如果您已有安全组,可重复使用,不需要多次创建。 在创建安全组时应注意如下要求: 创建安全组时,“模板”选择“自定义”。 使用Kafka实例必须添加下表所示安全组规则,其他规则请根据实际需要添加。 表 安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9094 0.0.0.0/0 通过公网访问Kafka实例(关闭SSL加密)。 入方向 TCP 9092 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例(关闭SSL加密)。 入方向 TCP 9095 0.0.0.0/0 通过公网访问Kafka实例(开启SSL加密)。 入方向 TCP 9093 0.0.0.0/0 使用内网通过同一个VPC访问Kafka实例(开启SSL加密)。 入方向 TCP 9999 0.0.0.0/0 访问Kafka Manager。 入方向 TCP 9011 0.0.0.0/0 使用DNAT访问Kafka实例(开启SSL加密和关闭SSL加密都适用)。 说明 安全组创建后,系统默认添加入方向“允许安全组内的弹性云主机彼此通信”规则和出方向“放通全部流量”规则。此时使用内网通过同一个VPC访问Kafka实例,无需添加上表的规则。
        来自:
        帮助文档
        分布式消息服务Kafka
        快速入门
        步骤一:准备环境
      • APM常用标签
        字段名 类型 参数说明 例子 messaging.system string 消息系统 kafka messaging.destination string 消息目的 myTopic messaging.operation string 消息操作 publish
        来自:
        帮助文档
        应用性能监控 APM
        用户指南
        调用链查询
        APM常用标签
      • 事件内容转换
        示例三:转换时变量为JSON形式 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量: plaintext { "data": "$.data" } 模板: plaintext { "value": ${data} } plaintext { "value": { "key": "test2", "value": "test1" } } 示例四:转换时变量进行JSON转义 若希望转换的字符串保持JSON字符串格式,不破坏原有JSON的格式,可使用jsonEscape函数,如下所示: 转换前的事件 转换类型 转换后的事件 plaintext { "id": "f36b49b668914b59b11cbf689xxxx712", "source": "ctyun:kafka", "type": "ctyun:kafka:Topic:Message", "specversion": "1.0", "datacontentype": "application/json;charsetutf8", "subject": "ctyun:kafka:75dcxx1eb5:topic:source1", "time": "20241203T09:48:00.696Z", "data": { "key": "test2", "value": "test1" } } 模板 变量: plaintext { "data": "$.data" } 模板: plaintext { "value": "${jsonEscape(data)}" } plaintext { "value": "{"key": "test2","value": "test1"}" } 空 当转换类型为空时,事件总线EventBridge将事件路由到事件目标时,对应的属性为空。如希望分布式消息服务Kafka事件目标的Key、分布式消息服务RocketMQ事件目标的Tags为空时,可以将对应属性设置为空。
        来自:
        帮助文档
        事件总线
        用户指南
        事件总线
        事件规则
        事件内容转换
      • 连接和查看Kafka Manager
        本文主要介绍 连接和查看Kafka Manager。 Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 前提条件 已配置如下表所示安全组。 表安全组规则 方向 协议 端口 源地址 说明 入方向 TCP 9999 0.0.0.0/0 访问Kafka Manager。 登录Kafka Manager 步骤 1 (可选)创建一台与Kafka实例相同VPC和相同安全组的Windows服务器,详细步骤请参考《弹性云主机用户指南》的“创建弹性主机”章节。 如果是已经开启了公网访问,该步骤为可选,在本地浏览器中即可访问,不需要单独的Windows弹性云主机。 步骤 2 在实例详情信息页面,获取Kafka Manager地址。 未开启公网访问时,Kafka Manager地址为“Manager内网访问地址”。 图 Kafka Manager内网访问地址 已开启公网访问时,Kafka Manager地址为“Manager公网访问地址”。 图 Kafka Manager公网访问地址 步骤 3 在浏览器中输入Kafka Manager的地址,进入Kafka Manager登录页面。 如果是开启了公网访问,在本地浏览器输入Kafka Manager地址访问;如果没有开启公网访问,需要登录步骤1的弹性云主机,然后在浏览器输入Kafka Manager地址访问。 步骤 4 输入创建实例时设置的Kafka Manager用户名和密码,即可管理Kafka集群。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        连接Kafka实例
        连接和查看Kafka Manager
      • 开通方式
        本章节介绍专属云分布式缓存服务Redis版的开通方式。 专属云分布式缓存服务的开通方法及流程: 1、开通专属云分布式缓存服务需首先开通专属云服务,请确保您已开通天翼云的专属云服务; 2、天翼云网门户首页上部,在“产品 > 基础云网产品 > 专属云”中,单击“专属云分布式缓存”; 3、在产品详情页面中,单击“申请开通”,在申请页面查看申请流程。请与您的专属客户经理确定您的开通需求,如果没有专属客户经理,可拨打天翼云客服电话4008109889咨询;
        来自:
        帮助文档
        分布式缓存服务Redis版
        计费说明
        专属云计费说明
        开通方式
      • 分布式消息产品选型
        介绍分布式消息产品选型对比项。 特性 Kafka RabbitMQ RocketMQ 功能 支持功能较少,不支持延迟发送,消息重试等功能 功能丰富,支持多个队列种类(优先级队列、延迟队列、死信队列镜像队列等),提供丰富的策略分配 功能完善,支持事务消息、定时消息、事务消息等 单机吞吐量 十万级 万级 几万级 稳定性 队列/分区多时性能不稳定 消息堆积时,性能不稳定 队列较多、消息堆积时性能保持稳定 可用性 非常高(分布式)具有主备故障自动切换 较高,基于主从架构实现高可用性 非常高(分布式)具有主备故障自动切换 选型建议 性能要求高,数据量大,适合产生大量数据的互联网服务的数据收集业务,如日志采集处理、需对接大数据应用等,kafka是首选 数据量少,吞吐量需求不大;数据可靠性要求较高,对功能丰富性极高 可靠性要求很高且性能要求较高的场景以及业务削峰场景,如电商、订单处理等
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        分布式消息产品选型
      • 【重要】默认安全组策略优化调整
        为了进一步提升云服务的安全性,加强实例访问的默认保护机制,对新创建Kafka实例的默认安全组策略进行优化调整。 调整内容 自本公告发布之日起,新开通Kafka实例使用的安全组未配置vpc内入方向安全组规则,将默认禁止同VPC内访问Kafka实例服务端口。此变更旨在遵循最小权限安全原则,降低因配置疏忽导致的安全风险。 影响说明 若您使用的安全组未进行额外配置,新建的实例将无法被同VPC内的云主机访问。 应对措施 如需恢复VPC内访问,请您手动配置安全组规则,具体操作如下: 在安全组入方向规则中添加以下策略: 授权策略:允许。 协议类型:TCP。 端口范围:Kafka实例服务端口。 源地址:您的VPC网段(如:192.168.0.0/16)。 配置完成后,同VPC内的云主机即可正常访问Kafka实例服务。 建议 为保障业务安全,建议您根据实际需求精确设置访问源IP或网段,避免开放不必要的访问权限。 此次调整仅影响新创建的实例,已有实例的访问策略保持不变,不受此次调整影响。感谢您对云服务安全的支持与理解。如有疑问,请联系技术支持。 特此公告。
        来自:
      • 消息堆积最佳实践
        方案概述 Kafka将Topic划分为多个分区,消息被存储在不同的分区中。在同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不足(消费者并发低、消息处理时间长),导致消费效率低于生产效率。 消费者异常(如消费者故障、消费者网络异常等)导致无法消费消息。 Topic分区设置不合理(leader副本都集中在部分Broker中、分区数太少),或新增分区无消费者消费。 Topic频繁重平衡导致性能下降,消费效率降低。 实施步骤 从消息堆积的原因看,消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),建议消费者数量和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 > 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。(在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。) 服务端 合理设置Topic的分区数,在不影响业务处理效率的情况下,调大Topic的分区数量。 当服务端出现消息堆积时,对生产者进行熔断,或将生产者的消息转发到其他Topic。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        消息堆积最佳实践
      • 修改Topic分区数
        本文主要介绍修改Topic分区数。 说明 修改分区数,不会影响业务。 修改Topic分区数的方法如下: 方法1:在控制台修改 方法2:在Kafka Manager上修改 方式3:在Kafka客户端上修改 方法1:在控制台修改 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 选择“Topic管理”页签,显示已创建的Topic详情。 步骤 6 通过以下任意一种方法,修改Topic分区数。 勾选Topic名称左侧的方框,可选一个或多个,单击信息栏左上侧的“编辑Topic”。 在待修改分区数的Topic所在行,单击“编辑”。 步骤 7 在“编辑Topic”对话框中,输入分区数,单击“确定”。 说明 分区数只支持增加,不支持减少。 出于性能考虑,Kafka控制台限定单个Topic的分区数上限为100。 所有Topic分区数总和不能超过实例允许的分区上限。 方法2:在Kafka Manager上修改 步骤 1 登录Kafka Manager。 步骤 2 在Kafka Manager中,单击“Topic > List”,进入Topic列表界面。 步骤 3 单击Topic名称,进入Topic详情界面。 步骤 4 单击“Add Partitions”,进入增加分区界面。 图 Topic详情界面 步骤 5 输入分区数,单击“Add Partitions”。 图 增加分区数量 显示“Done”,表示分区增加成功。 图分区增加成功 说明 分区数只支持增加,不支持减少。 所有Topic分区数总和不能超过实例允许的分区上限。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Topic管理
        修改Topic分区数
      • 将MySQL同步到Kafka
        参数 描述 同步Topic策略 同步Topic策略,可选择 集中投递到一个Topic:适合源库业务量不大的场景。 自动生成Topic名字:适合每张表数据量都较大的场景,按每一张库表来确定一个Topic。 Topic 选择目标端需要同步到的Topic,同步Topic策略选择集中投递到一个Topic时可见。 Topic名字格式 Topic名字格式,同步Topic策略选择自动生成Topic名字时可见。 Topic名字格式支持database和tablename两个变量,其他字符都当做常量。分别用$database$代替数据库名,$tablename$代替表名。 例如:配置成$database$$tablename$时,如果数据库名称为db1,表名为tab1,则Topic名字为db1tab1。如果是DDL语句,$tablename$为空,则Topic名字为db1。 由于kafka的机制,Topic名字格式不能以"" , "."开头,或以".internal","internal" 结尾,这些命名格式的Topic会被当做为kafka的内部Topic,业务无法使用。 同步到kafka partition策略 同步到kafka partition策略。 按库名+表名的hash值投递到不同Partition:适用于单表的查询场景,可以提高单表读写性能,推荐使用此选项。 全部投递到Partition 0:适用于有事务要求的场景,写入性能比较差,如果没有强事务要求,不推荐使用此选项。 按表的主键值hash值投递到不同的Partion:适用于一个表一个Topic的场景,避免该表都写到同一个分区,消费者可以并行从各分区获取数据。 投送到kafka的数据格式 选择MySQL投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 JSON:为Json消息格式,方便解释格式,但需要占用更多的空间。 JSONC:一种能够兼容多个批量,流式计算框架的数据格式。 详细格式可参考 Kafka消息格式。 同步对象 同步对象支持表级同步、库级同步,您可以根据业务场景选择对应的数据进行同步。 选择对象的时候支持搜索,以便您快速选择需要的数据库对象。 在同步对象右侧已选对象框中,可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射,具体操作可参考对象名映射。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        自建到自建
        将MySQL同步到Kafka
      • 如何配置客户端参数?
        本节介绍分布式消息服务Kafka客户端参数配置 根据实际业务场景,客户端参数配置适当的值,客户端参数列表及说明如下所示: 表1.生产者客户端 参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔,建议设置为1000。单位:毫秒。 acks 发送消息的持久化机制。为了提升发送性能, 建议设置为acks1。acks0:无需服务端的Response,性能较高、丢数据风险较大。acks1:服务端主节点写成功即返回Response,性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall:服务端主节点写成功且备节点同步成功才返回Response,性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时,就会触发一次网络请求,然后Producer客户端把消息批量发往服务器。如果batch.size设置过小,有可能影响发送性能和稳定性。建议保持默认值16384。单位:字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间,Producer客户端就会忽略batch.size的限制,立即把消息发往服务器。建议根据业务场景, 将linger.ms设置在100~1000之间。单位:毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略,可提升发送性能。发送客户端2.4及以上版本,默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小,则有可能导致申请内存耗时过长,从而影响发送性能,甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位:字节。 表2.消费者客户端参数 参数 说明 fetch.min.bytes 消费者从服务端获取数据的最小字节数。设置该参数时请尽量评估消息发送端的消息量,若设置过大可能会导致消费端延迟增大,过小可能会导致消费端频繁拉取消息。单位:字节。 fetch.max.wait.ms 服务端等待的最大时间。单位:毫秒。如果使用Local存储引擎,配置了fetch.min.bytes参数,服务器会等待足够的数据才会返回。超过此时间即使没有足够数据也会返回。如果是云存储引擎,一旦有新数据发送进来, 服务器就会结束等待,不需要等待fetch.min.bytes的值。 max.partion.fetch.bytes 每个分区返回的最大字节数。单位:字节。 session.timeout.ms 消费端发送心跳的时间间隔,如果在心跳时间间隔内没有发送心跳,则服务端会认为消费者死亡,从而触发Rebalance,Rebalance期间客户端将会停止消费数据等待Rebalance完成。建议将此参数设置为3000060000。单位:毫秒。默认有效值:6000300000。 max.poll.records 每次Poll获取的最大消息数量,若此值设置过大则需要尽快处理业务逻辑,避免处理过慢影响下一次Poll数据,从而导致在session.timeout.ms时间内没有发送心跳引起Rebalance。建议该值小于 的值。重要 在Java Client 0.10.1及其以上版本有单独的线程发送心跳,小于此版本或者其他语言的客户端都需考虑处理数据时间和发送心跳的间隔,防止频繁Rebalance影响正常消费。 max.poll.interval.ms 最大的Poll间隔时间,仅在Java Client 0.10.1及其以上版本需配置该参数。如果在间隔时间内消费者没有发送Poll请求,即使在session.timeout.ms参数设置的时间内发送了心跳。服务端也会认为消费者死亡,从而触发Rebalance。因此需注意此值需要合理设置,建议该值大于 的值。通常使用默认值即可。单位:毫秒。默认值:300000。 enable.auto.commit 是否采用自动提交位点机制。true:默认采用自动提交机制。false:不采用自动提交机制。默认值:true。 auto.commit.interval.ms 自动提交位点时间间隔。默认值为1000,单位:毫秒。 auto.offset.reset 消费位点重置策略。latest:从最大位点开始消费。earliest:从最小位点开始消费。none:不做任何操作,即不重置。说明建议设置成latest,而不要设置成earliest,避免因位点非法时从头开始消费,从而造成大量重复。如果是您自己管理位点,可以设置为none。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        操作类
        如何配置客户端参数?
      • 集群管理
        本章节主要介绍翼MapReduce服务的集群管理功能。 集群生命周期管理 翼MR支持集群的生命周期管理包括创建集群和删除集群。 创建集群:支持用户定制集群的类型,组件范围,各类型的节点数、虚拟机规格、可用区、VPC网络、认证信息,翼MR将为用户自动创建一个符合配置的集群,全程无需用户参与;同时支持用户在集群中运行自定义内容;支持快速创建多应用场景集群,比如创建Hadoop分析集群、HBase集群、Kafka集群。大数据平台同时支持部署异构集群,在集群中存在不同规格的虚机,允许在CPU类型,硬盘容量,硬盘类型,内存大小灵活组合。在集群中支持多种虚机规格混合使用。 删除集群:当按需计费的集群不再需要时(包括集群中的数据和配置),用户可以选择删除集群,翼MR会将集群相关的资源全部删除。 创建集群 通过在翼MR服务管理面,客户可以按需创建翼MR集群,通过选择集群所建的区域及使用的云资源规格,一键式创建适合企业业务的翼MR集群。翼MR服务会根据用户选择的集群类型、版本和节点规格,帮助客户自动完成企业级大数据平台的安装部署和参数调优。 翼MR服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对),所创建的翼MR集群资源完全归客户所用。同时翼MR支持在最小可在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。 翼MR集群类型包括分析集群、流式集群和混合集群。 分析集群:用来做离线数据分析,提供的是Hadoop体系的组件。 流式集群:用来做流处理任务,提供的是流式处理组件。 混合集群:既可以用来做离线数据分析,又可以用来做流处理任务,提供的是Hadoop体系的组件和流式处理组件。 自定义:根据业务需求,可以灵活搭配所需组件(翼MR 3.x及后续版本)。 翼MR集群节点类型包括Master节点、Core节点和Task节点。 Master节点:集群中的管理节点,分布式系统的Master进程和Manager以及数据库均部署在该节点;该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限,MRS服务支持将Master节点规格提高,以支持更大集群的管理。 Core节点:支持存储和计算两种目标的节点,可扩容、缩容。因承载的数据存储,因此在缩容时,为保证数据不丢失,有较多限制,无法进行弹性伸缩。 Task节点:仅用于计算的节点,可扩容、缩容。因只承载计算任务,因此可以进行弹性伸缩。 翼MR创建集群方式支持自定义创建集群和快速创建集群两种。 自定义创建集群:自定义创建可以灵活地选择计费模式、配置项,针对不同的应用场景,可以选择不同规格的弹性云服务器,全方位贴合您的业务诉求。 快速创建集群:用户可以根据应用场景,快速创建对应配置的集群,提高了配置效率,更加方便快捷。当前支持快速创建Hadoop分析集群、HBase集群、Kafka集群。 − Hadoop分析集群:Hadoop分析集群完全使用开源Hadoop生态,采用YARN管理集群资源,提供Hive、Spark离线大规模分布式数据存储和计算,SparkStreaming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框等Hadoop生态圈的组件,进行海量数据分析与查询。 − HBase集群:HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能卓越、可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。 − Kafka集群:Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量,可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景,实现高效的流式数据采集,实时数据处理存储等。
        来自:
        帮助文档
        翼MapReduce
        产品简介
        功能特性
        集群管理
      • 云审计服务支持的RabbitMQ操作列表
        本页面主要介绍分布式消息服务RabbitMQ对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务,云审计服务提供对各种云资源操作的记录和查询功能,用于支撑合规审计、安全分析、操作追踪和问题定位等场景,同时提供事件跟踪功能,将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下: ● 记录审计日志:支持用户通过管理控制台或API接口发起的操作,以及各服务内部自触发的操作。 ● 审计日志查询:支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费,包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件:7天。 ● 用户操作后多久可以通过云审计查询到数据:5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中,选择事件来源为“容器与中间件”,资源类型选择“分布式消息服务Kafka”,上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情,可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        云审计服务支持的关键操作
        云审计服务支持的RabbitMQ操作列表
      • 云审计服务支持的MQTT操作列表
        本页面主要介绍分布式消息服务MQTT对接的云审计服务使用和查看方法。 操作场景 本服务现已对接天翼云云审计服务,云审计服务提供对各种云资源操作的记录和查询功能,用于支撑合规审计、安全分析、操作追踪和问题定位等场景,同时提供事件跟踪功能,将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下: ● 记录审计日志:支持用户通过管理控制台或API接口发起的操作,以及各服务内部自触发的操作。 ● 审计日志查询:支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费,包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件:7天。 ● 用户操作后多久可以通过云审计查询到数据:5分钟。 ● 其它限制请参考使用限制云审计。 操作步骤 1. 开通云审计服务。 参见开通云审计服务云审计。 2. 查看云审计事件。 参见查看审计事件云审计。 3. 在事件列表中,选择事件来源为“容器与中间件”,资源类型选择“分布式消息服务Kafka”,上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情,可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考用户指南、常见问题。
        来自:
        帮助文档
        分布式消息服务MQTT
        用户指南
        云审计服务支持的关键操作
        云审计服务支持的MQTT操作列表
      • 管理实例标签
        本文主要介绍管理实例标签。 标签是Kafka实例的标识,为Kafka实例添加标签,可以方便用户识别和管理拥有的Kafka实例资源。 您可以在创建Kafka实例时添加标签,也可以在Kafka实例创建完成后,在“标签”页面添加标签,您最多可以给实例添加20个标签。另外,您还可以进行修改和删除标签。 标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如下表所示。 表 标签命名规则 参数名称 规则 标签键 不能为空。 对于同一个实例,Key值唯一。 长度不超过36个字符。 不能包含“”,“”,“ ”,“”,“,”,“ 标签值 不能为空。 长度不超过43个字符。 不能包含“”,“”,“ ”,“”,“,”,“ 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行,单击实例名称,进入实例详情页面。 步骤 5 单击“标签”页签,进入标签管理页面。 界面显示该实例的标签列表。 步骤 6 您可以根据实际需要,执行以下操作: 添加标签 单击“创建/删除标签”,弹出“创建/删除标签”对话框。 在“标签键”和“标签值”中,输入标签的键/值,单击“添加”。如果您已经预定义了标签,在“标签键”和“标签值”中选择已经定义的标签键/值,单击“添加”。 单击“确定”,成功为实例添加标签。 删除标签 通过以下任意一种方法,删除标签。 在待删除的标签所在行,单击“删除”,弹出“删除标签”对话框。单击“是”,完成标签的删除。 单击“创建/删除标签”,弹出“创建/删除标签”对话框。在待删除的标签后,单击,然后单击“确定”,完成标签的删除。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        实例管理
        管理实例标签
      • 自定义自建Apache Kafka事件源
        参数 说明 示例 名称 事件源名。 source1 接入点 Apache Kafka集群broker接入点,由IP与端口号拼接而成,以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 Group ID 填入当前Apache Kafka集群中已创建的Group,请不要与已有业务的Group混用,以免影响已有的消息收发。 group1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填,选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填,选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名 :填写SASL用户名 密码 :填写SASL密码 SASL鉴权方式 :可选PLAIN和SCRAMSHA512 PLAINTEXT 消费位点 消费消息的位点。 最新位点 最早位点 最新位点 数据格式 消息value数据编码格式。 JSON Text Binary JSON
        来自:
        帮助文档
        事件总线
        用户指南
        事件总线
        事件源
        自定义事件源类型
        自定义自建Apache Kafka事件源
      • 产品定义
        本节介绍了专属云(存储独享型)的产品定义。 专属云(存储独享型)(CTDSS,Dedicated Distributed Storage Service)为您提供独享的物理存储资源,通过数据冗余和缓存加速等多项技术,提供高可用性和持久性,以及稳定的低时延性能;可灵活对接专属云(计算独享型)等多种不同类型的计算服务。 用户需要申请专属云(存储独享型)服务后才予以开通权限,请联系专属客户经理提交开通申请,或者拨打天翼云客服电话4008109889。 功能特点: 1、 规格丰富 高IO:高性能、高扩展、高可靠,适用于性能相对较高,读写速率要求高,有实时数据存储需求的应用场景。 超高IO:低时延、高性能,适用于低时延,高读写速率要求,数据密集型应用场景。 2、弹性扩展 按需扩容:可根据业务需求扩容存储池。 性能线性增长:支持在线扩容DSS下的磁盘,并且性能线性增长,满足业务需求。 3、安全可靠 三副本冗余:数据持久性高达99.9999999%。 数据加密:系统盘和数据盘均支持数据加密,保护数据安全。 4、备份恢复 云备份服务:可为专属分布式存储下的磁盘创建备份,利用备份数据回滚磁盘,最大限度保障您数据的安全性和正确性,确保业务安全。 专属云(存储独享型)与云硬盘的区别 服务名称 总体介绍 存储类别 典型应用场景 性能规格 专属云(存储独享型) 专属云(存储独享型)为用户提供独享的物理存储资源,存储池资源物理隔离,数据持久性高达99.9999999%,可同时对接多种不同类型的计算服务,如弹性云主机、物理机等,功能丰富、安全可靠。 存储池物理隔离,资源独享,专属存储。 对接专属云中的弹性云主机、物理机等计算服务 对接非专属云中的弹性云主机、物理机等计算服务 混合负载,专属存储可同时支持HPC、数据库、Email、OA办公、Web等多个应用混合部署 高性能计算 OLAP应用 高IO:起步规格13.6TB,扩容步长13.6TB,最大可扩容至435.2TB,最大IOPS为1500 IOPS/TB。 超高IO:起步规格7.225TB,扩容步长7.225TB,最大可扩容至289TB,最大IOPS为8000 IOPS/TB。 云硬盘 云硬盘可以为云主机提供高可靠、高性能、规格丰富并且可弹性扩展的块存储服务。 共享存储池资源 企业日常办公应用 开发测试 企业应用,例如SAP、Microsoft Exchange和Microsoft SharePoint等 分布式文件系统 各类数据库,例如:MongoDB、Oracle、SQL Server、MySQL和PostgreSQL等 云硬盘支持按需扩容,最小扩容步长为1GB,单个磁盘可由10GB扩展至32TB。 DSS与EVS的区别
        来自:
        帮助文档
        专属云(存储独享型)
        产品介绍
        产品定义
      • 消息过滤
        Kafka 自身没有消息过滤的语义。实践中可以采取以下两个办法: 如果过滤的种类不多,可以采取多个 Topic 的方式达到过滤的目的; 如果过滤的种类多,则最好在客户端业务层面自行过滤。 实践中请根据业务具体情况进行选择,也可以综合运用上面两种办法。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        消费者实践
        消息过滤
      • 产品优势
        本章节介绍了分布式消息服务RocketMQ的产品优势、以及上云的好处。 分布式消息服务RocketMQ具有如下产品优势,旨在打造一个即开即用、全托管、低延迟、弹性高可靠、动态扩展、便捷管理和多样功能的消息队列。 即开即用 简单几步即可在云上构建自己专属的消息服务,RocketMQ实例创建完成后,使用实例提供的访问地址即可快速接入。兼容开源RocketMQ,业务代码无需改造,即可上云。 全托管服务 分布式消息服务RocketMQ提供自动部署与完备的运维系统和售后服务,提供包括监控告警在内的多种运维手段,业务无需过多关注分布式消息服务RocketMQ的部署与运维工作,可以专注于自身业务的开发。 低延迟 基于天翼云网络部署,在内网访问可达微秒级时延。 弹性高可靠 基于Raft协议实现集群内部节点的管理,及时发现故障节点并进行流量迁移,保证业务的连续性可靠。 动态扩展 提供业务集群动态扩容的能力,根据业务需要动态扩容集群规模。 便捷管理 提供监控告警、消息追踪和链路诊断等多样的监控定位手段,方便问题定位和日常维护。 多样功能 提供顺序延迟、定时、重投、死信、过滤和事务消息等多样的业务功能,适配多样化的业务场景。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        产品优势
      • 1
      • ...
      • 7
      • 8
      • 9
      • 10
      • 11
      • ...
      • 641
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      天翼云新春焕新季

      云主机开年特惠28.8元/年,0元秒杀等你来抢!

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      多活容灾服务

      轻量型云主机

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      天翼云CTyunOS系统

      训推服务

      应用托管

      智算一体机

      人脸实名认证

      推荐文档

      文档下载

      运维说明

      产品介绍

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号