爆款云主机低至25.83元/年
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 云聚517 · 好价翼起拼 NEW 爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      专属云分布式消息服务Kafka_相关内容
      • 查看分区状态
        介绍分布式消息服务Kafka查看分区状态功能操作内容。 场景描述 Kafka查看分区状态的场景描述如下: 监控和故障排查:通过查看分区状态,可以了解每个分区的健康状况和数据处理情况。如果某个分区出现延迟或者数据丢失等问题,可以及时发现并进行故障排查和修复。 性能优化:通过查看分区状态,可以了解每个分区的负载情况和数据处理速度。如果某个分区负载过高或者处理速度较慢,可以采取相应的措施进行性能优化,如增加分区数量或者优化消费者的消费能力。 容量规划:通过查看分区状态,可以了解每个分区的数据大小和数据增长趋势。根据分区状态,可以进行容量规划,确保有足够的存储空间来存储数据,并预测未来的数据增长趋势。 数据迁移和重平衡:当需要进行数据迁移或者重平衡时,查看分区状态可以帮助确定合适的迁移方案和平衡策略。通过了解每个分区的状态和负载情况,可以更好地规划和执行数据迁移和重平衡操作。 容错和冗余管理:通过查看分区状态,可以了解每个分区的副本分布情况和数据冗余情况。如果某个分区的副本数量不足或者副本分布不均衡,可以采取相应的措施来提高数据的容错性和冗余能力。 总之,Kafka查看分区状态的场景包括监控和故障排查、性能优化、容量规划、数据迁移和重平衡,以及容错和冗余管理等,以确保系统的稳定性、性能和可靠性。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Topic管理
        查看分区状态
      • 查看磁盘使用量
        本文主要介绍查看磁盘使用量。 本章节指导您在控制台查看每个代理上磁盘的使用量。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例的“基本信息”页签。 步骤 5 在“磁盘存储统计”页签,查看磁盘的使用量。 图 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx 个、使用量达到xx GB和使用占比达 xx %。 在页面右上角,单击“查看监控数据”,跳转到云监控服务的监控指标页面。在监控指标页面,您可以查看Kafka实例的各项监控指标。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        实例管理
        查看磁盘使用量
      • 批量修改Topic配置(1)
        修改单个Topic配置 1. 登录Kafka控制台。 2. 在管理控制台左上角单击,选择Kafka实例所在的区域。 3. 单击Kafka实例的名称,进入实例详情页面。 4. 在左侧导航栏选择“实例管理 > Topic管理”,进入Topic列表页面。 5. 在待修改配置的Topic所在行,单击“编辑”。 6. 在“编辑Topic”对话框中,修改Topic的配置,单击“确定”。 设置成功后,在Topic列表页面,查看修改后的配置。 批量修改Topic配置 1. 登录Kafka控制台。 2. 在管理控制台左上角单击,选择Kafka实例所在的区域。 3. 单击Kafka实例的名称,进入实例详情页面。 4. 在左侧导航栏选择“实例管理 > Topic管理”,进入Topic列表页面。 5. 勾选待修改配置的Topic,单击信息栏左上侧的“批量编辑Topic”,弹出“批量编辑Topic”对话框。 6. 在“批量操作”区域,勾选如表2所示配置。在“批量数据预览”区域,查看修改前和修改后的配置信息。确认无误后,单击“确定”。 图1批量修改Topic配置 表2 Topic配置参数 参数名称 操作说明 同步复制 勾选“同步复制”,并开启或关闭同步复制功能。 同步落盘 勾选“同步落盘”,并开启或关闭同步落盘功能。 消息时间戳类型 勾选“消息时间戳类型”,并在下拉框中选择“CreateTime”/“LogAppendTime”。 批处理消息最大值(字节) 勾选“批处理消息最大值(字节)”,并输入批处理消息最大值。 设置成功后,在Topic列表页面,查看修改后的配置。
        来自:
      • 查看示例代码
        本文主要介绍查看示例代码。 本章节指导您在控制台查看Java、Go和Python生产消费消息的示例代码。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 选择“Topic管理”页签,显示已创建的Topic详情。 步骤 6 单击“查看示例代码”,弹出“生产消费示例代码”对话框。 查看Java、Go和Python生产消费消息的示例代码。示例代码区分是否开启SASLSSL认证,“接入类型”为“PLAINTEXT”时,表示未开启SASLSSL认证。“接入类型”为“SASLSSL”时,表示已开启SASLSSL认证。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Topic管理
        查看示例代码
      • 连接已开启SASL的Kafka实例
        命令行模式连接实例 以下操作命令以Linux系统为例进行说明。 步骤 1 在客户端所在主机的“/etc/hosts”文件中配置host和IP的映射关系,以便客户端能够快速解析实例的Broker。 其中,IP地址必须为实例连接地址(从前提条件获取的连接地址),host为每个实例主机的名称(主机的名称由您自行设置,但不能重复)。 例如: 10.154.48.120 server01 10.154.48.121 server02 10.154.48.122 server03 步骤 2 解压Kafka命令行工具。 进入文件压缩包所在目录,然后执行以下命令解压文件。 tar zxf [kafkatar] 其中, [kafkatar] 表示命令行工具的压缩包名称。 例如: tar zxf kafka2.122.7.2.tgz 步骤 3 根据SASL认证机制,修改Kafka命令行工具配置文件。 1、PLAIN机制: 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件,并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.plain.PlainLoginModule required username"" password""; sasl.mechanismPLAINsecurity.protocolSASLSSL ssl.truststore.location{ssltruststorepath} ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明: username和password为创建Kafka实例过程中开启SASLSSL时填入的用户名和密码,或者创建SASLSSL用户时设置的用户名和密码。 ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码,不可更改,需要保持为dms@kafka 。 ssl.endpoint.identification.algorithm为证书域名校验开关,为空则表示关闭。这里需要 保持关闭状态,必须设置为空 。 2、SCRAMSHA512机制: 在Kafka命令行工具的“/config”目录中找到“consumer.properties”和“producer.properties”文件,并分别在文件中增加如下内容。 sasl.jaas.configorg.apache.kafka.common.security.scram.ScramLoginModule required username"" password""; sasl.mechanismSCRAMSHA512 security.protocolSASLSSL ssl.truststore.location{ssltruststorepath} ssl.truststore.passworddms@kafka ssl.endpoint.identification.algorithm 参数说明: username和password为创建Kafka实例过程中开启SASLSSL时填入的用户名和密码,或者创建SASLSSL用户时设置的用户名和密码。 ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码,不可更改,需要保持为dms@kafka 。 ssl.endpoint.identification.algorithm为证书域名校验开关,为空则表示关闭。这里需要 保持关闭状态,必须设置为空 。 步骤 4 进入Kafka命令行工具的“/bin”目录下。 注意,Windows系统下需要进入“/bin/windows”目录下。 步骤 5 执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist {连接地址} topic {Topic名称} producer.config ../config/producer.properties 参数说明如下: 连接地址:从前提条件获取的连接地址,如果是公网访问,请使用“公网连接地址”,如果是VPC内访问,请使用“内网连接地址”,请根据实际情况选择。 Topic名称:Kafka实例下创建的Topic名称。如果Kafka实例开启了自动创建Topic功能,此参数值可以填写已创建的Topic名称,也可以填写未创建的Topic名称。 本文以公网访问为例,Kafka实例连接地址为“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”。 执行完命令后,输入需要生产的消息内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin]
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        连接Kafka实例
        连接已开启SASL的Kafka实例
      • 重启Kafka Manager
        本文主要介绍 重启Kafka Manager。 操作场景 当Kafka Manager无法登录或者无法使用时,例如下图中的报错,可以通过重启Kafka Manager,使Kafka Manager恢复正常。 图 报错信息 说明 重启Kafka Manager不会影响业务。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法,重启Kafka Manager。 在待重启Manager的Kafka实例所在行,单击“更多 > 重启Manager”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 重启Manager”。 步骤 5 单击“确定”。 您可以在实例的“后台任务管理”页面,查看当前任务的操作进度。任务状态为“成功”,表示重启成功。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        实例管理
        重启Kafka Manager
      • Go
        消费消息 发送以下命令消费消息。 go run modvendor consumer/consumer.go 消费消息示例代码如下: package main import ( "encoding/json" "fmt" "github.com/confluentinc/confluentkafkago/kafka" "os" "path/filepath" ) type KafkaConfig struct { Topic string json:"topic" Topic2 string json:"topic2" GroupId string json:"group.id" BootstrapServers string json:"bootstrap.servers" SecurityProtocol string json:"security.protocol" } // config should be a pointer to structure, if not, panic func loadJsonConfig() KafkaConfig { workPath, err : os.Getwd() if err ! nil { panic(err) } configPath : filepath.Join(workPath, "conf") fullPath : filepath.Join(configPath, "kafka.json") file, err : os.Open(fullPath); if (err ! nil) { msg : fmt.Sprintf("Can not load config at %s. Error: %v", fullPath, err) panic(msg) } defer file.Close() decoder : json.NewDecoder(file) var config &KafkaConfig{} err decoder.Decode(config); if (err ! nil) { msg : fmt.Sprintf("Decode json fail for config file at %s. Error: %v", fullPath, err) panic(msg) } json.Marshal(config) return config } func doInitConsumer(cfg KafkaConfig) kafka.Consumer { fmt.Print("init kafka consumer, it may take a few seconds to init the connectionn") //common arguments var kafkaconf &kafka.ConfigMap{ "api.version.request": "true", "auto.offset.reset": "latest", "heartbeat.interval.ms": 3000, "session.timeout.ms": 30000, "max.poll.interval.ms": 120000, "fetch.max.bytes": 1024000, "max.partition.fetch.bytes": 256000} kafkaconf.SetKey("bootstrap.servers", cfg.BootstrapServers); kafkaconf.SetKey("group.id", cfg.GroupId) switch cfg.SecurityProtocol { case "PLAINTEXT" : kafkaconf.SetKey("security.protocol", "plaintext"); case "SSL": kafkaconf.SetKey("security.protocol", "ssl"); kafkaconf.SetKey("ssl.ca.location", "/XXX/caRoot.pem") case "SASLSSL": kafkaconf.SetKey("security.protocol", "saslssl"); kafkaconf.SetKey("ssl.ca.location", "/XXX/caRoot.pem"); kafkaconf.SetKey("sasl.username", cfg.SaslUsername); kafkaconf.SetKey("sasl.password", cfg.SaslPassword); kafkaconf.SetKey("sasl.mechanism", cfg.SaslMechanism) case "SASLPLAINTEXT": kafkaconf.SetKey("security.protocol", "saslplaintext"); kafkaconf.SetKey("sasl.username", cfg.SaslUsername); kafkaconf.SetKey("sasl.password", cfg.SaslPassword); kafkaconf.SetKey("sasl.mechanism", cfg.SaslMechanism) default: panic(kafka.NewError(kafka.ErrUnknownProtocol, "unknown protocol", true)) } consumer, err : kafka.NewConsumer(kafkaconf) if err ! nil { panic(err) } fmt.Print("init kafka consumer successn") return consumer; } func main() { // Choose the correct protocol cfg : loadJsonConfig(); consumer : doInitConsumer(cfg) consumer.SubscribeTopics([]string{cfg.Topic, cfg.Topic2}, nil) for { msg, err : consumer.ReadMessage(1) if err nil { fmt.Printf("Message on %s: %sn", msg.TopicPartition, string(msg.Value)) } else { // The client will //automatically try to recover from all errors. fmt.Printf("Consumer error: %v (%v)n", err, msg) } } consumer.Close() }
        来自:
        帮助文档
        分布式消息服务Kafka
        开发指南
        Go
      • 删除用户
        介绍分布式消息服务Kafka删除用户功能操作内容。 场景描述 Kafka删除用户的场景描述如下: 用户离职或不再需要访问权限:当用户离开组织或不再需要访问Kafka集群时,可以删除其用户账户。这可以确保已离职的用户无法再访问和操作Kafka,提高安全性和合规性。 角色调整或合并:在某些情况下,可能需要对用户角色进行调整或合并。如果某个角色不再需要或与其他角色重复,可以删除相关的用户账户和角色,以简化管理和维护。 用户账户过期或失效:如果用户账户的有效期已过或由于某种原因失效,可以删除该用户账户。这有助于清理无效的用户账户,减少安全风险和资源浪费。 安全审计和合规要求:根据安全审计和合规要求,可能需要删除某些用户账户。例如,当用户账户存在安全风险或违反合规规定时,需要及时删除相关账户以保护系统安全和数据隐私。 数据隔离和资源管理:在多租户环境中,当某个租户不再需要使用Kafka集群时,可以删除其相关的用户账户。这有助于释放资源,提高资源利用率和性能。 操作步骤 (1)登录管理控制台。 (2)进入Kafka管理控制台。 (3)在实例列表页在操作列,目标实例行点击“管理”。 (4)点击“用户管理”后进入应用用户管理页面,点击指定用户其右侧的“删除”按钮。 注意事项 Kafka删除用户时需要注意以下事项: 确认用户身份:在删除用户之前,确保要删除的用户的身份是正确的。验证用户的身份可以防止误删除或删除错误的用户账户。 备份和迁移数据:如果用户账户中存在重要的数据或信息,建议在删除用户之前进行数据备份和迁移。这可以确保数据的安全性和完整性,并防止数据的丢失或泄露。 通知相关人员:在删除用户之前,及时通知相关的管理人员或团队成员。这有助于协调和沟通,确保删除用户的操作得到充分的授权和确认。 关注系统性能:删除用户时,要注意对Kafka集群的性能影响。大规模的用户删除操作可能会对系统造成一定的负载和延迟,因此在合适的时间窗口进行删除操作,以减少对业务的影响。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        用户管理
        删除用户
      • SASL_SSL接入报错
        本节介绍分布式消息服务Kafka使用SASLSSL连接常见问题 1.报错示例:java.security.cert.CertPathValidatorException: Algorithm constraints check failed: SHA256withDS 解决途径:排查jdk是否支持SHA256withDS算法,推荐使用oracle jdk1.8.0201版本jdk 2.报错示例:Topic authorization failed for topics 解决途径:排查topic是否授权,如果没有则授予对应权限 3. 报错示例:Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAMSHA512 解决途径:排查连接kafka的用户密码是否正确 4. 报错示例:java.security.cert.CertificateException: No subject alternative names present 解决途径:配置文件需要配置 ssl.endpoint.identification.algorithm 5. 报错示例:Keystore was tampered with, or password was incorrect 解决途径:排查 ssl client密码是否错误或者和证书不匹配,可以从实例详情>接入点信息>查看所有IP和端口信息,界面下载对应证书 6.接入配置示例
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        连接问题
        SASL_SSL接入报错
      • 流控管理
        操作场景 分布式消息服务 Kafka 版支持按主题或用户/客户端来配置限流策略,避免因资源消耗过高而影响全量业务。 前提条件 流控管理仅支持集群版实例。 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列,目标实例行点击“管理”按钮。 4. 点击“智能运维”、“流控管理”菜单进入流控管理页面。 5. 如需配置主题流控 ,在流控配置页卡的下拉框选择“Topic”选项并点击“创建流控”按钮。 6. 在弹窗填入主题名、生产上限速率、消费上限速率,点击“确定”按钮。 Topic:填入需要限流的主题名 速率范围:1MB/s — 1024MB/s 7. 如需配置用户/客户端流控 ,在流控配置页卡的下拉框选择“User/Client”选项并点击“创建流控”按钮。 8. 在弹窗填入用户名、客户端ID、生产上限速率、消费上限速率,点击“确定”按钮。 用户名:填入需要限流的用户名,与客户端ID不能同时为空 客户端ID:填入需要限流的客户端ID,与用户名不能同时为空 速率范围:1MB/s — 1024MB/s
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        智能运维
        流控管理
      • 创建数据订阅任务
        本文为您介绍创建数据订阅任务的操作场景、前提条件和操作步骤。 操作场景 场景一:数据实时分析 使用云监控数据订阅功能,将业务进行异步解耦,在不影响源库业务的情况下,实时同步监控数据(指标、事件)或告警数据到客户自有分析系统中,帮助企业用户进行实时数据分析。 场景二:数据归档存储 使用云监控数据订阅功能,您可将资源监控或告警数据的增量更新数据,实时地推送到归档数据库或数据仓库。 说明 数据订阅功能当前为受限开放,如有需求可以联系客户经理为您开放此功能。 资源池下单个用户最多可创建10个数据订阅任务。 前提条件 注册天翼云账号,并完成实名认证。具体操作,请参见天翼云账号注册流程。 注意 数据订阅功能数据类型支持指标数据、事件数据,订阅方式支持分布式消息服务及API方式。 指标数据订阅支持分布式消息服务(kafka)及remotewriteapi方式。 事件数据订阅支持分布式消息服务(kafka)及apipush方式。(事件订阅入口为:云监控服务>事件监控>事件订阅) 创建订阅任务需提前创建订阅渠道。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击,选择区域,本文我们选择华东1。 3. 依次选择“管理与部署”,单击“云监控”,进入监控概览页面。 4. 单击左侧“数据订阅”菜单,进入数据订阅任务列表。 5. 单击“创建订阅任务”功能,进入数据订阅任务创建二级页面。 6. 创建订阅任务参数配置如下: 模块 参数 参数说明 配置示例 备注 选择订阅对象 服务维度 选择需要订阅数据的服务维度信息,支持多选 云主机云主机 选择订阅对象 监控对象类型 具体实例 选择订阅对象 选择对象 选择资源实例对象 具体实例 定义订阅方式 订阅通道 选择公网/内网 分布式消息服务 定义订阅方式 发送渠道 Kafka Kafka 定义订阅方式 订阅失败缓存时间 输入用户客户端地址 基础信息 订阅任务名称 填写自定义订阅任务名称 testtask 基础信息 描述 填写订阅任务描述信息 说明 关于告警数据订阅全部资源的场景,涉及两个周期: 订阅服务subscription同步订阅配置的周期,预计上线配置2分钟。 数据订阅配置全部资源,也需要周期同步全量的实例资源,预计线上配置3分钟。 因此,考虑极限情况,告警订阅服务在周期1 + 周期2之后产生的告警,订阅服务才能匹配消费到。
        来自:
        帮助文档
        云监控服务
        用户指南
        数据订阅
        创建数据订阅任务
      • 自建Apache Kafka事件源
        事件示例 plaintext { "id": "601f1f756f8c4d97941e5c04f7add896", "specversion": "1.0", "source": "apache:kafka", "type": "kafka:Topic:SendMessage", "subject": "apache:kafka:bb9fdb42056xxxxxx0242ac110002:dab4124510dd4xxxxxxxxx5c6a6db69:topic:streamsource", "datacontenttype": "application/json", "time": "20251030T07:16:07.692257848Z", "data": { "topic": "streamsource", "partition": 0, "offset": 36, "value": "msg17" }, "ctyunaccountid": "dab4124510dd4xxxxxxxxx5c6a6db69", "ctyunregion": "bb9fdb42056xxxxxx0242ac110002" } data字段包含的参数解释如下表所示: 参数 类型 示例值 描述 topic String source1 Topic名称。 offset Integer 1 消费位点。 key String test 消息Key值。 value Object Hello,Kafka! 消息体,默认以JSON格式编码。
        来自:
        帮助文档
        事件总线
        用户指南
        事件流
        事件源
        自建Apache Kafka事件源
      • 连接和查看Kafka Manager
        Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、节点等信息。 前提条件 已正确配置安全组。 登录Kafka Manager 创建一台与Kafka专享实例相同VPC和相同安全组的Windows服务器。 获取Kafka Manager地址。 在实例详情信息页面,获取Kafka Manager的地址。 在浏览器中输入Kafka Manager的地址,进入Kafka Manager登录页面。 输入创建实例时设置的Kafka Manager用户名和密码,即可管理Kafka集群。 查看Kafka Manager 在进入Kafka Manger集群管理页面后,您可以查看Kafka集群的监控、节点等信息。 集群信息页 单击Clusters中的集群列表,即可进入集群信息页。如图所示。 − 图中①区域表示功能导航栏 Cluster: 集群,统计集群列表和集群详情。 Brokers: 节点,统计当前集群中各节点的状态信息。 Topic: 队列,统计当前集群中的kafka队列。 Preferred Replica Election: 强制进行一次队列leader的最优选举(不建议用户操作)。 Reassign Partitions: 进行分区副本的重分配(不建议用户操作)。 Consumers: 统计集群中的消费组状态。 − 图中②区域表示集群信息统计,包含集群的Topic数和集群的节点数。 集群信息页 集群所有节点统计页 单击功能导航栏中的Brokers,即可进入节点统计页。如图54所示。 − 图中①区域节点列表,包含总的字节流入和字节流出。 − 图中②集群监控信息。 所有节点统计页 具体节点统计页 单击id列表中具体的Broker,即可查看对应节点的统计信息。如图55所示。 − 图中①区域表示对应节点总的统计信息,包括队列数、分区数、分区leader数、消息速率占比、写入字节占比以及流出字节占比。 − 图中②区域表示节点监控信息。 具体Broker信息 查看实例的Topic 在导航栏选择Topic,并在下拉列表中选择List。页面如图56所示,展示了队列列表以及分区数等。 列表中以“”开头的队列为内部队列,严禁操作,否则可能导致业务问题。 查看实例的Topic 队列详情页 单击具体的Topic名称,进入如图57所示页面。 − 图中①区域表示队列基本信息,包括副本数(Replication),分区数(Number of Partitions),消息数(Sum of partition offsets)等。 − 图中②区域表示节点与队列分区的对应关系。 − 图中③区域表示该队列的消费组列表。单击消费组名称可进入该消费组的详情页。 − 图中④区域表示队列的配置信息。详情参考kafka队列官方配置文档(
        来自:
        帮助文档
        专属云分布式消息服务Kafka
        用户指南
        连接和查看Kafka Manager
      • 删除消费组
        本文主要介绍删除消费组。 分布式消息服务Kafka支持通过以下两种方式删除消费组,您可以根据实际情况选择任意一种方式。 方法一:在管理控制台删除消费组 方法二:在Kafka客户端使用命令行工具删除消费组(确保Kafka实例版本与命令行工具版本相同) 前提条件 待删除消费组的状态为“EMPTY”。 方法一:在管理控制台删除消费组 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 步骤 6 通过以下任意一种方法,删除消费组。 勾选消费组名称左侧的方框,可选一个或多个,单击信息栏左上侧的“删除消费组”。 在待删除消费组所在行,单击“删除”。 说明 仅在“消费组状态”为“EMPTY”时,支持删除。 消费组包含以下状态: DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARINGREBALANCE:准备开启Rebalance。 COMPLETINGREBALANCE:所有成员加入消费组。 STABLE:消费组内成员可以正常消费。 步骤 7 弹出“删除消费组”对话框,单击“是”,完成消费组的删除。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        消费组管理
        删除消费组
      • 产品规格
        Kafka实例规格参考 kafka.2u4g.cluster,三个代理 Kafka客户端连接数在3000以内,消费组个数在60个以内,业务TPS为100000以内时推荐选用。 kafka.4u8g.cluster,三个代理 Kafka客户端连接数在10000以内,消费组个数在300个以内,业务TPS为300000以内时推荐选用。 kafka.8u16g.cluster,三个代理 Kafka客户端连接数在20000以内,消费组个数在600个以内,业务TPS为600000以内时推荐选用。 kafka.12u24g.cluster,三个代理 Kafka客户端连接数在20000以内,消费组个数在600个以内,业务TPS为900000以内时推荐选用。 kafka.16u32g.cluster,三个代理 Kafka客户端连接数在20000以内,消费组个数在600个以内,业务TPS为1200000以内时推荐选用。 Kafka实例的存储空间估算参考 Kafka实例支持多副本存储,存储空间包含所有副本存储空间总和,您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估以及副本数量选择合适的存储空间。 例如:业务消息体积预估100GB,则磁盘容量最少应为100GB副本数 + 预留磁盘大小100GB。 Kafka实例支持对存储进行扩容,根据业务增长,随时扩容,节约成本。 Kafka实例Topic数量计算 Kafka实例对Topic分区数之和设置了上限,当达到上限之后,用户无法继续创建Topic。 所以,Topic数量和实例分区数上限、每个Topic的分区数有关,其中,每个Topic分区数可在创建Topic时设置,如下图,实例分区数上限参考上表。 图Topic的分区数 kafka.2u4g.cluster 3 broker实例的分区数上限为750。 如果该实例下每个Topic的分区个数都为3,则Topic个数为750/3250个。 如果该实例下每个Topic的分区个数都为1,则Topic个数为750/1750个。
        来自:
        帮助文档
        分布式消息服务Kafka
        产品简介
        产品规格
      • 将Oracle同步到Kafka
        参数 描述 Topic 选择目标端需要同步到的Topic。 投送到kafka的数据格式 选择Oracle投送到kafka的数据格式。 Avro:可以显示Avro二进制编码,高效获取数据。 Json:为Json消息格式。详细格式可参考Kafka消息格式。 同步对象 同步对象支持表级同步,您可以根据业务场景选择对应的数据进行同步。 选择对象的时候支持搜索,以便您快速选择需要的数据库对象。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        自建到自建
        将Oracle同步到Kafka
      • API使用说明
        天翼云OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用分布式消息服务Kafka产品API的详细介绍,请参见使用API(默认Ⅱ类资源池接口)。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 说明 Ⅱ类资源池版本:适用于 华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3、芜湖4、乌鲁木齐7 资源池,详情请参照 Ⅰ类资源池版本:适用于 芜湖2、上海7、贵州3、昆明2、重庆2、乌鲁木齐27、保定、石家庄20、内蒙6、北京5 资源池,详情请参照
        来自:
        帮助文档
        分布式消息服务Kafka
        API参考
        API使用说明
      • 运行Kafka作业
        本章节主要介绍翼MapReduce运行kafka作业。 用户可将自己开发的程序提交到翼MR中,执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的kafka作业。 通过后台提交作业 1. 登录翼MR管理控制台。 2. 选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 3. 在“节点管理”页选中单击Master节点,选择要进入的Master节点。 4. 单击该节点右侧的“远程连接”。 5. 根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。 6. 创建kafka的topic。 plaintext /usr/local/kafka/bin/kafkatopics.sh zookeeper :2181/kafka topic create 7. 当前集群默认开启Kerberos认证,执行以下命令添加认证信息。 plaintext export KAFKAOPTS"Djava.security.krb5.conf/etc/krb5.conf Djava.security.auth.login.config/usr/local/kafka/config/kafkajaas.conf" 8. 向topic中写入消息。 plaintext /usr/local/kafka/bin/kafkaconsoleproducer.sh brokerlist :9092 topic producer.config /usr/local/kafka/config/producer.properties 9. 消费topic中的消息。 plaintext /usr/local/kafka/bin/kafkaconsoleconsumer.sh bootstrapserver :9092 topic consumer.config /usr/local/kafka/config/consumer.properties frombeginning maxmessages 5 注意 frombeginning:只能消费未被消费的历史数据,已消费数据不会出现。 maxmessages:最多消费多少条数据。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        管理集群
        作业管理
        运行Kafka作业
      • 删除流控
        本文主要介绍删除流控。 操作场景 本章节指导您在无需流控时,删除流控。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 在左侧导航栏单击“流控管理 > 流控列表”,进入流控列表页面。 步骤 6 在待删除的流控所在行,单击“删除”,弹出“删除流控”对话框。 步骤 7 单击“是”,跳转到“后台任务管理”页面,当流控任务的“状态”为“成功”时,表示成功删除流控。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        流控管理
        删除流控
      • Kafka客户端参数配置建议
        本文主要 Kafka客户端参数配置建议。 Kafka客户端的配置参数很多,以下提供producer和consumer几个常用参数配置。其他参数配置,请参考Kafka配置。 表 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠:all或者1高吞吐:1 收到Server端确认信号个数,表示producer需要收到多少个这样的确认信号,算消息发送成功。 acks参数代表了数据备份的可用性。常用选项:acks0:表示producer不需要等待任何确认收到的信息,副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据,同时重试配置不会发生作用(因为客户端不知道是否失败)回馈的offset会总是设置为1。 acks1:这意味着至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据,而此时leader又无法提供服务,则消息会丢失。 acksall或者1:这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活,数据都不会丢失。min.insync.replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时,这些数据发送失败后,客户端会重新发送。 注意,这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序,如果这两个消息记录都是发送到同一个partition,则第一个消息失败第二个发送成功,则第二条消息会比第一条消息出现要早。针对网络闪断场景,生产者建议配置重试能力,推荐重试次数retries3,重试间隔retry.backoff.ms1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间,超过这个时间则会抛Timeout异常。超时时间如果设置大一些,如127000(127秒),高并发的场景中,能减少发送失败的情况。 block.on.buffer.full TRUE TRUE TRUE表示当我们内存用尽时,停止接收新消息记录或者抛出错误。默认情况下,这个设置为TRUE。 然而某些阻塞可能不值得期待,因此立即抛出错误更好。如果设置为false,则producer抛出一个异常错误:BufferExhaustedException batch.size 16384 262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录,以减少请求次数。 这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理,其中会包含对每个partition的一个请求。较小的批量处理数值比较少用,并且可能降低吞吐量(0则会仅用批量处理)。 较大的批量处理数值将会浪费更多内存空间,这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度,producer会阻塞或者抛出异常,以“block.on.buffer.full”来表明。 这项设置将和producer能够使用的总内存相关,但并不是一个硬性的限制,因为不是producer使用的所有内存都是用于缓存。一些额外的内存会用于压缩(如果引入压缩机制),同样还有一些用于维护请求。 表 Consumer参数 参数 默认值 推荐值 说明 :::: auto.commit.enable TRUE FALSE 如果为真,consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时,由新的consumer使用。约束:设置为false后,需要先成功消费再提交,这样可以避免消息丢失。 auto.offset.reset latest earliest 没有初始化offset或者offset被删除时,可以设置以下值: earliest:自动复位offset为最早 latest:自动复位offset为最新 none:如果没有发现offset则向消费者抛出异常 anything else:向消费者抛出异常。 说明 如果将此配置设置为latest,新增分区时,生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息,从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间,设置为30000可以在网络异常场景下减少请求卡顿的时间。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        Kafka客户端参数配置建议
      • 通过认证生产与消费加密主题的消息
        分布式消息Kafka使用SASL 认证协议来实现身份验证的能力,加密的主题需要经过身份校验才能正常地消费和生产消息。 1. 创建用户并配置用户权限 进入应用用户管理界面,新建用户,并给用户添加主题和消费组的权限,并且下载密钥。详细操作可以查看用户指南创建应用用户。 2. 运行生产者客户端 如下是Java客户端代码示例,注意修改内容(用户、密码、接入地址、主题名称)。 3. 运行消费者客户端 如下是Java客户端代码示例,注意修改内容(用户、密码、接入地址、消费组名称、主题名称)。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        通过认证生产与消费加密主题的消息
      • 事件目标概述
        事件目标是事件规则的一部分,负责消费经事件规则过滤与转换后的事件。 事件目标 事件总线EventBridge支持以下事件目标: 函数计算 分布式消息服务RocketMQ 分布式消息服务RabbitMQ 分布式消息服务Kafka HTTP、HTTPS地址
        来自:
        帮助文档
        事件总线
        用户指南
        事件总线
        事件规则
        事件目标
        事件目标概述
      • 重置Kafka Manager密码
        本文主要介绍 重置Kafka Manager密码。 操作场景 如果您忘记了创建实例时设置的Kafka Manager密码,通过重置Manager密码功能,重新设置一个新的密码,可使用新密码登录Kafka Manager。 前提条件 已创建Kafka实例,且实例处于“运行中”。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法,重置Kafka Manager密码。 在待重置Manager密码的Kafka实例所在行,单击“更多 > 重置Manager密码”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 重置Manager密码”。 单击Kafka实例名称,进入实例详情页面。在“基本信息”页签,在“连接信息 > Manager用户名”后,单击“重置Manager密码”。 步骤 5 输入“新密码”和“确认密码”,单击“确定”,完成密码重置。 重置Manager密码成功,界面提示重置实例的密码成功。 重置Manager密码失败,界面提示重置实例的密码失败,请重新尝试重置密码操作。如果多次重置失败,请联系客服处理。 说明 只有所有代理都重置密码成功,系统才会提示重置密码成功,否则会提示重置失败。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        实例管理
        重置Kafka Manager密码
      • 事件源概述
        事件源是事件的来源,负责将生产的事件发布到事件总线。 事件总线EventBridge支持以下事件源: 天翼云官方事件源 作为事件源接入时,只要开通相应的天翼云服务,就可以自动接入事件总线EventBridge。通过配置预定义的事件源与事件规则,实现从事件源发布事件到云服务专用总线,经过事件模式过滤后把事件路由到事件目标。 自定义事件源 作为事件源接入时,您可以配置自定义应用事件源,使用SDK接入事件总线EventBridge。通过创建自定义总线、配置事件规则,把自定义应用产生的事件发布到自定义总线,经过事件模式过滤后把事件路由到事件目标。 作为事件源接入时,您可以配置消息类事件提供方,把事件主动拉取到事件总线EventBridge。例如,当您配置事件提供方为分布式消息服务Kafka时,事件总线EventBridge会把分布式消息服务Kafka对应资源产生的消息主动拉取到自定义总线中,经过事件模式过滤后把事件路由到事件目标。
        来自:
        帮助文档
        事件总线
        用户指南
        事件总线
        事件源
        事件源概述
      • 创建消费组
        本章节介绍如何在控制台创建消费组。 如果在“配置参数”中开启了“auto.create.groups.enable”,则该操作为可选。“auto.create.groups.enable”表示在消费者进入未创建的消费组时,会自动创建此消费组。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 在左侧导航栏选择“消费组管理”,进入消费组列表页面。 步骤 6 单击“创建消费组”,弹出“创建消费组”对话框。 步骤 7 输入消费组名称,单击“确定”。 在消费组列表页面,查看新创建的消费组。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        消费组管理
        创建消费组
      • Kafka Manager问题
        本文主要介绍 Kafka Manager问题。 登录Kafka Manager的帐号是否可以设置为只读帐号? 不支持设置为只读帐号。 登录到Kafka Manager页面,为什么获取不到节点信息? 问题现象: 正常登录Kafka Manager页面,但是页面无法显示节点信息,如下所示: 问题原因: 这是Kafka开源问题,需要联系客服,重启Kafka Manager。 Yikes! Insufficient partition balance when creating topic : projectmanprojectenterpriseproject Try again. 问题现象: 在Kafka Manager中无法创建topic,报错:Yikes! Insufficient partition balance when creating topic : projectmanprojectenterpriseproject Try again. 问题原因: Topic分区超过限制,不能继续创建Topic。 处理方法: 建议扩大实例规格,实例规格增加,分区数也会相应增加。 Kafka Manager能否查询到消息的正文? Kafka Manager无法查询到消息的正文。 Kafka Manager WebUI的端口能否修改? Kafka Manager WebUI的端口不支持修改。 在Kafka Manager上支持修改Topic的哪些属性? 在Kafka Manager上,支持修改如下的Topic属性:max.message.bytes、segment.index.bytes、segment.jitter.ms、min.cleanable.dirty.ratio、retention.bytes、file.delete.delay.ms、compression.type、flush.ms、cleanup.policy、unclean.leader.election.enable、flush.messages、retention.ms、min.insync.replicas、delete.retention.ms、preallocate、index.interval.bytes、segment.bytes、segment.ms。 具体修改方法如下: 1. 登录Kafka Manager。 2. 单击“kafkacluster”,进入“Summary”界面。 3. 单击“Topic > List”,进入“Topics”界面。 4. 单击需要修改属性的Topic名称,进入Topic详情界面。 5. 单击“Update Config”,修改Topic属性。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        Kafka Manager问题
      • 调度作业
        参数 说明 触发事件类型 选择触发作业运行的事件类型。 “KAFKA” “KAFKA”触发事件类型的参数 连接名称 选择数据连接,需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 事件处理并发数 选择作业并行处理的数量,最大并发数为128。 事件检测间隔 配置时间间隔,检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置: 从上次位置读取:首次启动时,从最新的位置读取数据。后续启动时,则从前一次记录的位置读取数据。 从最新位置读取:每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略: 挂起 忽略失败,读取下一个
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        作业开发
        调度作业
      • 术语解释
        HDFS HDFS(Hadoop Distributed File System)是Hadoop生态系统的一个重要组成部分,是Hadoop中的的存储组件。它是一个分布式文件系统,提供对应用程序数据的高吞吐量访问。 Hive Hive数据仓库软件通过SQL实现对分布式存储中的大型数据集的读写和管理。Hive提供命令行工具和JDBC驱动程序连接用户。Hive对SQL语句编译和解析,生成相应的MapReduce任务对数据进行操作。 Kafka Apache Kafka是一个优秀的分布式事件流平台,被广泛用于高性能数据管道、流分析、数据集成和任务关键型应用程序中。 Kerberos Hadoop使用Kerberos作为用户和服务的强身份验证和身份传播的基础。Kerberos是一种计算机网络认证协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。 Kerberos是第三方认证机制,其中用户和服务依赖于第三方(Kerberos服务器)来对彼此进行身份验证。 Kibana(仅存量支持) Kibana是一个数据分析和可视化平台,它被设计用于与Elasticsearch协同工作。您可以使用Kibana对Elasticsearch索引中的数据进行搜索、查看和交互操作。 Kyuubi Kyuubi是一个提供JDBC/ODBC SQL查询能力的分布式SQL引擎管理者,主要是为Spark Thrift Server提供多租户以及HA能力,同时为其他引擎(例如Flink或Trino等)提供SQL等查询服务。 OpenLDAP OpenLDAP是轻型目录访问协议(Lightweight Directory Access Protocol,LDAP),通过IP协议提供访问控制和维护分布式信息的目录信息。
        来自:
        帮助文档
        翼MapReduce
        产品介绍
        术语解释
      • 删除SASL_SSL用户
        本章节介绍如何删除SASLSSL用户。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例名称,进入实例详情页面。 步骤 5 通过以下任意一种方法,删除SASLSSL用户。 在“用户管理”页签,在待删除的SASLSSL用户所在行,单击“删除”。 在“用户管理”页签,勾选SASLSSL用户名左侧的方框,可选一个或多个,单击信息栏左上侧的“删除”。 说明 创建Kafka实例时设置的SASLSSL用户无法删除。 步骤 6 在弹出的“删除用户”对话框中,单击“是”,完成SASLSSL用户的删除。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        SASL_SSL用户管理
        删除SASL_SSL用户
      • 按需转包周期
        本文主要介绍 按需转包周期。 选择按需付费的用户,可以选择“转包周期”,变更实例计费模式为包年/包月。 说明 实例从按需变为包周期计费时,不影响应用,只是计费方式变了。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 通过以下任意一种方法,实现按需实例转包周期。 勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“转包周期”,弹出“转包周期”对话框,单击“是”,跳转到“按需转包年/包月”页面。 在待转包周期的Kafka实例所在行,单击“更多 > 转包周期”,跳转到“按需转包年/包月”页面。 单击Kafka实例名称,进入实例详情页面。单击右上角的“更多 > 转包周期”,跳转到“按需转包年/包月”页面。 步骤 5 选择续费时长,然后单击“去支付”,根据界面提示信息,支付费用,完成实例转包周期操作。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        实例管理
        按需转包周期
      • 导出Topic
        本文主要介绍 导出Topic。 本章节指导您在控制台导出Topic,支持批量导出。 前提条件 已创建Topic。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击,选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击,选择“企业中间件”“分布式消息服务”“Kafka专享版”,进入分布式消息服务Kafka专享版页面。 步骤 4 单击Kafka实例的名称,进入实例详情页面。 步骤 5 选择“Topic管理”页签,显示已创建的Topic详情。 步骤 6 在页面右上角单击,导出Topic列表到本地。 Topic列表中包含如下信息:Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘。
        来自:
        帮助文档
        分布式消息服务Kafka
        用户指南
        Topic管理
        导出Topic
      • 使用限制
        云服务分类 云服务名称 产品控制台创建资源时是否支持绑定标签 产品控制台列表是否支持绑定和解绑标签 标签字符长度限制 标签字符内容限制 单实例默认可绑定标签个数 计算 弹性云主机 是 是 128位 首尾不包含空格 50 计算 GPU云主机 是 是 128位 首尾不包含空格 50 计算 物理机 是 是 128位 首尾不包含空格 50 计算 镜像服务 是 是 128位 首尾不包含空格 50 计算 弹性伸缩服务 是 是 128位 首尾不包含空格 50 计算 云主机快照 是 是 128位 首尾不包含空格 50 计算 SSH秘钥对 是 是 128位 首尾不包含空格 50 存储 云硬盘 是 是 128位 开头不包含空格 50 存储 弹性文件服务 否 是 128位 首尾不包含空格 50 存储 对象存储 是 是 128位 首尾不包含空格 50 存储 并行文件服务HPFS 是 是 128位 首尾不包含空格 50 存储 海量文件服务OceanFS 是 是 128位 首尾不包含空格 50 存储 云硬盘备份 是 是 128位 开头不包含空格 50 存储 云主机备份 是 是 128位 开头不包含空格 50 网络 弹性负载均衡 是 是 128位 首尾不包含空格 50 网络 共享流量包 否 是 128位 首尾不包含空格 50 网络 VPC终端节点 是 是 128位 首尾不包含空格 50 网络 NAT网关 是 是 128位 首尾不包含空格 50 网络 网关负载均衡 是 是 128位 首尾不包含空格 50 网络 内网DNS 否 是 128位 首尾不包含空格 50 网络 弹性IP 否 是 128位 首尾不包含空格 50 网络 共享带宽 否 是 128位 首尾不包含空格 50 网络 虚拟私有云 否 是 128位 首尾不包含空格 50 网络 流量镜像 否 是 128位 首尾不包含空格 50 网络 对等连接 是 是 128位 首尾不包含空格 50 网络 云间高速(标准版) 否 是 128位 首尾不包含空格 50 网络 VPN连接 否 是 128位 首尾不包含空格 50 网络 云专线CDA 是 是 128位 首尾不包含空格 50 专属云 专属云(计算独享型) 是 是 128位 首尾不包括空格 50 云原生 云容器引擎 是 是 128位 首尾不包含空格 50 云原生 容器镜像服务 否 是 128位 首尾不包含空格 50 云原生 云日志服务 否 是 128位 首尾不包含空格 50 云原生 应用性能监控 否 是 128位 首尾不包含空格 20 云原生 微服务云应用平台MSAP 否 是 128位 首尾不包含空格 50 云原生 微服务引擎API网关 否 是 128位 首尾不包含空格 20 云原生 微服务引擎微服务治理 否 是 128位 首尾不包含空格 20 云原生 微服务引擎注册配置中心 否 是 128位 首尾不包含空格 20 云原生 服务网格 否 是 128位 首尾不包含空格 50 云原生 分布式缓存服务Redis版 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列RocketMQ 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列RabbitMQ 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列Kafka 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列MQTT 是 是 128位 首尾不包含空格 50 云原生 弹性容器实例ECI 否 是 128位 首尾不包含空格 50 云原生 分布式容器云平台CCE ONE 是 是 128位 首尾不包含空格 20 云原生 Serverless容器引擎 是 是 128位 首尾不包含空格 50 云原生 函数计算 否 是 128位 首尾不包含空格 50 安全及管理 Web应用防火墙(原生版) 否 是 无限制 首尾不包含空格 50 安全及管理 服务器安全卫士(原生版) 否 是 128位 首尾不包含空格 10 安全及管理 云等保专区 否 是 128位 首尾不包含空格 50 安全及管理 数据库审计 否 是 128位 首尾不包含空格 10 安全及管理 云堡垒机(原生版) 否 是 128位 首尾不包含空格 10 安全及管理 日志审计(原生版) 否 是 128位 首尾不包含空格 10 安全及管理 秘钥管理 否 是 128位 首尾不包含空格 10 安全及管理 云密评专区 否 是 128位 首尾不包含空格 10 数据库 文档数据库服务 是 是 128位 首尾不包含空格 50 数据库 分布式关系型数据库 是 是 128位 首尾不包含空格 10 数据库 关系数据库PostgreSQL版 是 是 128位 首尾不包含空格 50 数据库 关系数据库MySQL版 是 是 128位 首尾不包含空格 50 数据库 云数据库ClickHouse版 是 是 128位 首尾不包含空格 50 数据库 关系数据库SQL Server版 是 是 128位 首尾不包含空格 50 数据库 数据传输服务DTS 否 是 128位 首尾不包含空格 50
        来自:
        帮助文档
        标签管理(一类节点)
        产品介绍
        使用限制
      • 1
      • ...
      • 6
      • 7
      • 8
      • 9
      • 10
      • ...
      • 691
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      云聚517 · 好价翼起拼

      爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      产品推荐

      物理机 DPS

      多活容灾服务 MDR

      GPU云主机

      弹性伸缩服务 AS

      弹性高性能计算 E-HPC

      Token服务

      智算一体机

      知识库问答

      人脸检测

      推荐文档

      其他问题

      产品价格

      全面了解天翼云②:Linux下修改MTU值

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号