活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 618智算钜惠季 爆款云主机2核4G限时秒杀,88元/年起!
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      文档中心

      分布式消息服务Kafka

      分布式消息服务Kafka

        • 产品动态
        • 服务公告
        • 2024
        • 【优惠】正式开放2年7折,3年5折包年折扣
        • 【优惠】分布式消息服务Kafka增加包年优惠折扣和产品资费进一步下调
        • 【降价】分布式消息服务Kafka产品资费价格下调
        • 【通知】云原生引擎调整为白名单特性
        • 【通知】通用型主机规格调整为白名单特性
        • 产品简介
        • 产品定义
        • 产品优势
        • 功能特性
        • 应用场景
        • 产品规格
        • 开源对比
        • 分布式消息产品选型
        • 安全
        • 认证与访问控制
        • 数据保护技术
        • 审计与日志
        • 服务韧性
        • 监控安全风险
        • 使用限制
        • 名词解释
        • 主子账号和IAM权限管理
        • 与其他服务关系
        • 计费说明
        • 产品资费
        • 新资费
        • 旧资费
        • 计费项
        • 计费模式
        • 续费、到期与欠费
        • 退订
        • 快速入门
        • 入门指引
        • 环境准备
        • 创建实例
        • 创建Topic
        • 编译运行Demo Java工程
        • 配置必须的监控告警
        • 用户指南
        • 权限管理
        • 创建用户并授权使用Kafka
        • 创建Kafka自定义策略
        • 连接Kafka
        • 配置Kafka网络连接
        • 使用VPCEP实现跨VPC访问Kafka
        • 公共接入点接入
        • 安全接入点接入
        • SASL_SSL接入点接入
        • 实例管理
        • 查看实例
        • 设置公网ip
        • 开启IPv6
        • 退订
        • 续订
        • 变更实例规格
        • 计费互转
        • 修改配置参数
        • 重启实例
        • Topic管理
        • 查看Topic
        • 创建Topic
        • 删除Topic
        • 修改Topic
        • 查看分区状态
        • 修改分区平衡
        • 生产消息
        • 删除消息
        • 消费组管理
        • 消费组列表
        • 新建消费组
        • 消息堆积
        • 重置消费位置
        • 删除消费组
        • 用户管理
        • 用户列表
        • 创建应用用户
        • 修改用户信息
        • 删除用户
        • 管理应用用户生产消费权限
        • 消息查询
        • 按位点查询
        • 按时间查询
        • 可观测
        • 监控信息
        • 查看监控数据
        • 支持的监控指标
        • 智能运维
        • 重平衡日志
        • 集群迁移
        • 迁移上云
        • 云实例间迁移
        • 元数据迁移
        • 开发指南
        • 概述
        • 收集连接信息
        • Java
        • Java开发环境搭建
        • Java客户端接入示例
        • Go
        • Python
        • 性能白皮书
        • Kafka性能白皮书
        • 最佳实践
        • 生产者实践
        • 消费者实践
        • 负载均衡
        • 多个订阅
        • 消费位点
        • 消费位点提交
        • 消费位点重置
        • 消息重复和消费幂等
        • 消费失败
        • 消费延迟
        • 消费阻塞以及堆积
        • 提高消费速度
        • 增加 Consumer 实例
        • 增加消费线程
        • 消息过滤
        • 消息广播
        • 订阅关系
        • 通过认证生产与消费加密主题的消息
        • 使用MirrorMaker跨集群数据同步
        • Kafka业务迁移
        • 如何提高消息处理效率
        • Logstash对接Kafka
        • Kafka消费者poll的优化
        • 如何设置消息堆积数超过阈值时,发送告警短信/邮件
        • 消息堆积最佳实践
        • 业务过载最佳实践
        • 业务数据不均衡最佳实践
        • API参考
        • API使用说明
        • 附录
        • 分布式消息服务Kafka资源池
        • SDK参考
        • SDK概述
        • 常见问题
        • 计费与购买类
        • 计费类常见问题
        • 购买类常见问题
        • Kafka支持多可用区?
        • Kafka磁盘选择超高IO还是高IO?
        • 实例问题
        • 实例常见问题
        • 创建的Kafka实例是集群模式么?
        • 连接问题
        • SASL_SSL接入报错
        • 鉴权接入超时问题
        • 连接常见问题
        • 客户端首次接入分布式消息服务Kafka时出现异常的排查方法
        • Kafka实例的连接地址默认有多少个?
        • 如何配置安全组
        • kafka实例连接数有限制吗?
        • 操作类
        • 操作类常见问题
        • 如何配置客户端参数?
        • 如何判断和处理消息堆积?
        • 为什么消费客户端频繁出现Rebalance?
        • 消费端从服务端拉取不到消息或拉取消息缓慢
        • 为什么不推荐使用Sarama Go客户端收发消息?
        • 为什么发送给Topic的消息在分区中分布不均衡?
        • 为什么Group不存在但能消费消息?
        • 消费端挂载NFS是否会影响消费速度?
        • 管理类
        • 相关协议
        • 服务等级协议
        • 服务条款
          无相关产品

          本页目录

          帮助中心分布式消息服务Kafka常见问题操作类操作类常见问题
          操作类常见问题
          更新时间 2025-05-09 23:34:21
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2025-05-09 23:34:21
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          本节介绍分布式消息服务Kafka操作类常见问题

          消息在kafka保留多长时间?

          消息保存72小时,超过72小时的消息将会被删除。

          Kafka可以创建多少个主题?

          Kafka基础版可以创建50个主题、Kafka高级版可以创建100个主题。

          如果想消费已经被消费过的数据?

          consumer是底层采用的是一个阻塞队列,只要一有producer生产数据,那consumer就会将数据消费。当然这里会产生一个很严重的问题,如果你重启一消费者程序,那你连一条数据都抓不到,但是log文件中明明可以看到所有数据都好好的存在。换句话说,一旦你消费过这些数据,那你就无法再次用同一个groupid消费同一组数据了。针对这种情况,你可在控制台重置消费组消费点(3天内)。

          是否需要预先创建消费组

          消费组和消费组订阅主题关系虽然业务应用客户端接入时可自动创建,但建议都先预先创建做好管理。

          出现“Not authorized to access group”的错误信息

          没有创建消费组时会遇到此报错信息,创建消费组可解决此问题。

          为什么PHP发送延时比较长?

          PHP发送延时比较长是PHP的语言特性导致的。PHP每次发送时,都会重新初始化一个KafkaProducer对象,这个初始化会进行各种操作,包括连接各个Broker、更新元数据等,在VPC内耗时100ms以上,在公网可能耗时500ms以上。相比之下,Java会复用KafkaProducer,发送延迟较低。

          哪里可以找到生产消费消息的示例

          最佳实践 - 生产者实践、消费者实践。

          如何进行发送消息的测试?

          可以直接在Kafka控制台进行发送消息的测试。在控制台的Topic管理页面,单击目标Topic右侧的生产拨测,进行消息发送测试,以验证集群是否运转正常。

          使用客户端发送消息后,如何确定是否发送成功?

          如果回调成功则说明消息发送成功。大部分客户端在发送之后,会返回Callback或者Future,如果回调成功,则说明消息发送成功。

          此外,还可以在控制台通过以下方式确认消息发送是否正常:

          查看“监控信息”,实例消息生产条数。

          查看“消息查询”,可按时间查询消息。

          发送消息的回调是否会影响发送速度?

          Java客户端设置回调是否会影响消息发送的速度取决于如下两点:

          (1)回调的处理耗时:为减少回调的处理耗时,不要过于频繁地在回调做耗时较长的处理。可以积累一定量Ack后再做批量的回调处理,或者在另一个异步的线程去处理,从而不阻塞回调的完成。

          (2)max.in.flight.requests.per.connection:该参数指定了生产者在收到服务器响应之前可以发送多少个消息。它的值越高,就会占用越多的内存,不过也会提升吞吐量。

          实例支持哪些开源版本?

          当前服务端支持的版本为2.3.1和2.8.2。实例创建后,服务端版本不支持升级,不支持定制版本。

          如何选择实例硬盘大小?

          磁盘大小:流量均值×存储时长×3(备份),建议在迁移上云过程中优化Topic以降低成本。

          升级Broker可能产生哪些影响?

          升级Broker可能产生消息乱序、客户端连接中断、消息量不均衡等影响。

          升级Broker包含以下影响:

          升级过程中,会逐个重启云消息队列 Kafka 版集群中所有的Broker。在重启Broker的过程中服务不会中断,但是从每个Broker重启完成之后的5分钟内消费的分区消息可能会发生乱序。

          • 重启过程中已有的客户端连接可能会中断。客户端要有自动重连功能,服务端的其他Broker会自动接替服务。
          • 此外,升级和重启Broker期间,各个分区处理的消息量也会出现一定的不均衡,需要评估一下升级变更对业务可能产生的影响。

          升级所有Broker大概需要5分钟~15分钟。如果有多个实例,可以考虑先升级测试集群,验证通过后再升级生产集群。

          实例的地域无法变更?

          实例购买部署之后,其地域与物理资源紧密结合,无法变更。如需变更实例的地域,请释放实例,并重新购买。

          如何快速测试分布式消息服务Kafka服务端是否正常?

          前提条件

          已创建并部署分布式消息服务Kafka实例,且实例处于服务中状态。

          操作流程

          快速测试分布式消息服务Kafka服务端的流程如下:

          (1)新建Topic

          (2)在主题管理页面,生产拨测,体验发送消息

          (3)在主题管理页面,查看分区状态

          (4)在消息查询页面,按时间或位点查询消息

          是否支持延迟消息?

          和开源Apache Kafka一样,分布式消息服务Kafka同样不支持延迟消息。

          是否支持压缩消息?

          分布式消息服务Kafka服务端支持收发压缩消息。

          如需使用压缩消息,需要在分布式消息服务Kafka的客户端进行设置。在分布式消息服务Kafka客户端进行消息压缩的说明如下:

          压缩格式:支持Snappy、LZ4、GZIP等压缩格式。其中,GZIP对CPU的消耗较高,因此不建议选择GZIP,建议选择Snappy或LZ4。

          适用场景:一般来说,CPU的价格比流量和存储要高。对于日志类等压缩比较高的场景,可以考虑使用压缩。其余场景,不建议使用压缩。

          CPU消耗:压缩会消耗额外的CPU,平均在20%以上。具体额外CPU消耗,需要根据实际场景进行测试。

          如何释放实例?

          若不再需要使用实例,可以在控制台上退订实例。

          为什么限制Topic总数(分区总数)?

          Topic总数(分区总数)太多会使集群性能和稳定性能急剧下降。

          分布式消息服务Kafka的存储和协调机制是以分区为粒度的,分区数太多,会导致存储碎片化严重,集群性能和稳定性都会急剧下降。

          为什么Topic不能减分区?

          Topic减分区会造成数据丢失,这是Apache Kafka自身设计所限制的。

          是否支持Compact的日志清理策略?

          开源版本为2.2.0或以上的分布式消息服务Kafka实例支持Compact的日志清理策略。

          如何查看哪些IP在消费消息?

          在控制台消费组管理页面,查看消费实例。

          哪里可以找到消费最佳实践?

          最佳实践 - 消费者实践。

          如何在修改Consumer的offset?

          提交消费位点的机制取决于客户端SDK,一般支持以下两种机制:

          自动提交:按照时间间隔,SDK把消费过的最新消息的位点+1提交上去。

          手动提交:应用程序里,把消费过的最新消息的位点+1提交上去。

          在控制台的消费组管理页面,可以重置消费位置。

          为什么在控制台看不到Group的订阅关系?

          问题现象

          已启动某个Group的消费线程,但在分布式消息服务Kafka控制台的消费组管理页面,查不到该Group订阅的Topic信息。

          可能原因

          客户端的配置错误或者所处的网络环境异常导致无法成功订阅消息。

          采用assign方式手动指定消费者订阅某个Topic分区的消息,并未提交消费位点。

          解决方案

          排查客户端配置问题

          排查客户端网络问题

          需提交消费位点

          为什么同一个分区被多个消费线程消费了?

          消费客户端使用“StickyAssignor”分配模式消费消息时,发现同一个分区被多个消费线程消费,出现数据错乱的情况。

          可能原因

          客户端低于2.3版本。2.3版本以前的客户端有可能将同一个分区分配给多个消费线程进行消费。

          解决方案

          建议您升级客户端至2.3或以上版本,或者换成其他分区分配策略。

          使用建议:“StickyAssignor”分配策略目前在一些情况下会产生分配偏差,比如分区重复分配问题。如果不是业务特殊需求,不建议使用该分配策略。

          为什么Group的状态一直处于“删除中”?

          当前删除Group采用的是异步删除方式,一般情况下,删除一个Group大概需要耗时1-2分钟。

          问题现象

          在分布式消息服务Kafka控制台的消费组管理页面删除Group后,此Group的状态一直处于删除中。删除中

          可能原因

          Group中存在活跃的订阅关系。

          Group上有消费线程在提交新的消费位点。

          解决方案

          登录分布式消息服务Kafka控制台,查看Group的订阅关系。

          若查询到Group订阅了Topic或者有消费线程在提交新的消费位点,请先取消订阅关系再删除Group。

          为什么消费组的消息堆积量为“0”或者未显示

          查看Group的消费状态时,消费位点不等于最大位点,但Group的堆积量显示为“0”,或者未显示。

          可能原因

          未曾提交过消费位点,或者消费位点已过期。

          提交过消费位点并且未过期,但由于部分消息数据过期被删除,导致消费位点小于或者等于最小位点。

          为什么不能登录部署分布式消息服务Kafka的机器?

          分布式消息服务Kafka提供全托管免运维服务,您无需登录机器,集群的一些基础信息会通过监控告警进行透传。

          修改企业项目,是否会导致Kafka重启?

          修改企业项目不会导致Kafka重启。

          Kafka实例支持批量导入Topic功能么?

          支持批量创建Topic,可下载批量创建模板填写信息后导入。见操作指南批量创建Topic。

          消息被消费后,没有删除,导致Kafka存储空间占满?

          当消息被消费后,Kafka默认情况下并不会立即删除它们,而是将其保留在磁盘上。这可能会导致Kafka存储空间占满的问题。

          Kafka可以删除消费组下不用的Topic吗?

          可以。操作步骤如下:

          (1)登录管理控制台。

          (2)进入Kafka管理控制台。

          (3)在实例列表页在操作列,目标实例行点击“管理”。

          (4)点击“主题管理”后进入主题管理页面后点击“更多”,出现如下图弹窗。

          (5)在Topic所在行,单击“删除”,并选择确定。

          Kafka实例是否需要创建消费组、生产者和消费者?

          不需要额外创建,支持创建消费组,操作步骤如下:

          (1)登录管理控制台。

          (2)进入Kafka管理控制台。

          (3)在实例列表页在操作列,目标实例行点击“管理”。

          (4)点击“消费组管理”后进入消费组管理页面。

          (5)点击“新建消费组”后,输入消费组名称,点击创建。

          注:消费组业务应用接入使用时客户端也可自动创建。

          Kafka生产消息的最大长度是多少?

          Kafka生产消息的最大长度默认情况下为1MB。

          消息超过老化时间,消息仍存在的原因

          消息超过老化时间(message retention time)仍然存在的原因可能有以下几种情况:

          • 消息存储配置错误:可能是由于配置错误导致消息的老化时间没有按照预期进行清理。您可以检查Kafka的配置文件中log.retention.ms或log.retention.hours参数,确保其设置正确。
          • 消费者组延迟或故障:如果消息被分发给了一个消费者组,但消费者组中的某个消费者出现延迟或故障,导致消息无法及时消费,那么这些消息可能会超过老化时间而仍然存在。
          • 消息处理逻辑问题:在消费者端的消息处理逻辑中可能存在问题,导致消息无法被及时处理或消费。这可能是由于代码bug、处理逻辑错误或其他原因引起的。
          • 多个分区或主题的不一致:如果您的消息被分布在多个分区或主题中,而某些分区或主题的老化时间设置与其他分区或主题不一致,那么消息可能会在某些分区或主题中超过老化时间而仍然存在。

          为了解决这个问题,您可以采取以下措施:

          • 检查Kafka的配置文件,确保消息的老化时间设置正确。
          • 检查消费者组的消费情况,确保消费者能够及时消费消息。
          • 检查消费者端的消息处理逻辑,确保消息能够被正确处理和消费。
          • 检查分区或主题的配置,确保它们的老化时间设置一致。

          控制台消费组管理不能订阅Topic的问题

          消费组如需消费某个Topic,无需在控制台新建订阅,直接订阅消费即可。如果需要使用sasl连接进行生产消费,可以在用户管理页面对用户权限进行管理,增加用户对Topic的生产消费权限。

          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

          上一篇 :  操作类
          下一篇 :  如何配置客户端参数?
          搜索 关闭
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明