活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业应用上云专场 产品组合下单即享折上9折起，助力企业快速上云
- 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛，数款产品享受线上订购超值特惠
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
分布式消息服务Kafka_相关内容
- 消息订阅本页介绍天翼云TeleDB数据库消息订阅。 消息订阅可以对不同类型的消息进行订阅,选择需要的消息类型,保存后,订阅类型的消息会在触发时进行推送。
- 业务过载最佳实践生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间,减少历史数据的容量大小。 在CPU资源情况可控的情况下,使用压缩算法对数据进行压缩。 常用的压缩算法包括:ZIP,GZIP,SNAPPY,LZ4等。选择压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。
- 服务支持的DCS操作列表云审计服务支持的DCS操作列表 操作类型 资源类型 事件名称 创建实例 分布式缓存服务 createDCSInstance 提交创建实例请求 分布式缓存服务 submitCreateDCSInstanceRequest 批量删除实例 分布式缓存服务 batchDeleteDCSInstance 删除实例 分布式缓存服务 deleteDCSInstance 修改实例信息 分布式缓存服务 modifyDCSInstanceInfo 修改实例配置 分布式缓存服务 modifyDCSInstanceConfig
- 使用Kafka客户端sh kafka-topics.sh --list --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 删除创建的Topic。 sh kafka-topics.sh --delete --topic 主题名称 --zookeeper ZooKeeper角色实例所在节点IP地址:clientPort/kafka 输入 "y",回车。
- 消费组问题Kafka实例是否需要创建消费组、生产者和消费者? 不需要单独创建消费组、生产者和消费者,在使用时自动生成,实例创建后,直接使用即可。 连接Kafka实例后,生产消息和消费消息,请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除?
- 产品定义– 基于预设的数据模型,使用易用SQL的数据分析,用户可以选择Hive(数据仓库),SparkSQL以及Trino交互式查询引擎。 ● 翼MR Manager 为确保大数据组件服务的高可用性,以Hadoop为基础的大数据生态的各种组件均需要以分布式的方式进行部署,涉及其中的部署、管理和运维复杂度要求较高。翼MR提供了统一的运维管理平台翼MR Manager,包括可视化引导式部署集群能力。
- 使用OpenSearch、自建Filebeat和Dashboards构建网络拨测功能您可以参考性能观测数据,在搭建服务时选择更适合的地域或可用区。 客户物理链路的选择:查看跨地域连接物理链路的时延情况,以便您选择更适合您业务的链路类型。 方案架构 OpenSearch 是一款开源的分布式搜索和分析套件,衍生自 Elasticsearch OSS 7.10.2。可提供轻松执行交互式日志分析、实时应用程序监控、和数据分析等基础能力。
- 计费模式本节主要介绍分布式缓存服务Redis版的计费模式 目前天翼云分布式缓存服务Redis版提供包周期(包年/包月)、按需2种计费模式供您灵活选择,使用越久越便宜。 包周期(包年/包月):天翼云提供包月和包年的购买模式。这种购买方式相对于按需付费则能够提供更大的折扣,对于长期使用者,推荐该方式。包周期计费按照订单的购买周期来进行结算。 按需计费:这种购买方式比较灵活,可以即开即停,支持秒级计费。实例从“开通”开启计费到“删除”结束计费,按实际购买时长(精确到秒)计费。
- 创建Kafka自定义策略本文介绍创建Kafka自定义策略 如果系统预置的Kafka权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项请参考主子账号和IAM权限管理。 目前天翼云支持可视化视图和JSON视图两种方式设置策略内容,详细介绍请查看统一身份认证-用户指南-权限管理-自定义策略 - 创建自定义策略 可视化视图:通过可视化视图创建自定义策略,无需了解JSON语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
- 监控告警问题问题现象 :监控显示消息堆积数为8.1亿+,Kafka控制台显示实例中6个Topic的消息数总和为1亿+,两者不一致。 问题结论 :两者统计方式不同,Kafka控制台显示的消息数为实例中未消费的消息个数,而监控显示的消息堆积数=Topic中的消息积压数*消费组数。 Kafka的消费组删除了,怎么监控页面还可以看到这个消费组? 监控数据是每分钟进行采集上报,上报的数据经过整理后才会显示在监控页面上,此过程大约需要几分钟到十几分钟,建议您在删除消费组后,过一段时间再去监控页面查看。
- ALM-38001 Kafka磁盘容量不足说明 对于单独配置数据保存时间的Topic,修改Kafka服务配置页面上配置的数据保存时间不生效。如果需要对某个Topic单独配置的话,可以使用Kafka客户端命令行,来单独配置该Topic。
- 不使用SASL证书连接示例如下,“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”为获取的Kafka实例公网连接地址。 执行完命令后,输入需要生产的消息内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecs-kafka bin]# .
- KafkaConsumer监控recordConsumedTotal总消费次数总消费次数-INTSUMbytesConsumedTotal总消费字节数总消费字节数-INT...消息数总堆积消息数-INTLAST异常 (exception,kafka消费异常信息。)
- 使用SASL证书连接Topic名称:Kafka实例下创建的Topic名称。 示例如下,“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”为Kafka实例连接地址。 执行完命令后,输入需要生产的消息内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecs-kafka bin]#.
- 获取Rest Client算子返回值教程如下图所示,Rest Client调用了MRS服务查询集群列表的API,然后执行Kafka Client发送消息。 使用场景:Kafka Client发送字符串消息,消息内容为集群列表中第一个集群的cluster Id。
- ALM-38009 Broker磁盘IO繁忙数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。
- Kafka健康检查指标项说明服务健康状态 指标项名称 :服务状态 指标项含义 :检查Kafka服务状态是否正常。如果状态不正常,则认为不健康。 恢复指导 :如果该指标项异常,建议参见“Kafka服务不可用”告警进行处理。 检查告警 指标项名称 :告警信息 指标项含义 :检查服务是否存在未清除的告警。如果存在,则认为不健康。 恢复指导 :如果该指标项异常,建议参见告警进行处理。
- 与其他服务依赖关系云监控服务提供多种告警方式以保证及时预警,为您的服务正常运行保驾护航。 分布式缓存服务 分布式缓存服务通过将热点数据放入缓存,加快用户端的访问速度,提升用户体验。 分布式关系型数据库 对于云数据库 RDS for MySQL,使用分布式关系型数据库服务,后端对接多个数据库实例,实现分布式数据库的透明访问。 数据库复制 使用数据库复制服务,实现数据库平滑迁移上云。
- ALM-38007 Kafka默认用户状态异常本章节主要介绍ALM-38007 Kafka默认用户状态异常的告警。 告警解释 系统每60秒周期性检测Kafka服务默认用户,当检测到该用户异常时发送此告警。 平滑次数为1,当用户状态恢复后,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38007 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。
- 配置Kafka数据传输加密本章主要介绍翼MapReduce的配置Kafka数据传输加密功能。 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输,客户端可能部署在不受信任的网络中,传输的数据可能遭到泄漏和篡改。 操作步骤 默认情况下,组件间的通道是不加密的。用户可以配置如下参数,设置安全通道为加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。
- 创建用户并授权使用Kafka介绍创建用户并授权使用Kafka 对资源进行精细访问控制 您可以使用统一身份认证(Identity and Access Management,简称IAM)服务对所拥有的Kafka服务进行精细的权限管理。IAM用户的作用是多用户协同操作同一帐号时,避免分享帐号的密码。 您注册后,系统自动创建帐号,帐号是对其所拥有的资源具有完全控制权限,可以访问系统中所有的云服务。
- ALM-38004 Kafka直接内存使用率超过阈值服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用直接内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点Kafka实例直接内存使用率过大,或配置的直接内存大小不合理,导致使用率超过阈值。
- Topic和分区问题在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基本监控”,查看“队列数据容量”,该指标表示该队列当前的消息数据大小。 Topic是否支持ACL权限配置? Kafka实例已开启Kafka SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“Topic管理”页面,在需要设置用户权限的Topic所在行,单击“设置用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。 消息被消费后,没有删除,导致Kafka存储空间占满?
- 应用场景本章介绍分布式缓存服务Redis版的典型应用场景。 Redis应用场景 很多大型电商网站、视频直播和游戏应用等,存在 大规模数据访问 ,对 数据查询效率要求高 ,且 数据结构简单 , 不涉及太多关联查询 。这种场景使用Redis,在速度上对传统磁盘数据库有很大优势,能够有效减少数据库磁盘IO,提高数据查询效率,减轻管理维护工作量,降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充,成为了互联网应用,尤其是支持高并发访问的互联网应用必不可少的基础服务之一。
- ALM-38002 Kafka堆内存使用率超过阈值服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Kafka可用内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点Kafka实例堆内存使用率过大,或配置的堆内存大小不合理,导致使用率超过阈值。
- 与其他服务的关系虚拟私有云还具备安全组访问控制功能,通过绑定安全组并设置访问规则,可以增强访问分布式缓存服务的安全性。 弹性云主机 弹性云主机(Elastic Cloud Server,简称ECS)是一种可随时自助获取、可弹性伸缩的云服务器,帮助用户打造可靠、安全、灵活、高效的应用环境。 成功申请分布式缓存服务后,您可以通过弹性云主机创建的弹性云主机,连接和使用分布式缓存实例。
- 实例规格变更问题Kafka扩容会影响业务吗? Kafka扩容带宽/代理个数/存储空间,都不会影响业务的使用。 Kafka扩容代理规格,在扩容过程中,节点会重启,可能造成闪断。若Topic为单副本,扩容期间无法对该Topic生产消息或消费消息。 扩容过程中涉及数据迁移吗? 扩容过程中不会迁移数据。 扩容/缩容过程中生产消息失败 可能原因: 在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
