活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业应用上云专场 产品组合下单即享折上9折起，助力企业快速上云
- 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛，数款产品享受线上订购超值特惠
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
消息队列Kafka版_相关内容
- 获取Rest Client算子返回值教程如下图所示,Rest Client调用了MRS服务查询集群列表的API,然后执行Kafka Client发送消息。 使用场景:Kafka Client发送字符串消息,消息内容为集群列表中第一个集群的cluster Id。
- 产品价格分布式消息服务Kafka的产品价格,分为老规格和新规格两个类型,老规格是指“100MB/s”命名格式的规格,新规格是指“kafka.2u4g.cluster”命名格式的规格。自新规格正式上线之日起,用户新订购实例只能订购新规格、无法新订购老规格实例,但用户已订购的老规格实例,可正常使用,也可以进行规格变更。 详细的产品价格如下: 一、 老规格 分布式消息服务Kafka老规格支持包周期和按需两种计费方式,您可根据您的实际情况选择不同的计费方式。
- 使用Elasticsearch、Kibana实例以及自建Logstash搭建日志分析平台Logstash 支持多种数据源(如文件、数据库、消息队列),并且能够通过过滤器对数据进行处理,比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具,允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图,可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器,用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。
- 配置资源池的队列容量策略本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后,需要为Yarn任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。 管理员可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,Yarn任务队列与资源池形成关联关系。 前提条件 已添加队列,即已创建关联了计算资源的租户。 操作步骤 登录FusionInsight Manager。
- 配置资源池的队列容量策略本章节主要介绍配置资源池的队列容量策略。 操作场景 添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS Manager配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下,所有队列与“Default”资源池存在关联关系。
- 如何实现RabbitMQ的高性能使用较小的队列长度 队列中存在大量消息时,会给内存使用带来沉重的负担,为了释放内存,RabbitMQ会将消息刷新到磁盘。这个过程通常需要时间,由于需要重建索引,重启包含大量消息的集群非常耗时。当刷盘的消息过多时,会阻塞队列处理消息,从而降低队列速度,对RabbitMQ节点的性能产生负面影响。 要获得最佳性能,应尽可能缩短队列。建议始终保持队列消息堆积的数量在0左右。 对于经常受到消息峰值影响的应用程序,和对吞吐量要求较高的应用程序,建议在队列上设置最大长度。
- 配置资源池的队列容量策略本章节主要介绍如何配置资源池的队列容量策略。 操作场景 添加资源池后,需要为YARN任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后,YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下,所有队列与“default”资源池存在关联关系。
- ALM-18022 Yarn队列资源不足本章节主要介绍ALM-18022 Yarn队列资源不足的告警。 告警解释 告警模块按60秒周期检测Yarn队列资源,当队列可用资源或队列AM(ApplicationMaster)可用资源不足时,产生该告警。 当可用资源充足时,该告警自动消除。 告警属性 告警ID 告警级别 是否自动清除 18022 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。
- ALM-38001 Kafka磁盘容量不足例如: kafka-topics.sh --zookeeper “ ZooKeeper 地址: 2181/kafka ”--alter --topic “ Topic 名称 ” --config retention.ms= “ 保存时间 ” 通过Kafka客户端对Topic的Partition进行扩展,命令行操作命令如下: kafka-topics.sh --zookeeper“ ZooKeeper 地址 :2181/kafka ” --alter --topic “ Topic 名称 ”
- 配置资源池的队列容量策略本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后,需要为Yarn任务队列配置在此资源池中可使用资源的容量策略,队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列,可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池,除了默认资源池。
- 计费类本节介绍了分布式消息服务RabbitMQ产品常见计费类问题。 支持哪些付费方式? 支持包年包月和按需计费。 产品规格可选择哪些? 分布式消息服务RabbitMQ是基于高可用、分布式集群技术,完全兼容RabbitMQ开源社区,支持消息路由、事务消息、优先级队列、延迟队列、死信队列、镜像队列等功能的消息云服务,更多产品信息请参见产品规格。 如何选择磁盘空间?
- 如何实现RabbitMQ的高性能本章节基于吞吐量和可靠性两个指标,指导您通过设置队列长度、集群负载均衡、优先队列数量等参数,实现RabbitMQ的高性能。 使用较小的队列长度 队列中存在大量消息时,会给内存使用带来沉重的负担,为了释放内存,RabbitMQ会将消息刷新到磁盘。这个过程通常需要时间,由于需要重建索引,重启包含大量消息的集群非常耗时。当刷盘的消息过多时,会阻塞队列处理消息,从而降低队列速度,对RabbitMQ节点的性能产生负面影响。 要获得最佳性能,应尽可能缩短队列。建议始终保持队列消息堆积的数量在0左右。
- 操作类1.消息被拒绝并且没有设置重新入队:(NACK || Reject ) && requeue == false 2.消息过期(消息或者队列的TTL设置) 3.消息堆积,并且队列达到最大长度,先入队的消息编程DL。 解决方案:可以在声明队列时,指定一个Dead Letter Exchange,来实现Dead Letter的转发,保证消息不会丢失。 如何进行消息持久化? 所谓持久化,就是RabbitMQ将内存中的数据(比如交换机、队列、消息等)固化到磁盘,以防止异常情况的发生时造成数据丢失。
- kafkaConsumer每秒消费消息数Intkafka_consumer_records_per_request_avg单次请求平均消息数Intkafka_consumer_records_consumed_rate总消费次数Intkafka_consumer_records_per_request_avg总消费字节数IntKafka消费方法监控 (Consumer,Kafka消费方法监控)errorCount错误数IntinvokeCount调用次数IntmaxTime最慢调用Intms0To10Count0-10ms
- 创建Kafka_SSL类型跨源认证本章节主要介绍如何创建Kafka_SSL类型跨源认证。 操作场景 通过在DLI控制台创建的Kafka_SSL类型的跨源认证,将Kafka的认证信息存储到DLI,无需在SQL作业中配置帐号密码,安全访问Kafka实例。 说明MRS Kafka开启Kerberos认证,未开启SSL认证时,创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。MRS Kafka开启Kerberos认证,同时开启了SSL认证时,需要同时创建Kerberos和Kafka_SSL类型的认证。
- ALM-14022 NameNode RPC队列平均时间超过阈值告警解释 系统每30秒周期性检测NameNode的RPC队列平均时间,并把实际的NameNode的RPC队列平均时间和阈值(默认为200ms)相比较。当检测到NameNode的RPC队列平均时间连续多次(默认为10次)超出阈值范围时,产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > HDFS”修改阈值。
- 计费项计费说明 分布式消息服务Kafka的计费项由实例费用和存储空间费用组成。 表 分布式消息服务Kafka计费项 计费项计费项说明适用的计费模式计费公式实例费用计费因子:代理规格和代理数量包年/包月、按需计费实例规格单价 * 购买时长实例规格单价请参考产品价格。存储空间费用计费因子:云硬盘类型、容量包年/包月、按需计费存储规格单价 * 购买时长存储规格单价请参考产品价格。
- 计费模式适用于消息资源需求波动的场景,可以随时开通,随时删除。 变更计费模式 天翼云分布式消息服务Kafka支持计费模式变更,具体操作请参考计费互转。
- 计费项本节主要介绍分布式消息服务Kafka的计费项 分布式消息服务Kafka的计费项由实例费用和存储费用组成,具体费用详情可参考产品资费。 计费项 计费项说明 使用的计费模式 计费公式 实例费用 计费因子:代理规格和代理数量 包年/包月、按需计费 实例规格单价* 代理数量 * 购买时长 存储空间费用 计费因子:云硬盘类型、容量大小 包年/包月、按需计费 云硬盘规格单价 * 单个代理存储大小 * 代理数量 * 购买时长
- 业务过载最佳实践本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点,会增加其他节点的负载。
- Kafka健康检查指标项说明服务健康状态 指标项名称 :服务状态 指标项含义 :检查Kafka服务状态是否正常。如果状态不正常,则认为不健康。 恢复指导 :如果该指标项异常,建议参见“Kafka服务不可用”告警进行处理。 检查告警 指标项名称 :告警信息 指标项含义 :检查服务是否存在未清除的告警。如果存在,则认为不健康。 恢复指导 :如果该指标项异常,建议参见告警进行处理。
- 使用IAM授权的云服务云服务名称 区域 控制台 API 企业项目 系统策略 分布式消息服务Kafka 全局 是 是 是 有 分布式消息服务RabbitMQ 全局 是 是 是 有 分布式消息服务RocketMQ 全局 是 是 是 有 容器云服务引擎CCSE 全局 是 是 是 有 微服务应用平台MSAP 全局 是 是 否 有 安全及管理 云服务名称 区域 控制台 API 企业项目 系统策略 云监控 全局 是 否 是 有 服务器安全卫士(原生版) 全局 是 是 否 有 Web
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
