爆款云主机低至25.83元/年
查看详情

活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 云聚517 · 好价翼起拼 NEW 爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 聚力AI赋能 天翼云大模型专项 大模型特惠专区·Token Plan 轻享包低至9.9元起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 企业出海解决方案 NEW 助力您的业务扬帆出海,通达全球!
  • 天翼云信创专区 NEW “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
Token服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V4-Flash
  • GLM-5.1
  • Qwen3.5-122B-A10B
  • DeepSeek-V3.2(旗舰版)
  • GLM-5(正式版)
智算一体机
  • 智算一体机
智能体引擎
  • 智能体引擎
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2026智能云生态大会
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      专属云分布式消息服务Kafka_相关内容
      • 功能特性
        本文带您了解计算专属云的功能特性。 专属云(计算独享型)产品具有以下功能特性: 功能名称 特性描述 查看专属云信息 可以查看专属云内计算资源数量、vCPU/内存分配情况,各云资源开通情况。 在专属云中开通资源 在专属云中,云资源(云主机、云硬盘、虚拟私有云VPC、弹性负载均衡等)的创建和使用与公有云完全相同,不同点在于,专属云中的云主机将被创建到专属云中的计算服务器上。 扩容专属云 如果专属云中的计算资源数量不足,无法创建更多的云主机时,可申请增加计算资源的数量。暂不支持在控制台中扩容专属云,请联系专属客户经理或拨打客服热线4008109889提出扩容需求。 退订专属云 暂不支持在控制台中退订专属云,请联系专属客户经理或拨打客服热线4008109889提出退订需求。 专属云(计算独享型)默认提供了计算资源的独占使用。用户开通专属云(计算独享型)服务并申请宿主机资源后,可在专属云的资源池内使用以下服务: 弹性云服务器(在专属云内,云主机实例不计费) 物理机服务 公有镜像 弹性伸缩 云硬盘 云硬盘备份 虚拟私有云 子网 弹性网卡 NAT网关 弹性IP 弹性负载均衡 云监控 统一身份认证服务 标签
        来自:
        帮助文档
        专属云(计算独享型)
        产品简介
        功能特性
      • 备份Kafka元数据
        本章主要介绍翼MapReduce的备份Kafka元数据功能。 操作场景 为了确保Kafka元数据安全,或者系统管理员需要对ZooKeeper进行重大操作(如升级或迁移等)时,需要对Kafka元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Kafka任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中,需要准备一个用于备份数据的备集群,认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置跨Manager集群互信。如果主集群部署为普通模式,则不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 操作步骤 1.在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份,仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS,不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时,每次增量备份都会刷新最近一次全量备份的备份数据,所以不会产生新的恢复点。 6.在“备份配置”,勾选“Kafka”。 说明 若安装了多个Kafka服务,默认备份所有Kafka服务,可单击“指定服务”指定需要备份的Kafka服务。 7.在“Kafka”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。默认保存目录为“ 数据存放路径 /LocalBackup/”。 选择此参数值,还需要配置“最大备份数”,表示备份目录中可保留的备份文件集数量。 “LocalHDFS”:表示将备份文件保存在当前集群的HDFS目录。 选择此参数值,还需要配置以下参数: “目的端路径”:填写备份文件在HDFS中保存的目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如“/hbase”或“/user/hbase/backup”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “目标NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。 选择此参数值,还需要配置以下参数: “目的端NameService名称”:填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称(haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4),也可输入其他已配置的远端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如“/hbase”或“/user/hbase/backup”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “CIFS”:表示将备份文件通过CIFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “OBS”:表示将备份文件保存在OBS中。 选择此参数值,还需要配置以下参数: “目的端路径”:填写保存备份数据的OBS目录。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 说明 MRS 3.1.0及之后版本才支持备份数据到OBS。 8.单击“确定”保存。 9.在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备份目录中为每个备份任务创建子目录,目录名为 “备份任务名任务创建时间” ,用于保存数据源的备份文件。备份文件的名称为 版本号数据源任务执行时间.tar.gz 。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        备份数据
        备份Kafka元数据
      • Kafka目前支持的访问协议类型有哪些?
        本章节主要介绍翼MapReduce组件Kafka支持的协议类型。 Kafka目前支持4种协议类型的访问:PLAINTEXT、SSL、SASLPLAINTEXT、SASLSSL。 PLAINTEXT是最简单的协议,它以明文形式传输数据,不提供任何加密或身份验证机制。 SSL(Secure Sockets Layer) 是一种安全的协议,用于在客户端和服务器之间加密通信。通过使用 SSL,可以确保数据在传输过程中是加密的,从而提高了安全性。SSL协议通常需要在Kafka服务器上配置SSL证书以进行安全通信。 SASLPLAINTEXT (Simple Authentication and Security Layer with Plain Text)使用简单身份验证机制,通常用于在不使用加密的情况下进行用户身份验证,但是用户名和密码以明文形式传输。 SASLSSL (Simple Authentication and Security Layer with SSL)结合了 SSL 和 SASL,提供了更强大的安全性。它通过 SSL 加密通信,并使用 SASL 进行身份验证。这是Kafka中最安全的选项之一,适用于在不同网络环境中进行安全通信。 在Kafka中,选择适当的协议取决于集群的安全需求和网络环境。
        来自:
        帮助文档
        翼MapReduce
        常见问题
        大数据业务开发
        Kafka目前支持的访问协议类型有哪些?
      • 路由到自建Apache Kafka
        本文介绍如何在事件总线EventBridge管理控制台添加自建Apache Kafka作为事件流中的事件目标。 前提条件 开通事件总线EventBridge并委托授权。 创建事件流 1. 登录事件总线EventBridge管理控制台,在左侧导航栏,单击事件流。 2. 在创建事件流面板,设置任务名称和描述,配置以下参数,然后单击创建,如图1所示。 1. 在Source(源) 、Filtering(过滤) 、Transform(转换)配置向导,设置事件提供方、事件过滤、转换规则,单击下一步。 2. 在Sink(目标) 配置向导,选择服务类型自建Apache Kafka,配置参数,详见下方参数说明。 3. 创建事件流后,会有30秒~60秒的延迟时间,您可以在事件流 页面的状态 栏查看启动进度。 参数说明 参数 说明 示例 接入点 Apache Kafka集群broker接入点,由IP与端口号拼接而成,以逗号分隔。 172.17.0.25:9092,192.17.0.26:9092,172.17.0.27:9092 Topic topic名称。 topic1 网络配置 根据业务场景选择对应配置。 专有网络 公网网络 专有网络 VPC 网络配置选择专有网络时必填,选择集群所在的VPC。 vpc 子网 网络配置选择专有网络时必填,选择集群所在的子网。 subnet 认证模式 选择认证模式。 PLAINTEXT SASLPLAINTEXT 用户名:填写SASL用户名 密码:填写SASL密码 SASL鉴权方式:可选PLAIN和SCRAMSHA512 PLAINTEXT 消息体 选择消息体(Body)的内容,更多信息请参考事件内容转换。 完整事件 消息键值 选择消息键值(Key)的内容,更多信息请参考事件内容转换。 空
        来自:
        帮助文档
        事件总线
        用户指南
        事件流
        事件目标
        路由到自建Apache Kafka
      • 计费类
        本节介绍了专属云(计算独享型)计费类相关问题。 专属云(计算独享型)如何计费? 专属云(计算独享型)不同于其他服务,需要开通专属云后才能使用。 已经开通专属云服务的用户,可以通过包年的方式购买计算资源。 购买专属云(计算独享型)后,专属云(计算独享型)为专属云中各服务提供了计算资源,各服务使用的计算资源不再计费,而对于涉及的网络等资源则单独计费。 专属云(计算独享型)内云主机如何计费? 专属云内支持按需购买云主机,计算资源不计费,使用用户已申请的设备节点剩余的计算资源。云主机内云硬盘及弹性IP按需计费。 按需购买云主机时,云硬盘及弹性IP等的按需费用会比包周期的费用偏高,如果您长期使用云主机,建议您先在云硬盘及VPC处包周期购买数据盘及弹性IP,再根据需要将数据盘及弹性IP绑定在按需创建的云主机上。对于系统盘,可购买对应规格的共享存储包。 专属云(计算独享型)节点下购买的云硬盘、公网IP和带宽是否收费? 收费,按照公有云中的计费方式和价格进行计费。 专属云(计算独享型)节点下创建的云主机的系统盘是否收费? 收费,按照公有云中的云硬盘的价格进行计费。
        来自:
        帮助文档
        专属云(计算独享型)
        常见问题
        计费类
      • 收集连接信息
        Kafka实例信息准备 实例连接地址与端口 实例创建后,从Kafka实例控制台的实例详情页签中的接入点信息栏获取。若Kafka实例为集群部署,至少有3个连接地址,在客户端配置时,建议将地址都配上。 如果开启公网访问,还可以使用实例详情页签中的接入点信息栏中的公网连接地址访问Kafka实例。 Topic名称 从Kafka实例控制台的Topic管理页签中获取Topic名称。 SASL信息 如果实例创建时开启SASL访问,则需要获得SASLSSL用户名与密码、SSL证书、Kafka安全机制和SASL认证机制。 SASL用户名在Kafka实例控制台的“用户管理”页签中查看,如果忘记密码,可以点击“修改”重置密码。 SSL证书 SSL证书,在Kafka实例控制台的实例详情页中的接入点信息栏,选择希望的接入类型,点击其右侧的“查看所有IP和端口信息”,在弹窗中点击SSL接入点右侧的“下载”按钮即可获得。 使用Java语言连接实例时,需要用jks格式的证书。使用Python语言连接实例时,需要用pem格式的证书(可通过jks格式证书转换)。
        来自:
        帮助文档
        分布式消息服务Kafka
        开发指南
        收集连接信息
      • 应用场景
        本文主要介绍云搜索服务的应用场景。 日志检索分析 云搜索服务可以采集分析各类以文件形式存储的日志,包括不限于服务器、容器日志等。结合消息队列Kafka、Logstash对日志数据进行采集清洗,进入Elasticsearch或OpenSearch中存储检索分析,并通过Kibana或Dashboards进行可视化呈现。 高稳定:通过读写限流、查询熔断、集群监控等方式保障。 性能优化:通过支持压缩算法、内核增强节省存储空间,增强读写速率、降低响应延迟。 易用性:支持多种统计分析方法、划分维度,丰富的可视化查询,可对接BI实现拖拽式报表。 站内搜索 面对海量数据,提供分布式的信息检索工具,可根据网站内容进行关键字检索,也可搭建商品检索或推荐系统。 实时检索:支持模糊搜索,数据来源多样且持续写入,站内资料或商品信息更新数秒内即可被检索。 分类统计:检索同时可以将符合条件的结果进行排序或分类统计。 多场景适配:可用于网站、移动端应用搜索、企业内部应用等多种需要快速检索的场景。 数据分析 提供开箱即用的可视化、高聚合分析能力,便捷高效地对海量数据实时分析。更好地适配实时多维分析在线查询服务场景,满足高实时性,高查询QPS,低查询延迟的数据分析要求。 快速响应:支持海量的、数据源多样、字段不固定的数据高并发处理,毫秒级响应。 复杂查询:支持大批量模糊关键字搜索及一些聚合的复杂查询。 向量检索:基于向量特征相似度匹配,支持图文搜索、地理位置搜索。
        来自:
        帮助文档
        云搜索服务
        产品介绍
        应用场景
      • 产品定义
        功能特性 分布式消息服务RabbitMQ的功能特性主要体现在以下几个方面: 访问接口 支持通过API调用,提供交换器、队列增删查改等管控工作。管理控制台上进行的操作用于对交换器、队列、用户、策略等增删查改等管控工作。 队列能力 (1)优先级队列:相比低优先级的消息,要优先投递给消费者进行处理。 (2)延迟队列:延时消息,实现秒级精准定时;简单易用,在代码上只需一个参数设置即可完成,解决开源 RabbitMQ无延时队列的痛点。 (3)死信队列:支持被拒绝消息、TTL 过期消息、队列达到最大长度(消息队列 AMQP队列长度无上限)等 3 种类型消息自动进入死信队列的能力,确保消息不丢失。 消息能力 (1)广播消息:在同一个消费组内对所有消费者投递相同消息。 (2)事务消息:支持事务消息,可用于分布式应用。 (3)定时消息:支持消息延迟发送,解决开源 RabbitMQ 无延时队列的痛点。 安全防护 可追溯租户管理操作的记录。 起源于金融系统,支持权限控制和SSL协议。 运维监控 提供集群、交换器、队列的管理;集群、信道、连接、交换器、队列多维度指标监控。 更多信息请参见功能特性。 应用场景 分布式消息服务RabbitMQ适用于电子商务、金融服务、电信、物流和供应链管理、社交媒体、游戏开发、科学和研究领域等行业,通常用于业务的应用解耦、错峰流控与流量削峰、异步通信等场景。更多信息请参见应用场景。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        产品简介
        产品定义
      • ALM-38009 Broker磁盘IO繁忙
        本章节主要介绍ALM38009 Broker磁盘IO繁忙的告警。 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况,当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值(默认80%)时,产生该告警。 平滑次数为3,当该磁盘IO低于阈值(默认80%)时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 38009 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 数据目录名称 Kafka磁盘IO频繁的数据目录名称 对系统的影响 Partition所在的磁盘分区IO过于繁忙,产生告警的Kafka Topic上可能无法写入数据。 可能原因 Topic副本数配置过多。 生产者消息批量写入磁盘的参数设置不合理。该Topic承担的业务流量过大,当前Partition的设置不合理。 处理步骤 检查Topic副本数配置 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”。 1. 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka > KafkaTopic监控”,搜索发生告警的Topic,查看副本数量。 2. 如果副本数量值大于3,则考虑减少该Topic的复制因子(减少为3)。 在FusionInsight客户端执行以下命令对Kafka Topic的副本进行重新规划: kafkareassignpartitions.sh zookeeper {zkhost}:{port} /kafka reassignmentjsonfile {manual assignment json file path} execute 例如: /opt/Bigdata/client/Kafka/kafka/bin/kafkareassignpartitions.sh zookeeper 10.149.0.90:2181,10.149.0.91:2181,10.149.0.92:2181/kafka reassignmentjsonfile expandclusterreassignment.json execute 说明 在expandclusterreassignment.json文件中描述该Topic的Partition迁移到哪些Broker。其中json文件中的内容格式为:{"partitions":[{"topic": " topicName ","partition":1,"replicas": [1,2,3] }],"version":1}。 3. 观察一段时间,看告警是否消失。如果告警没有消失,执行步骤5。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        告警参考(适用于MRS 3.x版本)
        ALM-38009 Broker磁盘IO繁忙
      • kafka实例连接数有限制吗?
        本节介绍kafka实例连接数限制 基准带宽为100MB/s时,Kafka客户端连接数在3000以内。 基准带宽为300MB/s时,Kafka客户端连接数在10000以内。 基准带宽为600MB/s时,Kafka客户端连接数在20000以内。 基准带宽为1200MB/s时,Kafka客户端连接数在20000以内。 实例规格为s7.xlarge.4(通用型4u16g)时,单个代理客户端总连接数上限为1000。 实例规格为s7.2xlarge.4 (通用型8u32g)时,单个代理客户端总连接数上限为2000。 实例规格为s7.4xlarge.4 (通用型16u64g)时,单个代理客户端总连接数上限为4500。 实例规格为c7.xlarge.2(计算增强型4u8g)时,单个代理客户端总连接数上限为4500。 实例规格为c7.2xlarge.2(计算增强型8u16g)时,单个代理客户端总连接数上限为6000。 实例规格为c7.4xlarge.2(计算增强型16u32g)时,单个代理客户端总连接数上限为10000。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        连接问题
        kafka实例连接数有限制吗?
      • 产品咨询
        本文汇总了专属云(计算独享型)服务在使用过程之中常见的产品咨询类问题。 什么是专属云(计算独享型)? 专属云是从物理上隔离的专属虚拟化资源池,用户可为专属资源池订购独享计算单元、存储单元部署业务,并可在天翼云控制中心统一管理。 专属云分为专属云计算独享型(简称计算专属云)和专属云存储独享型(简称存储专属云)。 计算专属云实现计算服务器的物理独享,存储和网络资源逻辑独享。 存储专属云实现计算和存储服务器的物理独享,网络资源逻辑独享。 专属云(计算独享型)与专属云(存储独享型)的区别是什么? 计算独享型为您提供物理独享的宿主机,存储和网络为逻辑独享。 存储独享型为您提供物理独享的宿主机及物理独享的存储服务器,网络为逻辑独享。 专属云中的计算服务器是独占的吗? 是的。 天翼云专属云分为计算独享型与存储独享型两种。计算独享型与存储独享型的计算服务器与公有云服务器都是物理隔离的,您享有完全使用权,您可以: 实时获取专属云内计算服务器vCPU、内存实时使用情况。 根据业务需要,在指定的计算服务器上部署相关服务,实现灵活部署业务。
        来自:
        帮助文档
        专属云(计算独享型)
        常见问题
        产品咨询
      • 配置委托
        节点名称 系统权限 权限描述 CDM Job DAYU Administrator 数据治理中心服务的所有执行权限。 Import GES GES Administrator 图引擎服务的所有执行权限。该角色有依赖,需要在同项目中勾选依赖的角色:Tenant Guest、Server Administrator。 MRS Presto SQL、MRS Spark、MRS Spark Python、MRS Flink Job、 MRS MapReduce MRS Spark SQL、MRS Hive SQL(通过MRS API方式连接MRS集群的) MRS Administrator KMS Administrator MRS Administrator:MapReduce服务的所有执行权限。该角色有依赖,需要在同项目中勾选依赖的角色:Tenant Guest、Server Administrator。 KMS Administrator:数据加密服务加密密钥的管理员权限。 MRS Spark SQL、MRS Hive SQL、MRS Kafka、Kafka Client(通过代理方式连接集群) DAYU Administrator KMS Administrator DAYU Administrator:数据治理中心服务的所有执行权限。 KMS Administrator:数据加密服务加密密钥的管理员权限。 DLI Flink Job、DLI SQL、DLI Spark DLI Service Admin 数据湖探索的所有执行权限。 DWS SQL、Shell、RDS SQL(通过代理方式连接数据源) DAYU Administrator KMS Administrator DAYU Administrator:数据治理中心服务的所有执行权限。 KMS Administrator:数据加密服务加密密钥的管理员权限。 CSS DAYU Administrator Elasticsearch Administrator DAYU Administrator:数据治理中心服务的所有执行权限。 Elasticsearch Administrator:云搜索服务的所有执行权限。该角色有依赖,需要在同项目中勾选依赖的角色:Tenant Guest、Server Administrator。 Create OBS、Delete OBS、OBS Manager OBS OperateAccess 查看桶、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限 SMN SMN Administrator 消息通知服务的所有执行权限。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        配置管理
        配置
        配置委托
      • 开通专属云容器引擎
        本节主要介绍开通专属云容器引擎 专属云容器引擎服务的开通方法及流程: 1、开通专属云容器引擎服务需首先开通专属云服务,请确保您已开通天翼云的专属云服务; 2、天翼云网门户首页上部,在“天翼云官网首页,“产品 > 专属云”中,单击“专属云(计算独享型)”; 3、在产品详情页面中,单击“申请开通”,在申请页面查看申请流程。请与您的专属客户经理确定您的开通需求,如果没有专属客户经理,可拨打天翼云客服电话4008109889咨询。
        来自:
        帮助文档
        专属云容器引擎
        用户指南
        开通专属云容器引擎
      • RocketMQ触发器
        RocketMQ触发器可以订阅分布式消息服务RocketMQ并根据消息触发关联的函数,借此能力,使得函数可以消费指定topic的消息,执行自定义处理逻辑。 注意事项 RocketMQ触发器订阅的分布式消息服务RocketMQ实例必须和函数计算的函数实例在相同地域。 前提条件 创建函数。 开通分布式消息服务RocketMQ实例(RocketMQ引擎类型),详情请参考开通RocketMQ实例。 创建Topic和GroupID。 创建用户,且默认Topic权限设置为:PUBSUB,默认消费组权限为SUB。详情请参考创建用户。 操作步骤 1. 登录函数计算控制台,点击目标函数,进入函数详情。 2. 选择详情下顶部的配置选项卡。 3. 在配置 选项卡中,选择左边的触发器选项卡。 4. 点击创建触发器 ,在弹出的右抽屉中选择RocketMQ触发器,配置参数解释如下。 配置项 操作 示例 触发器类型 选择RocketMQ触发器。 RocketMQ触发器 名称 填写自定义的触发器名称。 rocketmqtrigger 版本或别名 默认值为LATEST,支持选择任意函数版本或函数别名。 LATEST RocketMQ 实例 选择已创建的RocketMQ实例。 Topic 选择已创建的RocketMQ实例的Topic。 Group ID 选择已创建的RocketMQ实例的Group ID。 消费位点 选择消息的消费位点,即触发器从RocketMQ实例开始拉取消息的位置。取值说明如下。 最新位点 :从最新位点开始消费。 最早位点 :从最早位点开始消费。 指定时间戳:从指定时间戳开始消费。 最新位点 调用方式 选择函数调用方式。 同步调用 :指触发器消费topic消息后投递到函数是同步调用,会等待函数响应后继续下一个消息投递。 异步调用:指触发器消费topic消息后投递到函数是异步调用,不会等待函数响应,可以快速消费事件。 同步调用 用户ID RocketMQ实例用户ID,需要在RocketMQ控制台创建。 密钥 RocketMQ实例用户密钥,需要在RocketMQ控制台创建。 触发器启用状态 创建触发器后是否立即启用。默认选择开启,即创建触发器后立即启用触发器。 推送配置 批量推送条数:批量推送的最大值,积压值达到后立刻推送,取值范围为 [1, 10000]。 批量推送间隔:批量推送的最大时间间隔,达到后立刻推送,单位秒,取值[0,15]。默认0无需等待,数据直接推送。 推送格式:函数收到的事件格式,详情请查阅触发器事件消息格式。 重试策略 消息推送函数失败后重试的策略,共两种: 指数退避:指数退避重试,重试5次,重试周期为2,4,8,16,32(秒)。 线性退避:线性退避重试,重试5次,重试周期为1,2,3,4,5(秒)。 容错策略 当重试次数耗尽后仍然失败时的处理方式: 允许容错:当异常发生并超过重试策略配置时直接丢弃。 禁止容错:当异常发生并超过重试策略配置时继续阻塞执行。 死信队列 当容错策略为:允许容错时,可以额外开启死信队列。当开启死信队列时且异常发生并超过重试策略配置时,消息会被投递到指定的消息队列里,当前只支持投递到kafka和rocketmq
        来自:
        帮助文档
        函数计算
        用户指南
        事件触发
        RocketMQ触发器
      • 新建连接
        连接器类型 参数说明 数据仓库服务(DWS) 云数据库MySQL 云数据库PostgreSQL 云数据库SQL Server PostgreSQL Microsoft SQL Server SAP HANA 由于连接这些关系型数据库,所采用的JDBC驱动相同,所以他们的连接参数也一样,具体参数请参见 MySQL 连接MySQL数据库时,具体参数请参见 Oracle 连接Oracle数据库时,具体参数请参见 分库 连接达梦数据库时,具体参数请参见 对象存储服务(OBS) 连接OBS时,具体参数请参见 MRS HDFS FusionInsight HDFS Apache HDFS 连接MRS、Apache Hadoop或FusionInsight HD上的HDFS时,具体参数请参见 MRS HBase FusionInsight HBase Apache HBase 连接MRS、Apache Hadoop或FusionInsight HD上的HBase时,具体参数请参见 MRS Hive FusionInsight Hive Apache Hive 连接MRS、Apache Hadoop或FusionInsight HD上的Hive时,具体参数请参见 表格存储服务(CloudTable) 连接CloudTable时,具体参数请参见 FTP SFTP 连接FTP或SFTP服务器时,具体参数请参见 HTTP 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时,只需要配置连接名称,具体URL在创建作业时配置。 MongoDB 连接本地MongoDB数据库时,具体参数请参见 文档数据库服务(DDS) 连接DDS时,具体参数请参见 Redis 分布式缓存服务(DCS) 连接Redis或DCS时,具体参数请参见 MRS Kafka Apache Kafka 连接MRS Kafka或Apache Kafka数据源时,具体参数请参见 云搜索服务 Elasticsearch 连接云搜索服务或Elasticsearch时,具体参数请参见 数据湖探索(DLI) 连接数据湖探索服务时,具体参数请参见 DMS Kafka 连接DMS的Kafka队列时,具体参数请参见 。 Cassandra 连接Cassandra时,具体参数请参见
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据集成
        管理连接
        新建连接
      • 产品定义
        本文为您介绍什么是专属云(计算独享型)。 专属云(CTDeC,Dedicated Cloud)是从公有云上物理隔离的专属虚拟化资源池,用户独享专用的服务器集群,并可在控制中心统一管理。 专属云分为专属云计算独享型(简称计算专属云)和专属云存储独享型(简称存储专属云): 计算专属云实现计算资源的物理独享,存储和网络资源逻辑独享。 存储专属云实现计算和存储资源的物理独享,网络资源逻辑独享。 计算专属云是指在中国电信已经建设的公有云资源池上隔离出来的专属虚拟计算资源池,支持用户申请独占的物理设备,独享物理隔离的计算资源。用户通过独立的租户在该资源池内申请宿主机资源后,可以在其上发放弹性云服务器,用户可对专属计算资源统一管理。 产品架构 专属云(计算独享型)服务的产品架构如下图所示: 计算专属云实现计算资源的物理独享与存储资源的逻辑独享。 存储专属云实现计算资源与存储资源的物理独享。 计算专属云与存储专属云实现网络资源逻辑独享。 计算专属云、存储专属云与公有云使用统一的控制中心。控制中心采用多租户模式,分权分域地管理用户资源。 计算专属云可支持宿主机HA功能,前提条件为已预留HA设备。通过宿主机HA功能,云主机恢复成功率达到99.5%以上,云主机平均恢复时长可控制在90s以内,能够显著增强系统的稳定性。建议计算专属云中均预留HA设备以保证业务的正常运行。更多HA问题可查看 常见问题。
        来自:
        帮助文档
        专属云(计算独享型)
        产品简介
        产品定义
      • 应用场景
        本文介绍分布式消息服务RocketMQ可广泛应用于分布式系统异步通信、数据同步和交换、削峰填谷等场景。 行业应用 RocketMQ在多个行业中都有广泛的应用。以下是一些典型的行业应用场景: 1. 电子商务:在电子商务行业中,RocketMQ可以用于订单处理、库存管理、支付通知等异步通信和事件驱动的场景。它可以实现订单的可靠传递和处理,同时支持高并发和高可扩展性的需求。 2. 金融服务:在金融服务行业中,RocketMQ可以用于实时交易通知、资金结算、风险控制等关键业务场景。它可以确保交易消息的可靠传递和顺序处理,同时支持高吞吐量和低延迟的要求。 3. 物流与供应链:在物流与供应链行业中,RocketMQ可以用于实时物流跟踪、订单状态更新、库存管理等消息通知和事件驱动的场景。它可以确保供应链各个环节的信息同步和协调,提高物流效率和准确性。 4. 社交媒体:在社交媒体行业中,RocketMQ可以用于实时消息推送、用户关系管理、活动通知等场景。它可以支持大规模用户同时在线的需求,确保消息的低延迟和高可靠性。 5. 物联网:在物联网行业中,RocketMQ可以用于设备状态监控、告警通知、数据采集等场景。它可以处理大量的设备消息,并支持设备之间的实时通信和协作。 这些是一些典型的RocketMQ行业应用场景,由于RocketMQ的高性能和可靠性,它在更多行业中也有广泛的应用。 分布式消息服务RocketMQ主要适用于以下几种业务场景:
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        应用场景
      • 创建用户并授权使用RabbitMQ
        本章节主要介绍创建用户并授权使用分布式消息服务RabbitMQ。 如果您需要对您所拥有的分布式消息服务RabbitMQ服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的帐号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用分布式消息服务RabbitMQ资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将分布式消息服务RabbitMQ资源委托给更专业、高效的其他帐号或者云服务,这些帐号或者云服务可以根据权限进行代运维。 如果帐号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用分布式消息服务RabbitMQ服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 说明 分布式消息服务RabbitMQ服务的权限与策略基于分布式消息服务DMS,因此在IAM服务中为RabbitMQ分配用户与权限时,请选择并使用“DMS”的权限与策略。 前提条件 给用户组授权之前,请您了解用户组可以添加的分布式消息服务RabbitMQ系统策略,并结合实际需求进行选择,分布式消息服务RabbitMQ支持的系统策略及策略间的对比,请参见:权限管理。 示例流程 图1 给用户授权RabbitMQ权限流程 1. 创建用户组并授权 在IAM控制台创建用户组,并授予RabbitMQ的只读权限“DMS ReadOnlyAccess”。 2. 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 3. 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择分布式消息服务RabbitMQ,进入RabbitMQ实例主界面,单击右上角“购买RabbitMQ实例”,尝试购买RabbitMQ实例,如果无法购买RabbitMQ实例(假设当前权限仅包含DMS ReadOnlyAccess),表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘(假设当前策略仅包含DMS ReadOnlyAccess),若提示权限不足,表示“DMS ReadOnlyAccess”已生效。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        用户指南
        权限管理
        创建用户并授权使用RabbitMQ
      • 申请专属云(计算独享型)服务
        本节介绍了专属云(计算独享型)申请时候的步骤。 下面为您介绍如何申请专属云(计算独享型)服务。 1、登录天翼云控制中心,切换节点; 2、单击“控制中心”,选择【专属云】; 3、在申请页面查看申请流程。请与您的专属客户经理确定您的专属云开通需求,如果没有专属客户经理,可拨打天翼云客服电话4008109889咨询; 4、待物理服务器到位后,专属云(计算独享型)资源将在2天内完成开通。
        来自:
        帮助文档
        专属云(计算独享型)
        快速入门
        申请专属云(计算独享型)服务
      • 专属云(计算独享型)与其他服务的关系
        本节介绍了专属云(计算独享型)与其他服务的关系。 1.专属云(计算独享型)产品是在公有云上隔离出来的专属虚拟计算资源池,可实现云主机的计算资源物理独享; 2.专属云产品不能够当物理裸机使用; 3.订购专属云(计算独享型)产品的用户还需要订购关联服务,关联服务包括IP、带宽、云硬盘等产品,需要单独收费; 4.专属云产品需要项目制发货,请联系客户经理,如果没有客户经理可拨打天翼云客服电话4008109889咨询; 5.本产品不支持无理由退订。
        来自:
        帮助文档
        专属云(计算独享型)
        产品介绍
        专属云(计算独享型)与其他服务的关系
      • Kafka认证方式
        本章节介绍Kafka认证方式。 PLAINTEXT方式 无安全认证方式,仅需输入IP和端口进行连接。 图 PLAINTEXT SASLPLAINTEXT认证 使用SASL机制连接Kafka,需要设置SASL相关配置。 图 SASLPLAINTEXT 表 参数信息 参数 描述 SASL机制 用于客户端连接的SASL机制,支持以下四项,Kafka server默认是 GSSAPI 机制。 GSSAPI PLAIN SCRAMSHA256 SCRAMSHA512 令牌委托 是否为委托令牌鉴权,SASL机制选择“SCRAMSHA256”或者“SCRAMSHA512”时可见。 用户名 登录使用的用户名。 密码 登录使用的密码 SSL认证 使用SSL加密方式连接Kafka,需要设置SSL相关配置。 图 SSL 表 参数信息 参数 描述 Truststore证书 后缀名为jks的SSL证书。 Truststore证书密码 证书对应的秘钥。 主机名端点识别算法 指定通过服务端证书验证服务端主机名的端点识别算法,选填,不填表示禁用主机名验证。 SSL双向认证 是否开启SSL双向认证。 Keystore证书 SSL双向认证开启可见,需要上传后缀名为jks的双向认证证书。 Keystore证书密码 SSL双向认证开启可见,SSL双向认证证书对应的秘钥。 Keystore私钥密码 选填,Keystore证书中私钥的密码。
        来自:
        帮助文档
        数据库复制
        用户指南
        实时同步
        同步场景操作参考
        Kafka认证方式
      • 应用场景
        本节介绍了分布式消息服务RabbitMQ产品常见应用场景。 行业应用 RabbitMQ在需要高效、可靠的消息传递和处理的任何行业都有广泛的应用,常见行业及其实际业务场景如下。 电子商务:RabbitMQ可用于处理订单和库存管理,处理支付通知及其它与物流相关的消息。 金融服务:RabbitMQ可以用于处理实时交易数据、通知和报价,并支持金融机构之间的异步通信。 电信:RabbitMQ可用于处理电话呼叫记录、短信和多媒体消息的分发等。 物流和供应链管理:RabbitMQ可以用于跟踪货物的位置和状态,以及协调供应链中各个环节的消息传递。 社交媒体:RabbitMQ可以用于实现实时消息推送、聊天和通知功能,以及处理用户生成内容。 游戏开发:RabbitMQ可用于处理游戏中的多人互动、玩家间的消息传递和协作。 科学和研究领域:RabbitMQ可以用于分布式计算、任务队列和数据流处理。 RabbitMQ通常用于业务的应用解耦、错峰流控与流量削峰和异步通信场景。 应用解耦 RabbitMQ可以将应用程序之间的耦合度降低,使得系统更加灵活和可扩展。以下是一些使用RabbitMQ实现应用解耦的举例: 订单和库存管理系统:假设有一个在线商店,订单系统负责接收和处理用户的订单,而库存管理系统则负责跟踪库存并更新库存状态。通过使用RabbitMQ,订单系统可以将订单信息发送到一个名为"orderqueue"的消息队列中,而库存管理系统则监听该队列,并在收到订单消息时进行库存更新。这样,订单系统和库存管理系统可以解耦,并且可以独立地进行扩展和维护。 日志处理系统:在一个大规模的分布式系统中,各个服务都会生成大量的日志信息。为了对这些日志进行集中管理和分析,可以使用RabbitMQ作为日志消息的中间代理。每个服务将其产生的日志消息发送到RabbitMQ的一个名为"logqueue"的消息队列中,然后日志处理系统从该队列中消费日志消息,并进行相应的处理和存储。这样,每个服务的日志处理可以独立进行,互不影响。 流量控制系统:在一个微服务架构中,可能会有多个服务实例同时运行,当某个服务实例过载时,传统的负载均衡器无法有效地控制流量分发。通过使用RabbitMQ,可以实现基于消息的流量控制。每个服务实例将其当前的负载情况发送到一个名为"loadqueue"的消息队列中,一个负载控制器订阅该队列,并根据各个服务实例的负载情况来动态调整流量分发。这样,流量控制仍然可以在应用层面进行解耦。
        来自:
        帮助文档
        分布式消息服务RabbitMQ
        产品简介
        应用场景
      • 什么是专属云关系型数据库
        本章介绍什么是专属云关系型数据库,有哪些部署前提。 专属云关系数据库PostgreSQL版(CTRDS PostgreSQL)是一款基于云计算平台的在线独享关系型数据库服务,提供单机、主备、只读三种实例类型,提供备份、恢复、扩容、监控等数据库服务。相对于公有云关系型数据库来说,专属云关系型数据库部署在用户独享的专属计算资源内,与专属计算及专属存储共同提供整体的专属云服务。 专属云关系型数据库按照项目制部署,需要具备以下几个条件方可部署: 1. 专属计算资源采用C系列主机。 2. 如采用专属存储,请购买超高IO的专属存储资源。 3. 主备实例和只读实例需要满足反亲和性,如要开通主备数据库或单机+只读实例,需要至少2台以上专属计算宿主机,如要开通主备+只读实例,则至少需要3台以上专属计算宿主机。 备注:目前专属云关系数据库仅支持按需付费。
        来自:
        帮助文档
        关系数据库PostgreSQL版
        产品介绍
        什么是专属云关系型数据库
      • 功能特性
        本文为您介绍分布式消息服务MQTT的产品功能。 消息模型 支持发布/订阅消息模型,提供一对多的消息分发方式。这意味着一个发布者(发布消息的客户端)可以将消息发送到一个或多个订阅者(订阅相同主题的客户端),而不需要建立直接的点对点连接。 以下是MQTT的发布/订阅消息模型的关键特点: 主题(Topic): 发布者在发送消息时会将消息与一个主题相关联。主题是消息的分类或标识,它用于告诉Broker消息应该发送到哪些订阅者。订阅者可以选择订阅感兴趣的主题,以接收与这些主题相关的消息。 订阅(Subscribe): 订阅者告诉MQTT Broker它对哪些主题感兴趣。一旦订阅者订阅了特定主题,Broker会将匹配的消息发送给订阅者。订阅者可以同时订阅多个主题。 发布(Publish): 发布者将消息发送到特定主题,然后Broker负责将消息传递给所有订阅了该主题的订阅者。这样,消息可以广播给所有订阅者,实现了一对多的消息分发。 多对多通信: MQTT支持多对多通信,这意味着多个发布者可以同时发布消息到相同或不同的主题,多个订阅者可以同时订阅一个或多个主题。这种灵活性使MQTT适用于各种应用场景,包括物联网、实时通信和分布式系统。 通配符支持: MQTT还支持通配符订阅,订阅者可以使用通配符来匹配多个主题,从而接收与通配符模式匹配的消息。这提供了更高级别的消息过滤和选择性订阅。 总之,MQTT的发布/订阅消息模型使其成为一种非常灵活的消息传递协议,特别适用于需要一对多消息分发的应用,如物联网、实时监控、传感器数据采集等。它的轻量级特性和广泛的跨平台支持也使其成为了许多分布式系统和应用程序的首选通信协议之一。
        来自:
        帮助文档
        分布式消息服务MQTT
        产品介绍
        功能特性
      • 消息监控
        KafkaConsumer 总消费次数&总消费字节数 显示总消费次数和总消费字节数的趋势图。 总消费次数:这个指标表示消费者从Kafka中成功读取并处理的消息数量。它是一个计数器,用于跟踪消费者在其生命周期内接收到的消息总数。这对于监控消费者的工作负载和性能非常有用,可以帮助开发者了解消费者是否有效地从生产者那里获取了数据。 总消费字节数:这个指标表示消费者从Kafka中成功读取的数据总量,以字节为单位。它考虑了每条消息的大小,并累加起来给出一个总和。这对于评估网络带宽使用情况、存储需求以及数据传输效率等方面非常重要。例如,如果一个主题有20个分区和5个消费者,每个消费者需要至少4MB的可用内存来接收记录。因此,通过监控总消费字节数,可以更好地理解数据流的规模和处理速度。 这两个指标共同提供了对Kafka消费者行为的全面视图,使得开发者能够优化系统性能,确保数据处理的高效性和稳定性。 通过消息队列接收消息 显示topic列表,表头如下。 topic:是指消息队列中接收到的特定主题(topic)的消息。主题用于将相关的消息进行归类和分组。 调用次数:是指在一段时间内,通过消息队列接收消息的总调用次数。每次调用消息队列的接收操作(例如KafkaConsumer的poll()方法)并成功获取一条消息都会被计算为一次调用。 平均响应时间(ms):是指从发起接收请求到接收到消息的平均时间。它表示了接收消息的速度和效率。 错误数:表示在接收消息的过程中发生的错误次数。这些错误可能包括接收消息失败、网络连接问题或其他异常情况。 最慢调用(ms):是指在一段时间内,接收消息过程中最耗时的一次调用的时间。它反映了接收消息中的性能瓶颈或延迟情况。 操作:点击详情,出现弹层显示调用次数、平均响应时间(ms)、错误数在筛选时间段内的趋势图。 这些指标共同构成了对消息队列系统性能和可靠性的全面评估,有助于管理员和开发者优化系统配置,提高系统的稳定性和效率。
        来自:
        帮助文档
        应用性能监控 APM
        用户指南
        应用列表
        应用详情
        消息监控
      • 应用场景
        专属云(存储独享型)应用广泛,本文介绍存储专属云的典型应用场景。 搭配计算专属云 在安全、性能及可靠性要求极高的应用场景,如金融、政府等行业,通过物理资源物理隔离和网络资源逻辑隔离的结合,可以有效地保障业务的安全运行。此外,数据多副本保存技术和多种安全防护产品的应用,可以进一步提升系统的稳定性和安全性。 存储专属云可以与计算专属云中的云主机进行对接,以满足高性能、稳定性以及数据安全和监管等方面的业务需求。专属云服务不仅提供了高度的数据安全性,还具备了强大的扩展性和灵活性,可以满足不同行业和企业的个性化需求。 混合负载 针对专属客户的需求,开发人员在公有云上独立划分计算或专区,确保客户的数据在独享的计算或存储物理服务器中,与其他公有云客户不共享物理服务器。客户可以将专属云建设在公有云资源池上,专属云(存储独享型)服务支持多并发、高带宽应用场景,可以同时支持HPC、数据库、Email、OA办公、Web等多个应用混合部署。 与其他公有云服务相比,专属云具有更高的灵活性和可控性,客户可以根据自己的需求进行定制和扩展,无需担心与其他客户共享资源的问题。同时,专属云还具有更好的安全性和可靠性,可以为客户提供更加可靠的计算和存储服务。
        来自:
        帮助文档
        专属云(存储独享型)
        产品简介
        应用场景
      • 业务过载最佳实践
        本节介绍Kafka业务过载最佳实践 方案概述 Kafka业务过载,一般表现为CPU使用率高、磁盘写满的现象。 当CPU使用率过高时,系统的运行速度会降低,并有加速硬件损坏的风险。 当磁盘写满时,相应磁盘上的Kafka日志目录会出现offline问题。此时,该磁盘上的分区副本不可读写,降低了分区的可用性和容错能力。同时由于Leader分区迁移到其他节点,会增加其他节点的负载。 CPU使用率高的原因 数据操作相关线程数(num.io.threads、num.network.threads、num.replica.fetchers)过多,导致CPU繁忙。 分区设置不合理,所有的生产和消费都集中在某个节点上,导致CPU利用率高。 磁盘写满的原因 业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。 Topic的数据老化时间设置过大,保存了过多的历史数据,容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施: 优化线程参数num.io.threads、num.network.threads和num.replica.fetchers的配置。 num.io.threads和num.network.threads建议配置为磁盘个数的倍数,但不能超过CPU核数。 num.replica.fetchers建议配置不超过5。 合理设置Topic的分区,分区一般设置为节点个数的倍数。 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。 合理设置Topic的数据老化时间,减少历史数据的容量大小。 在CPU资源情况可控的情况下,使用压缩算法对数据进行压缩。 常用的压缩算法包括:ZIP,GZIP,SNAPPY,LZ4等。选择压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。对于性能要求高的系统,可以选择压缩速度快的算法,比如LZ4;对于需要更高压缩比的系统,可以选择压缩率高的算法,比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。 Properties props new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("acks", "all"); props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 开启GZIP压缩 props.put("compression.type", "gzip"); Producer producer new KafkaProducer<>(props);
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        业务过载最佳实践
      • 支持的功能模块
        应用架构 支持的功能模块 应用双活 管控通道 注册配置中心RCC 应用双活 接入层 云原生网关CGW 应用双活 服务层 SpringCloud 应用双活 服务层 Dubbo 应用双活 数据层 关系型数据库MySQL版 应用双活 数据层 关系型数据库PostgreSQL版 应用双活 消息层 分布式消息服务RocketMQ 数据双活 管控通道 注册配置中心RCC 数据双活 接入层 云原生网关CGW 数据双活 服务层 SpringCloud 数据双活 服务层 Dubbo 数据双活 数据层 关系型数据库MySQL版 数据双活 数据层 关系型数据库PostgreSQL版 数据双活 消息层 分布式消息服务RocketMQ
        来自:
        帮助文档
        应用高可用
        购买指南
        应用容灾多活计费说明
        支持的功能模块
      • 消费延迟
        Kafka的消费机制是由客户端主动去服务端拉取消息进行消费的。因此,一般来说,如果客户端能够及时消费,则不会产生较大延迟。如果产生了较大延迟,请先关注是否有堆积,并注意提高消费速度。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        消费者实践
        消费延迟
      • 产品规格
        本章节介绍了分布式消息服务RocketMQ的产品规格。 分布式消息服务RocketMQ兼容开源RocketMQ 4.8.0,具体产品规格如下。 分布式消息服务RocketMQ 分布式消息服务RocketMQ产品规格由以下六个维度定义: 资源规格:定义使用的弹性云服务器的规格类型。 代理个数:定义实例的规模。 存储容量:定义单个代理可以保存的存储容量。 单个代理TPS:定义单个代理的TPS性能。 单个代理Topic数上限:定义单个代理可以创建的Topic数量。 单个代理消费组数上限:定义单个代理可以创建的消费组数量。 分布式消息服务RocketMQ支持的产品规格如表1所示。 表1 实例规格说明 资源规格 代理(个) 存储容量(GB/代理) 单个代理TPS 单个代理Topic数上限 单个代理消费组数上限 rocketmq.4u8g.cluster.small 1 ~ 2 300 ~ 60000 15000 2000 2000 rocketmq.4u8g.cluster 1 ~ 10 300 ~ 600000 20000 4000 4000 rocketmq.8u16g.cluster 1 ~ 10 300 ~ 900000 25000 8000 8000 rocketmq.12u24g.cluster 1 ~ 10 300 ~ 900000 28000 12000 12000 rocketmq.16u32g.cluster 1 ~ 10 300 ~ 900000 30000 16000 16000
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        产品规格
      • 功能特性
        本文介绍分布式消息服务RocketMQ的功能特性。 消息生产 消息压缩:将较大的消息进行压缩后发送到服务端,有效利用带宽。 延迟消息:设计消费时延,消息发送到服务端后,过了预设时间才可以被消费。 事务消息:根据预设的事务,事务消息可保证分布式系统之间的数据最终一致。 消息消费 有序消费:支持普通有序消息和严格有序消息两种方式。 集群消费:一个主题可被一个或多个消费者组消费,消费者组中消费者实例可平均分摊消费信息。 消费位置设置:支持设置消费组首次启动消费的位置,包括队列头、队列尾及由客户端指定。 消息回溯:支持按时间回溯消费进度,将订阅组在某主题上的消费进度重置到过去或者未来。 完善的运维能力 应用用户管理:集群租户隔离,应用接入集群权限管理。 主题管理:支持对实例下的主题进行管理,执行创建删除等操作。 订阅组管理:支持对实例下的订阅组进行管理。 生产者和消费者管理:用户可查看当前实例下的生产者和消费者信息,并实时更新。 消息查询:按消息ID、消息逻辑偏移量、消息key。 完善的运维功能,节点状态检测、启停;实例状态检测、启停;SLA监控等。 顺序消息 顺序消息是指消费消息的顺序要同发送消息的顺序一致,在RocketMQ中,主要有两种有序消息:全局有序消息和局部有序消息(又称普通有序消息、分区有序消息)。 普通有序消息:在正常情况下可以保证完全的顺序消息,但是一旦发生通信异常造成Broker重启,队列总数发生变化,哈希取模后定位的队列会变化,因此会产生短暂的消息顺序不一致。如果业务能容忍在集群异常情况(如某个Broker宕机或者重启)下消息短暂的乱序,使用普通顺序方式比较合适。 严格有序消息:无论正常异常情况都能保证顺序,但是牺牲了分布式Failover特性,即Broker集群中只要有一台机器不可用,则整个集群都不可用(或者影响hash 值对应队列的使用),服务可用性大大降低。如果服务器部署为同步双写模式,此缺陷可通过备机自动切换为主避免,不过仍然会存在几分钟的服务不可用。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        功能特性
      • 产品定义
        本节内容介绍了专属云(计算独享型)的产品定义。 专属云(计算独享型)(CTDeC,Dedicated Cloud)是在公有云上隔离出来的专属虚拟计算资源池,用户独享物理隔离的计算资源。在专属云内,用户可在管理控制台统一管理,就像自建私有云一样灵活使用专属云资源。 用户需要申请专属云(计算独享型)服务后才予以开通权限,请联系专属客户经理提交开通申请,或者拨打天翼云客服电话4008109889。
        来自:
        帮助文档
        专属云(计算独享型)
        产品介绍
        产品定义
      • 1
      • ...
      • 11
      • 12
      • 13
      • 14
      • 15
      • ...
      • 691
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      云聚517 · 好价翼起拼

      爆款云主机低至25.83元/年,参与拼团享更多优惠,拼成得额外优惠券

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      聚力AI赋能 天翼云大模型专项

      大模型特惠专区·Token Plan 轻享包低至9.9元起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      企业出海解决方案

      助力您的业务扬帆出海,通达全球!

      天翼云信创专区

      “一云多芯、一云多态”,国产化软件全面适配,国产操作系统及硬件芯片支持丰富

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      产品推荐

      弹性云主机 ECS

      镜像服务 IMS

      轻量型云主机

      AI Store

      公共算力服务

      应用托管

      科研助手

      一站式智算服务平台

      智算一体机

      推荐文档

      消费重置

      域名实名认证

      退订

      玩转天翼云⑦:Linux扩展Swap分区的三种方法

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 息壤智算平台
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号