活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 安全隔离版OpenClaw NEW OpenClaw云服务器专属“龙虾“套餐低至1.5折起
  • 青云志云端助力计划 NEW 一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云
  • 云上钜惠 爆款云主机全场特惠,2核4G只要1.8折起!
  • 中小企业服务商合作专区 国家云助力中小企业腾飞,高额上云补贴重磅上线
  • 出海产品促销专区 NEW 爆款云主机低至2折,高性价比,不限新老速来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

息壤智算

领先开放的智算服务平台,提供算力、平台、数据、模型、应用“五位一体”智算服务体系,构建全流程的AI基础设施能力
AI Store
  • 算力市场
  • 模型市场
  • 应用市场
  • MCP市场
公共算力服务
  • 裸金属
  • 定制裸金属
训推服务
  • 模型开发
  • 训练任务
  • 服务部署
模型推理服务
  • 模型广场
  • 体验中心
  • 服务接入
应用托管
  • 应用实例
科研助手
  • 科研智能体
  • 科研服务
  • 开发机
  • 并行计算
大模型
  • DeepSeek-V3.1
  • DeepSeek-R1-0528
  • DeepSeek-V3-0324
  • Qwen3-235B-A22B
  • Qwen3-32B
智算一体机
  • 智算一体机
模型适配专家服务
  • 模型适配专家服务
算力服务商
  • 入驻算力服务商

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场进入AI Store创新解决方案公有云生态专区智云上海应用生态专区
建站工具
  • 新域名服务
  • SSL证书
  • 翼建站
企业办公
  • 安全邮箱
  • WPS 365 天翼云版
  • 天翼企业云盘(标准服务版)
灾备迁移
  • 云管家2.0
  • 翼备份(SaaS版)

定价

协助您快速了解云产品计费模式、价格详情,轻松预估上云成本
价格计算器
  • 动态测算产品价格
定价策略
  • 快速了解计费模式

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼信创云专区
  • 信创云专区
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
培训与认证
  • 天翼云学堂
  • 天翼云认证
开源社区
  • 魔乐社区
  • OpenTeleDB

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 服务保障
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家
我要反馈
  • 建议与反馈
  • 用户体验官
信息公告
  • 客户公告

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 息壤智算
  • 产品
  • 解决方案
  • 应用商城
  • 定价
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心
      消息队列RabbitMQ版_相关内容
      • 续费、到期与欠费
        本文为您介绍分布式消息服务MQTT续费、到期与欠费内容。 到期前续费 手动续订:对于包年式消息服务MQTT,用户在资源到期前进行续费操作,可以延长原有资源到期时间,避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订:自动续订仅针对采用包月、包年计费模式的资源,详细操作请参考费用中心续订管理自动续订。 到期处理 到期后,分布式消息服务MQTT进入保留期,您将不能正常访问及使用天翼云分布式消息服务MQTT,但对于您存储在分布式消息服务MQTT中的数据予以保留。 若您在到期后15天内续费,自资源续订解冻开始,计算新的服务有效期,按照新的服务有效期计算费用; 若到期15天后您仍未续费,存储在分布式消息服务MQTT中的数据将被删除。 欠费原因 在按需计费的模式下帐号的余额不足。 按需欠费资源冻结规则 欠费后,资源进入保留期,您将不能正常访问及使用分布式消息服务MQTT,已开通的实例资源将予以保留。 若您在保留期内充值,充值后系统会自动扣减欠费金额。 若保留期到期您仍未充值,MQTT实例资源将被释放。
        来自:
        帮助文档
        分布式消息服务MQTT
        计费说明
        续费、到期与欠费
      • 修改消费组
        场景描述 在RocketMQ中,修改订阅组的场景可以有以下几种情况: 增加或减少消费者:当需要增加或减少订阅组中的消费者数量时,可以通过修改订阅组来实现。例如,当消息量增加时,可以增加消费者数量以提高消费能力;当消费者数量过多时,可以减少消费者数量以降低资源消耗。 修改消费策略:订阅组中的消费者可以采用不同的消费策略,如集群模式或广播模式。集群模式下,每个消息只会被订阅组中的一个消费者消费;广播模式下,每个消息会被订阅组中的所有消费者都消费一次。通过修改订阅组,可以更改消费策略以满足不同的业务需求。 调整消费进度:订阅组中的消费者可以通过消费进度来记录已经消费的消息位置。当需要重新消费某些消息或调整消费的起始位置时,可以修改订阅组中各个消费者的消费进度。 修改消费者参数:订阅组中的消费者可以设置一些参数,如消费线程数、消息拉取策略等。通过修改订阅组,可以对消费者的参数进行调整,以优化消费性能和资源利用。 注意 修改订阅组时需要确保订阅组的唯一性,避免与其他订阅组冲突。同时,修改订阅组可能会影响消息的分发和消费进度,需要谨慎操作,避免消息丢失或重复消费的问题。 通过修改订阅组,可以灵活调整消费者数量、消费策略、消费进度和消费者参数,以满足不同的业务需求和优化消费性能。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        消费组管理
        修改消费组
      • 自建Apache RocketMQ事件源
        参数 类型 示例值 描述 topic String source1 Topic名称。 msgId String 210018FC0EE205EF04B51CF068350066 消息ID。 systemProperties Object 详见systemProperties属性参数解释 消息systemProperties。 userProperties Object {} 消息properties。 body Object WebsFjDDxPd503bG60bNdaT0qMrsjt5evXd9df 消息体,默认以JSON格式编码。
        来自:
        帮助文档
        事件总线
        用户指南
        事件流
        事件源
        自建Apache RocketMQ事件源
      • 管理类
        如何保证消息发布的可靠性? 如果acks0,生产者在成功写入消息之前是不会等待任何的来自服务器的响应。可靠性最低、性能最优。 如果acks1,只要集群的首领节点收到消息,生产者就会收到来自服务器成功的响应。 如果acksall / 1,只有在集群所有的跟随副本都接收到消息后,生产者才会受到一个来自服务器的成功响应。可靠性最高,性能最差。 如何保证消息的顺序? Kafka 每个 Partition 都是相互独立的,Kafka 只能保证单个 Partition 下的有序。 局部有序:当我们所需要的有序其实是针对单个用户的有序,而不要求全局有序。我们可以以用户的 ID 作为 key , 确保单个用户一定会被分配到某个固定的 Partition 上(可能会引起数据倾斜问题),这样我们就能够实现单个用户维度的有序了。 如果一定要全局的有序,所有消息都使用同一个 key ,这样他们一定会被分配到同一个 Partition 上,这种做法适用于临时性且数据量不大的小需求,消息量大了会有性能压力。 如何选择 Partiton 的数量? 在创建 Topic 的时候可以指定 Partiton 数量,也可以在创建完后手动修改。但 Partiton 数量只能增加不能减少。中途增加 Partiton 会导致各个 Partiton 之间数据量的不平等。 Partition 的数量直接决定了该 Topic 的并发处理能力。但也并不是越多越好。Partition 的数量对消息延迟性会产生影响。 一般建议选择 Broker Num Consumer Num ,这样平均每个 Consumer 会同时读取 Broker 数目个 Partition , 这些 Partition 压力可以平摊到每台 Broker 上。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        管理类
      • 告警管理
        操作步骤 1. 登录媒体存储控制台,进入【告警管理告警配置】菜单页面,列表展示为目前配置的告警规则。 2. 可在列表对指定的规则进行修改、下线或删除操作。 注意 编辑规则时,规则名称、监控维度、监控区域、监控Bucket不可修改。 如规则存在未恢复或未处理的告警消息,则该规则暂无法修改,请等待告警恢复或忽略告警信息后再修改。 查看告警消息 用户可参考以下说明,通过控制台查看告警消息。 操作步骤 1. 登录媒体存储控制台,进入【告警管理告警消息】菜单页面,在【告警列表】标签页可查看告警消息。 2. 可在告警列表查看指定的告警消息详情或进行【忽略告警】操作。 3. 告警列表仅展示最近30天的告警消息。 4. 【历史推送】标签页展示近30天的告警信息所关联的历史推送记录,每推送一次为一条记录。
        来自:
        帮助文档
        媒体存储
        控制台指南
        对象存储
        数据监控
        告警管理
      • DLI Flink Job
        参数 是否必选 说明 作业类型 是 选择“Flink SQL作业”。用户采用编写SQL语句来启动作业。 脚本路径 是 选择需要执行的Flink SQL脚本。如果脚本未创建,请参考 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时,子用户只能选择已经被分配的队列。 CUs 是 一个CU是1核4G的资源配置。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明 并发数不能大于计算单元(CUs1)的4倍。 UDF Jar 否 当作业所属集群选择独享集群时,该参数有效。在选择UDF Jar之前,您需要将UDF Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考 异常自动启动 否 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 作业名称 是 填写DLI Flink作业的名称,只能包含英文字母、数字、“”,且长度为1~64个字符。默认与节点的名称一致。 作业名称添加工作空间前缀 否 设置是否为创建的作业名称添加工作空间前缀。 节点名称 是 节点名称,可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        节点参考
        DLI Flink Job
      • 事件通知(1)
        查看事件通知历史 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击 "分发交付" "事件通知",点击"事件历史"标签页即可查看事件通知历史。 4. 事件通知历史列表页右上角可以对事件规则进行筛选。 5. 对于发送失败的事件通知记录,可以点击操作栏的重试按钮重新发送事件通知消息。
        来自:
      • 事件通知
        查看事件通知历史 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击 "分发交付" "事件通知",点击"事件历史"标签页即可查看事件通知历史。 4. 事件通知历史列表页右上角可以对事件规则进行筛选。 5. 对于发送失败的事件通知记录,可以点击操作栏的重试按钮重新发送事件通知消息。
        来自:
        帮助文档
        容器镜像服务
        用户指南
        分发交付
        事件通知
      • 客户端首次接入分布式消息服务Kafka时出现异常的排查方法
        本节介绍客户端首次接入分布式消息服务Kafka时出现异常的排查方法 客户端首次接入分布式消息服务Kafka时如果出现异常,您可以通过以下三个方面进行排查: 网络连通问题:通常有如下几种情况可能会导致网络不通,客户端无法连接分布式消息服务Kafka的服务端。 (1)ECS实例(客户端)与分布式消息服务Kafka实例不在同一个VPC内。关于如何通过VPC网络接入服务端,请参见VPC接入。 (2)本地客户端访问非公网的分布式消息服务Kafka实例。您可以通过公网接入服务端。 客户端版本问题:客户端版本太低可能会出现异常,建议升级到与服务端匹配的客户端版本。 配置问题:默认接入点配置错误等都可能导致接入失败。您可以参见快速入门进行配置检查。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        连接问题
        客户端首次接入分布式消息服务Kafka时出现异常的排查方法
      • 在哪里做日志
        syslogfacility (enum) 当启用了向syslog记录时,这个参数决定要使用的syslog“设备”。你可以在LOCAL0、LOCAL1、LOCAL2、LOCAL3、LOCAL4、 LOCAL5、LOCAL6、LOCAL7中选择,默认值是LOCAL0。还请参阅系统的syslog守护进程的文档。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogident (string) 当启用了向syslog记录时,这个参数决定用来标识syslog中的TeleDB消息的程序名。默认值是postgres。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。 syslogsequencenumbers (boolean) 当日志被记录到syslog并且这个设置为 on (默认)时,每一个消息会被加上一个增长的序号作为前缀(例如 [2])。这种行为避开了很多 syslog 实现默认采用的 “ 上一个消息重复 N 次 ”形式。在现代 syslog 实现中, 抑制重复消息是可以配置的(例如rsyslog 中的$RepeatedMsgReduction),因此这个参数可能不是必需的。 此外,如果你真的想抑制重复消息,你可以把这个参数设置为 off。这个参数只能在postgresql.conf文件或者服务器命令行上设置。 syslogsplitmessages (boolean) 当启用把日志记录到syslog时,这个参数决定消息如何送达 syslog。当设置为 on(默认)时,消息会被分成行, 并且长的行也会被划分以便能够放到 1024 字节中, 这是传统 syslog 实现一种典型的尺寸限制。当设置为 off 时,TeleDB服务器日志消息会被原样送达 syslog 服务, 而处理可能的大体量消息的任务由 syslog 服务负责。如果 syslog 最终被记录到一个文本文件中,那么两种设置的效果是一样的, 但最好设置为 on,因为大部分 syslog 实现要么不能处理大型消息, 要么需要做特殊的配置以处理大型消息。但是如果 syslog 最终写入到某种其他媒介,有必要让消息保持逻辑上的整体性(也更加有用)。这个参数只能在postgresql.conf文件或者服务器命令行上设置。
        来自:
        帮助文档
        分布式融合数据库HTAP
        私有云产品
        参数指南
        错误报告和日志相关参数
        在哪里做日志
      • 如何测试云硬盘的性能
        工具安装 依次执行以下命令,安装libaio和测试工具FIO。 plaintext sudo yum install libaio y sudo yum install libaiodevel y sudo yum install fio –y FIO工具参数介绍 不同场景的测试公式基本一致,根据不同的测试目标,部分参数会有所不同,如下表所示。 参数 说明 direct 指定 direct 模式,默认值为1。 值为1:表示使用direct I/O,忽略I/O缓存,数据直写。 值为0:表示不使用direct I/O。 numjobs 并发线程数,默认为1。 当被测试磁盘性能较高时推荐加大numjobs数以增加压力。 iodepth 测试时的IO队列深度。 队列深度是指每个线程的队列深度,如果有多个线程测试,意味着每个线程都是此处定义的队列深度。FIO总的IO并发数iodepth numjobs。 rw 测试时的读写策略。可选值如下: randwrite:随机写 randread:随机读 read:顺序读 write:顺序写 randrw:混合随机读写 ioengine 测试时FIO选择哪种I/O引擎,本实践中选择libaio。 bs 每次请求的块大小(block size)。默认值为4k。 size 测试文件大小。取值如下: 带单位的数字,比如size10G,表示读/写的数据量为10GiB。 百分数,比如size20%,表示读/写的数据量占该设备总文件的20%的空间。 runtime 测试时间,即FIO运行时长。 如果未配置该参数,则持续将size指定的文件大小,以每次bs值为分块大小读/写完。 timebased 采用的时间模式。 无需设置该参数值,只要 FIO 基于时间来运行。 groupreporting 多个 job 并发时,打印整个 group 的统计值。 filename 测试对象,可以是磁盘设备名称(如/dev/vdb),或文件地址(如/opt/fiotest/fiotest.txt)。 name 本次测试任务的名称。
        来自:
        帮助文档
        云硬盘 EVS
        最佳实践
        如何测试云硬盘的性能
      • 术语解释
        本文为您介绍弹性高性能计算产品相关名词的主要含义。 集群 集群指由一组计算机和必要的管理软件组成的计算机系统,能够提供单节点无法提供的强大计算能力,集群中通常包含管理节点、计算节点、调度器、应用软件等。用户可以根据实际业务需求对集群进行扩容、缩容。 节点 节点是集群的组成单元,在集群中通常分为管理节点、计算节点。在EHPC中,每个节点对应一台实例,用户可以根据实际业务和作业情况对集群节点进行扩容、缩容。 作业 作业指通过调度器提交的承载业务逻辑的运算单元,在调度器的管理下,一个集群中可运行多个作业,并根据多种调度策略进行作业编排。在EHPC中,支持通过命令行、Portal页面提交作业。 调度器 调度器指负责监控和管理集群中资源和作业的软件系统,当前版本支持Slurm调度器。 镜像 镜像是一个包含了软件及必要配置的主机模板,至少包含操作系统,还可以包含应用软件和私有软件。 用户 用户指使用弹性高性能计算平台运行业务的用户,包含管理员及普通用户,管理员与普通用户具有不同的权限。 队列 队列指一组具有相同或相似架构、性能的节点,一个集群中支持配置多个队列。用户可根据需求对计算节点进行分类,配置为不同的队列,便于运行相应的作业、配置相应的权限。 自动伸缩 自动伸缩是一种自动伸缩策略,可以根据您配置的伸缩策略动态分配计算节点,系统可以根据调度器感知到的集群负载自动增加或减少计算节点。可以帮您合理利用资源,优化使用成本。
        来自:
        帮助文档
        弹性高性能计算 E-HPC
        产品介绍
        术语解释
      • 弹性存储最佳实践
        考虑点 建议 本地磁盘存储空间 本地磁盘存储空间 (未开启弹性存储的Topic存储量 + 弹性存储Topic本地热数据存储量) 130% 未开启弹性存储的Topic存储量 :未开启弹性存储的Topic业务消息量 副本数,如集群未开启弹性存储的Topic均为3副本,消息量为100GB,则未开启弹性存储的Topic存储量为100GB 3 300 GB。 弹性存储Topic本地数据存储量 :弹性存储主题热数据会存储在本地,未超过 “消息本地保留时长” 的消息数据均存储在本地;由于数据生命周期以分区分片为单位, 未满一个数据分片 的数据也会存储在本地(默认1个分片大小为1GB,编辑主题可调整)。 假如集群有3副本的主题分区100个,分片大小均为1GB。 保留时间为1小时,1小时消息量为50GB,则弹性存储Topic本地数据存储量 max(100 1GB 3, 50GB 3) 300GB。 假如集群有3副本的主题分区100个,分片大小均为128MB。 保留时间为1小时,1小时消息量为50GB,则弹性存储Topic本地数据存储量 max(100 128MB 3, 50GB 3) 150GB。 建议 预留多30% 存储空间。 磁盘空间大小会影响磁盘性能,具体性能参考“ 消息本地保留时长 默认为1小时。建议根据业务实际消费场景调整,如消费者经常消费落后1.5小时,则需要调大到2小时。 分区分片大小 默认为1G,弹性存储Topic可以适当调小至128MB~1024MB之间,因为数据生命周期管理以分区分片为单位,消息数据量必须满一分片才会上传弹性存储或超时清理。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        弹性存储最佳实践
      • 创建实例
        本节主要介绍分布式消息服务Kafka的订购流程。 背景信息 Kafka实例订购支持用户自定义规格和自定义特性,采用物理隔离的方式部署。租户独占Kafka实例,可根据业务需要可定制相应规格的Kafka实例。在新的资源池节点上,还支持选择主机类型和存储规格等丰富用户选项。 前提条件 具备已通过实名认证的天翼云账号 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在管理控制台右上角单击“地域名称”,选择区域。此处请选择与您的应用服务相同的区域。 4. 点击“购买实例”跳转到购买页面,根据页面订购说明进行产品开通。 5. 下载安装工具Eclipse3.6.0以上上版本 或者IntelliJ ,JDK 1.8.111以上版本。 说明 以下订购说明适用于华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3资源池 计费模式:包周期和按需计费 引擎类型:云原生引擎和Kafka引擎。两者差别如下: 云原生引擎:大规模分区性能稳定性更高,扩容无需迁移数据。 Kafka引擎:完全兼容开源Kafka生态,占用更少IO带宽,可应对更高的性能峰值突刺。 部署方式:单可用区和多可用区部署。单可用区部署请选中任意一个AZ;多可用区部署请选中3个AZ,系统会自动将Broker节点平均分配至各可用区 自动续期:支持自动续期,支持做选择自动续期时长 节点数:3、5、7、9 主机类型:通用型和计算增强型,不同类型主机规格价格不一样,具体区别见文档弹性云主机实例规格 实例规格:主机节点规格,通用型和计算增强型规格不一致,具体以页面为准。 说明 以下订购说明适用于芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 资源池 计费模式:包周期和按需计费 区域:开通实例所在资源池 类型:选择产品规格,包括高级版8核32G与基础版4核16G 节点数:固定3个节点 主机类型:支持通用型主机s2、s3和s6,具体区别见文档弹性云主机实例规格通用型
        来自:
        帮助文档
        分布式消息服务Kafka
        快速入门
        创建实例
      • Kafka Broker节点CPU高负载
        本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群,其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载,进而引发消息延迟、吞吐量下降等问题,本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序,空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka,然后单击添加资源。 3. 在弹出的对话框中,勾选目标分布式消息服务Kafka实例,单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面,单击新建演练。 2. 在基本信息 页面,按提示填写演练名称和描述,然后单击下一步。 3. 在演练对象配置页面: 配置动作组 :为动作组 命名,资源类型选择分布式消息服务Kafka。 添加实例 :单击添加实例 ,勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 :单击立即添加 ,在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中,配置所需参数,然后单击确定。 持续时间:故障动作持续时间。 CPU占用率:指定 CPU 负载百分比,取值在0 100之间
        来自:
        帮助文档
        应用高可用
        用户指南
        故障演练服务
        故障动作库
        中间件
        分布式消息服务Kafka
        Kafka Broker节点CPU高负载
      • 备份Hive业务数据
        操作步骤 1.在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份,仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS,不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时,每次增量备份都会刷新最近一次全量备份的备份数据,所以不会产生新的恢复点。 6.在“备份配置”,勾选“Hive > Hive”。 7.在“Hive”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。选择此参数值,还需要配置以下参数: “目的端NameService名称”:填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称(haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4),也可输入其他已配置的远端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如“/hbase”或“/user/hbase/backup”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “CIFS”:表示将备份文件通过CIFS协议保存在NAS中。选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “SFTP”:表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”:SFTP服务器上的备份路径。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在“备份内容”中,选择一个或多个需要备份的Hive表。 支持两种方式选择备份数据: 直接选择 单击导航中某个数据库的名称,将展开显示此数据库中的所有表,勾选指定的表。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示,在第一个输入框填写Hive表所在的数据库,需要与当前存在的数据库完全匹配。例如“defalut”。 c. 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选数据库中所有的表,输入“([sS] ?)”。例如要筛选命名规则为字母数字组合的表,如tb1可输入“tbd ”。 d. 单击“刷新”,在“目录名称”查看筛选的表。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因: 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 NameService名称不正确。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为 “备份任务名数据源任务创建时间” ,数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        备份数据
        备份Hive业务数据
      • 资源概述
        本章节主要介绍翼MapReduce的资源概述操作。 MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离: 计算资源 计算资源包括CPU和内存。租户之间不可以相互占用计算资源,私有计算资源独立。 存储资源 存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据,私有存储资源独立。 计算资源 计算资源可分为静态服务资源和动态资源: 静态服务资源 静态服务资源是集群分配给各个服务的计算资源,每个服务的计算资源总量固定,不与其他服务共享,是静态的。这些服务包括Flume、HBase、HDFS和Yarn。 动态资源 动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。 说明 大数据集群为Yarn分配的资源是静态服务资源,可以由Yarn动态分配给任务队列计算使用。 存储资源 存储资源是分布式文件存储服务HDFS中可分配的数据存储空间资源。目录是HDFS存储资源分配的基本单位,租户通过指定HDFS文件系统的目录来获取存储资源。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        租户资源
        多租户介绍
        技术原理
        资源概述
      • MindIE NPU多机PD分离
        本节介绍如何创建MindIE NPU多机PD分离任务。 本示例基于 MindIE 推理框架,选用 DeepSeekV3.1w8a8c8QuaRot 模型进行多机 PD(Prefill/Decode)分离部署。整体采用 1P × 1D 架构,其中 Prefill 阶段部署 1 个实例,由 1 个 master + 1 个 worker 角色组成,每个角色占用 8 张 NPU 卡;Decode 阶段部署 1 个实例,由 1 个 master + 3 个 worker 角色组成,每个角色占用 8 张 NPU 卡。因此,本任务共使用 6 台机器、48 张 NPU 卡,通过 Prefill 与 Decode 解耦调度,有效降低首 Token 时延并提升整体吞吐性能。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件,AI应用管理,队列管理,确保队列存在并且有足够的资源(NPU,CPU,内存)[参考创建队列的文档]。 操作步骤 创建应用 进入智算套件,AI应用列表,在线推理菜单,创建AI应用。 基本信息 应用类型:MindIE 开启PD分离选择 静态PD分离
        来自:
        帮助文档
        智算套件
        用户指南
        应用管理
        在线推理
        创建推理应用
        MindIE NPU多机PD分离
      • 创建多机训练任务
        本节介绍创建多机训练任务。 创建任务 在智算控制台页面选择“离线训练”,单击“创建AI应用”。 基本信息 在创建详情页根据需要修改任务基本的信息,比如任务名、任务类型(Pytorch/Tensorflow/Minspore)、命名空间等配置。 配置信息 选择多机训练任务。 选择框架 这里会根据选择的任务类型筛选出所有对应的框架镜像。 说明 这里使用nvidiapytorchexample框架,此框架内置了用于演示的Mnist训练数据集和代码。 选择框架镜像版本,如下所示此演示镜像支持多架构。 选择队列 队列用于限制一组任务所使用的资源。 说明 若没有队列则单击去创建,并设置各类资源配额。 配置Master 配置Master资源及启动参数等信息,如果需要使用RDMA加速训练则将RDMA资源通过自定义方式进行挂载。
        来自:
        帮助文档
        智算套件
        最佳实践
        创建多机训练任务
      • 业务数据不均衡最佳实践
        本文介绍Kafka业务数据不均衡最佳实践 方案概述 Kafka将Topic划分为多个分区,所有消息分布式存储在各个分区上。每个分区有一个或多个副本,分布在不同的Broker节点上,每个副本存储一份全量数据,副本之间的消息数据保持同步。Kafka的Topic、分区、副本和代理的关系如下图所示: 在实际业务过程中可能会遇到各节点间或分区之间业务数据不均衡的情况,业务数据不均衡会降低Kafka集群的性能,降低资源使用率。 业务数据不均衡原因: 业务中部分Topic的流量远大于其他Topic,会导致节点间的数据不均衡。 生产者发送消息时指定了分区,未指定的分区没有消息,会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key,按照对应的Key发送消息至对应的分区,会导致分区间的数据不均衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化,多少会发生一些Leader副本的切换或迁移,会导致个别Broker节点上的数据更多,从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。 创建Topic时,使分区的Leader副本分散到各个Broker节点中,以保障整体的数据均衡。 Kafka提供了分区重平衡的功能,可以把分区的副本重新分配到不同的Broker节点上,解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。
        来自:
        帮助文档
        分布式消息服务Kafka
        最佳实践
        业务数据不均衡最佳实践
      • 典型应用场景
        IoT场景 IoT场景典型特点为海量终端接入,在大量终端接入的情况下,大量的数据汇聚在一起,实际不同的业务组件需要关注的信息只是其中某些类型的数据,如何在大量数据中快速识别出业务感兴趣的数据将会显得尤为重要。分布式消息服务RocketMQ提供的消息过滤的能力,可以完好的支持该场景,终端写入时为消息添加标签,指定该消息的类型,业务端消费时则可以指定只消费特定类型的标签,从而实现更好的业务处理。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        产品简介
        典型应用场景
      • PyTorch GPU单机训练
        本节介绍如何创建单机训练任务。 创建训练任务 1. 智算控制台页面选择“离线训练”,单击“创建AI应用” 2. 根据需要修改任务基本信息,比如任务名,任务类型、命名空间等 3. 配置训练任务,选择单机任务 4. 选择框架,这里选择nvidiapytorchexample框架,此框架内置了Mnist训练数据集 5. 选择框架版本,此框架支持多架构 6. 选择队列,若没有则单击去创建队列,设置各类资源配额 7. 选择队列,设置任务资源,以及环境变量和启动命令等 启动命令如下:可调整对应训练轮次参数,GPU设置backend为nccl shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl Pytorch任务环境变量必须设置 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 单击确认创建任务。
        来自:
        帮助文档
        智算套件
        用户指南
        应用管理
        离线训练
        创建训练应用
        PyTorch GPU单机训练
      • 镜像优化类
        操作系 统 相关配置项 Windows 设置网卡属性为DHCP 开启远程桌面连接功能 安装Guest OS driver,包括PV driver和UVP VMtools驱动 安装CloudbaseInit工具 (可选)开启网卡多队列 (可选)配置IPv6地址 Linux 清理网络规则文件 设置网卡属性为DHCP 安装原生KVM驱动 修改grub文件的磁盘标识方式为UUID 修改fstab文件的磁盘标识方式为UUID 清除“/etc/fstab”中非系统盘的自动挂载信息 安装CloudInit工具 (可选)开启网卡多队列 (可选)配置IPv6地址
        来自:
        帮助文档
        镜像服务 IMS
        常见问题
        镜像优化类
      • 开源对比
        进行分布式消息服务Kafka与开源自建对比。 分布式消息服务Kafka相对开源自建的Kafka提供更多功能服务,具备如下优势: 对比项 开源自建 分布式消息服务Kafka 低成本运维 需要专业人员资源规划、部署、运维。 一键开通,全托管。提供多种规格,按需使用,支持一键式节点数、磁盘存储空间和节点规格扩容。 分区规模 千级分区稳定性下降。 支持万级分区稳定写入。 消息查询 命令行可以消费,但无法根据位点或者时间直接定位到具体的消息。 控制台可视化按时间或者位点直接查看消息。 ACL访问控制 命令行,配置复杂。 灵活配置,一键生效。 可视化配置 命令行,配置复杂。 控制台全方位可视化配置管理。 运维监控 缺乏配套的监控运维能力。 提供全引擎指标可视化监控,告警及时发现问题。 集群巡检 命令行,配置复杂。 引擎状态、主题一键健康检测、启停。 稳定可靠 需要自己开发或基于开源实现,开发成本高昂,无法保证业务可靠运行。 支持跨AZ部署,提升可靠性。 安全保证 需要自行进行安全加固。 VPC隔离,支持SSL通道加密。 简单易用 无,需要自己开发。 提供简单的实例管理RESTful API,使用门槛低。
        来自:
        帮助文档
        分布式消息服务Kafka
        产品简介
        开源对比
      • 续订和退订
        场景描述 分布式消息服务RocketMQ为用户提供全面周到的服务,支持用户续订和退订的需求。 ● 续订:针对包周期消息实例服务,用户可在到期前进行服务周期延长操作,即续订操作。 ● 退订:用户如不需要继续使用该分布式消息服务RocketMQ实例,可进行删除实例操作,即退订操作。 续订 1、登录RocketMQ消息控制台,可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 续订。 3、 进入到续订页面,在弹出来的确认窗口选择续订时长,点击确认即可。 退订 1、登录RocketMQ消息控制台,可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 退订。 3、进入到退订页面,在弹出来的确认窗口点击确认即可。 注意: 退订的实例处于冻结状态,请务必在实例退订前停止全部的应用。 在申请退订前,请做好数据备份工作,退订后数据将保留15个自然日,15天后相关数据将不予保留,且不会进行备份,务必谨慎操作。
        来自:
        帮助文档
        分布式消息服务RocketMQ
        用户指南
        实例管理
        续订和退订
      • 与其他服务关系
        本文为您介绍分布式消息服务MQTT与其他服务关系。 虚拟私有云(CTVPC ,Virtual Private Cloud) 虚拟私有云为分布式消息服务MQTT提供一个逻辑隔离的区域,构建一个安全可靠、可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机(CTECS,Elastic Cloud Server) 弹性云主机由 CPU、内存、镜像、云硬盘组成,同时结合VPC、安全组、数据多副本保存等能力,打造一个既高效又可靠安全的计算环境,确保分布式消息服务MQTT持久稳定运行。更多信息请参见弹性云主机。 云硬盘(CTEVS,Elastic Volume Service) 云硬盘是一种可弹性扩展的块存储设备,可以为分布式消息服务MQTT提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP(Elastic IP,EIP) 弹性IP是可以独立申请的公网 IP 地址,包括公网IP地址与公网出口带宽服务。可以与分布式消息服务MQTT动态绑定和解绑,实现云资源的互联网访问。针对需要公网访问分布式消息服务MQTT实例的需求,用户可开通弹性IP后,在MQTT实例页面进行绑定。更多信息请参见弹性IP。
        来自:
        帮助文档
        分布式消息服务MQTT
        产品介绍
        与其他服务关系
      • 获取Rest Client算子返回值教程
        本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值,包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示,第一个Rest Client调用了MRS服务查询集群列表的API,下图为API返回值的JSON消息体。 使用场景:需要获取集群列表中第一个集群的cluster Id,然后作为参数传递给后面的节点使用。 关键配置:在第一个Rest Client的“响应消息体解析为传递参数定义”配置中,配置clusterIdclusters[0].clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合,根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程,根据您的实际业务需要,开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示,Rest Client调用了MRS服务查询集群列表的API,然后执行Kafka Client发送消息。 使用场景:Kafka Client发送字符串消息,消息内容为集群列表中第一个集群的cluster Id。 关键配置:在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段:
        来自:
        帮助文档
        数据治理中心 DataArts Studio
        用户指南
        数据开发
        使用教程
        获取Rest Client算子返回值教程
      • 集群管理
        客户价值 配置消息通知后,可以实时给用户发送翼MR集群健康状态,用户可以通过手机短信或邮箱实时接收到翼MR集群变更及组件告警信息。翼MR可以帮助用户轻松运维,实时监控,实时发送告警,操作灵活,大数据业务部署更加省心省力。 特性描述 翼MR联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式。 首先,作为主题拥有者,我们可以先创建一个主题,并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。翼MR将集群消息发送至您有权限发布消息的主题,然后所有订阅了该主题的订阅者(可以是手机短信、邮箱等)都将收到集群变更以及组件告警的消息。
        来自:
        帮助文档
        翼MapReduce
        产品简介
        功能特性
        集群管理
      • 备份HDFS业务数据
        操作步骤 1.在FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份,“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动,与上一次运行的时间间隔,支持按“小时”或按“天”。 备份策略 首次全量备份,后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份,仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS,不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时,每次增量备份都会刷新最近一次全量备份的备份数据,所以不会产生新的恢复点。 6.在“备份配置”,勾选“HDFS”。 7.在“HDFS”的“路径类型”,选择一个备份目录的类型。 备份目录支持以下类型: “RemoteHDFS”:表示将备份文件保存在备集群的HDFS目录。 选择此参数值,还需要配置以下参数: “目的端NameService名称”:填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称(haclusterX,haclusterX1,haclusterX2,haclusterX3,haclusterX4),也可输入其他已配置的远端集群NameService名称。 “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “目的端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “目的端路径”:填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录,例如快照或回收站目录;也不支持默认的系统目录,例如“/hbase”或“/user/hbase/backup”。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “CIFS”:表示将备份文件通过CIFS协议保存在NAS中。选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “服务器共享路径”:填写用户配置的NAS服务器共享目录。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 “SFTP”:表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”:SFTP服务器上的备份路径。 “最大备份数”:填写备份目录中可保留的备份文件集数量。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”:填写执行MapReduce任务的最大map数,默认值为“20”。 “单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“100”。 “NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在HDFS“备份内容”中,根据业务需要选择一个或多个需要备份的HDFS目录。 支持两种方式选择备份数据: 直接选择 单击导航中某个目录的名称,将展开显示此目录中的所有子目录,勾选指定的目录。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示,在第一个输入框填写目录的父目录完整路径,需要与当前存在的目录完全匹配。例如“/tmp”。 c. 在第二个输入框输入正则表达式,支持标准正则表达式。例如要筛选父目录中所有的文件或子目录,输入“([sS]?)”。例如要筛选命名规则为字母数字组合的文件,如file1 可输入“filed ”。 d. 单击“刷新”,在“目录名称”查看筛选的目录。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。 备份目录不可包含长期写入 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因: 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 NameService名称不正确。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列,选择“更多 > 即时备份”,开始执行备份任务。 备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为“ 备份任务名数据源任务创建时间” ,数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。
        来自:
        帮助文档
        翼MapReduce
        用户指南
        FusionInsight Manager操作指导(适用于3.x)
        备份恢复管理
        备份数据
        备份HDFS业务数据
      • 如何配置客户端参数?
        参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔,建议设置为1000。单位:毫秒。 acks 发送消息的持久化机制。为了提升发送性能, 建议设置为acks1。acks0:无需服务端的Response,性能较高、丢数据风险较大。acks1:服务端主节点写成功即返回Response,性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall:服务端主节点写成功且备节点同步成功才返回Response,性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时,就会触发一次网络请求,然后Producer客户端把消息批量发往服务器。如果batch.size设置过小,有可能影响发送性能和稳定性。建议保持默认值16384。单位:字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间,Producer客户端就会忽略batch.size的限制,立即把消息发往服务器。建议根据业务场景, 将linger.ms设置在100~1000之间。单位:毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略,可提升发送性能。发送客户端2.4及以上版本,默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小,则有可能导致申请内存耗时过长,从而影响发送性能,甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位:字节。
        来自:
        帮助文档
        分布式消息服务Kafka
        常见问题
        操作类
        如何配置客户端参数?
      • 使用SASL证书连接
        生产消息 进入Kafka客户端文件的“/bin”目录下,执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} producer.config ../config/producer.properties 参数说明如下: 连接地址:从前提条件获取的连接地址。 Topic名称:Kafka实例下创建的Topic名称。 示例如下,“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”为Kafka实例连接地址。 执行完命令后,输入需要生产的消息内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.propertiesHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下: 连接地址:从前提条件获取的连接地址。 Topic名称:Kafka实例下创建的Topic名称。 消费组名称:根据您的业务需求,设定消费组名称。 如果已经在配置文件中指定了消费组名称,请确保命令行中的消费组名称与配置文件中的相同,否则可能消费失败 。 消费组名称开头包含特殊字符,例如下划线“”、 号“ ”时,监控数据无法展示。 示例如下: [root@ecskafka bin]
        来自:
        帮助文档
        分布式消息服务Kafka
        快速入门
        步骤四:连接实例生产消费消息
        使用SASL证书连接
      • Kafka Broker节点磁盘IO高负载
        本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力,高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈,引发消息持久化延迟等问题,本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中,然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka,然后单击添加资源。 3. 在弹出的对话框中,勾选目标分布式消息服务Kafka实例,单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面,单击新建演练。 2. 在基本信息 页面,按提示填写演练名称和描述,然后单击下一步。 3. 在演练对象配置页面: 配置动作组 :为动作组 命名,资源类型选择分布式消息服务Kafka。 添加实例 :单击添加实例 ,勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 :单击立即添加 ,在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中,配置所需参数,然后单击确定。 持续时间:故障动作持续时间。 读负载:开启读压力模式,创建一个临时文件并对其进行持续的读取操作。 写负载:开启写压力模式,持续向一个临时文件写入数据。 块大小:控制单次读写操作的数据块大小,单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。
        来自:
        帮助文档
        应用高可用
        用户指南
        故障演练服务
        故障动作库
        中间件
        分布式消息服务Kafka
        Kafka Broker节点磁盘IO高负载
      • 1
      • ...
      • 21
      • 22
      • 23
      • 24
      • 25
      • ...
      • 238
      跳转至
      推荐热词
      天翼云运维管理审计系统天翼云云服务平台云服务备份云日志服务应用运维管理云手机云电脑天翼云云hbase数据库电信云大数据saas服务电信云大数据paas服务轻量型云主机天翼云客户服务电话应用编排服务天翼云云安全解决方案云服务总线CSB天翼云服务器配置天翼云联邦学习产品天翼云云安全天翼云企业上云解决方案天翼云产品天翼云视频云存储

      天翼云最新活动

      安全隔离版OpenClaw

      OpenClaw云服务器专属“龙虾“套餐低至1.5折起

      青云志云端助力计划

      一站式科研助手,海外资源安全访问平台,助力青年翼展宏图,平步青云

      云上钜惠

      爆款云主机全场特惠,2核4G只要1.8折起!

      中小企业服务商合作专区

      国家云助力中小企业腾飞,高额上云补贴重磅上线

      出海产品促销专区

      爆款云主机低至2折,高性价比,不限新老速来抢购!

      天翼云奖励推广计划

      加入成为云推官,推荐新用户注册下单得现金奖励

      产品推荐

      弹性高性能计算 E-HPC

      AI Store

      应用托管

      科研助手

      人脸检测

      人脸属性识别

      通用型OCR

      语音合成

      云硬盘 EVS

      推荐文档

      创建消费组

      基本概念

      云课堂 第十五课:解析天翼云IPsec VPN和SSL VPN的

      授权文件导入

      云课堂 第一课:玩转天翼云安全组

      • 7*24小时售后
      • 无忧退款
      • 免费备案
      • 专家服务
      售前咨询热线
      400-810-9889转1
      关注天翼云
      • 旗舰店
      • 天翼云APP
      • 天翼云微信公众号
      服务与支持
      • 备案中心
      • 售前咨询
      • 智能客服
      • 自助服务
      • 工单管理
      • 客户公告
      • 涉诈举报
      账户管理
      • 管理中心
      • 订单管理
      • 余额管理
      • 发票管理
      • 充值汇款
      • 续费管理
      快速入口
      • 天翼云旗舰店
      • 文档中心
      • 最新活动
      • 免费试用
      • 信任中心
      • 天翼云学堂
      云网生态
      • 甄选商城
      • 渠道合作
      • 云市场合作
      了解天翼云
      • 关于天翼云
      • 天翼云APP
      • 服务案例
      • 新闻资讯
      • 联系我们
      热门产品
      • 云电脑
      • 弹性云主机
      • 云电脑政企版
      • 天翼云手机
      • 云数据库
      • 对象存储
      • 云硬盘
      • Web应用防火墙
      • 服务器安全卫士
      • CDN加速
      热门推荐
      • 云服务备份
      • 边缘安全加速平台
      • 全站加速
      • 安全加速
      • 云服务器
      • 云主机
      • 智能边缘云
      • 应用编排服务
      • 微服务引擎
      • 共享流量包
      更多推荐
      • web应用防火墙
      • 密钥管理
      • 等保咨询
      • 安全专区
      • 应用运维管理
      • 云日志服务
      • 文档数据库服务
      • 云搜索服务
      • 数据湖探索
      • 数据仓库服务
      友情链接
      • 中国电信集团
      • 天翼云国际站
      • 189邮箱
      • 天翼企业云盘
      • 天翼云盘
      ©2026 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
      公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
      • 用户协议
      • 隐私政策
      • 个人信息保护
      • 法律声明
      备案 京公网安备11010802043424号 京ICP备 2021034386号