考虑点 建议 本地磁盘存储空间 本地磁盘存储空间 （未开启弹性存储的Topic存储量 + 弹性存储Topic本地热数据存储量） 130% 未开启弹性存储的Topic存储量 ：未开启弹性存储的Topic业务消息量 副本数，如集群未开启弹性存储的Topic均为3副本，消息量为100GB，则未开启弹性存储的Topic存储量为100GB 3 300 GB。 弹性存储Topic本地数据存储量 ：弹性存储主题热数据会存储在本地，未超过 “消息本地保留时长” 的消息数据均存储在本地；由于数据生命周期以分区分片为单位， 未满一个数据分片 的数据也会存储在本地（默认1个分片大小为1GB，编辑主题可调整）。 假如集群有3副本的主题分区100个，分片大小均为1GB。 保留时间为1小时，1小时消息量为50GB，则弹性存储Topic本地数据存储量 max(100 1GB 3, 50GB 3) 300GB。 假如集群有3副本的主题分区100个，分片大小均为128MB。 保留时间为1小时，1小时消息量为50GB，则弹性存储Topic本地数据存储量 max(100 128MB 3, 50GB 3) 150GB。 建议 预留多30% 存储空间。 磁盘空间大小会影响磁盘性能，具体性能参考“ 消息本地保留时长 默认为1小时。建议根据业务实际消费场景调整，如消费者经常消费落后1.5小时，则需要调大到2小时。 分区分片大小 默认为1G，弹性存储Topic可以适当调小至128MB~1024MB之间，因为数据生命周期管理以分区分片为单位，消息数据量必须满一分片才会上传弹性存储或超时清理。

云原生网关 左侧导航栏，选择资源管理 > 云原生网关。在云原生网关列表展示了当前环境已导入的云原生网关资源。 点击导入按钮，列表会展示与当前环境同VPC的云原生网关列表，勾选云原生网关，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的云原生网关。 关系数据库 左侧导航栏，选择资源管理 > 关系数据库。在关系数据库列表展示了当前环境已导入的关系数据库资源。 点击导入按钮，列表会展示与当前环境同VPC的关系数据库列表，勾选关系数据库，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的关系数据库。 分布式缓存 左侧导航栏，选择资源管理 > 分布式缓存。在分布式缓存列表展示了当前环境已导入的分布式缓存资源。 点击导入按钮，列表会展示与当前环境同VPC分布式缓存列表，勾选分布式缓存，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式缓存。 分布式消息 左侧导航栏，选择资源管理 > 分布式消息。在分布式消息列表展示了当前环境已导入的分布式消息资源。 点击导入按钮，列表会展示与当前环境同VPC分布式消息列表，勾选分布式消息，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式消息。

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本章节主要介绍创建用户并授权使用分布式消息服务RabbitMQ。 如果您需要对您所拥有的分布式消息服务RabbitMQ服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用分布式消息服务RabbitMQ资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将分布式消息服务RabbitMQ资源委托给更专业、高效的其他帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用分布式消息服务RabbitMQ服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。 说明 分布式消息服务RabbitMQ服务的权限与策略基于分布式消息服务DMS，因此在IAM服务中为RabbitMQ分配用户与权限时，请选择并使用“DMS”的权限与策略。 前提条件 给用户组授权之前，请您了解用户组可以添加的分布式消息服务RabbitMQ系统策略，并结合实际需求进行选择，分布式消息服务RabbitMQ支持的系统策略及策略间的对比，请参见：权限管理。 示例流程 图1 给用户授权RabbitMQ权限流程 1. 创建用户组并授权 在IAM控制台创建用户组，并授予RabbitMQ的只读权限“DMS ReadOnlyAccess”。 2. 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 3. 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择分布式消息服务RabbitMQ，进入RabbitMQ实例主界面，单击右上角“购买RabbitMQ实例”，尝试购买RabbitMQ实例，如果无法购买RabbitMQ实例（假设当前权限仅包含DMS ReadOnlyAccess），表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘（假设当前策略仅包含DMS ReadOnlyAccess），若提示权限不足，表示“DMS ReadOnlyAccess”已生效。

客户价值 配置消息通知后，可以实时给用户发送翼MR集群健康状态，用户可以通过手机短信或邮箱实时接收到翼MR集群变更及组件告警信息。翼MR可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，大数据业务部署更加省心省力。 特性描述 翼MR联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，我们可以先创建一个主题，并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。翼MR将集群消息发送至您有权限发布消息的主题，然后所有订阅了该主题的订阅者（可以是手机短信、邮箱等）都将收到集群变更以及组件告警的消息。

参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”为Kafka实例连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.propertiesHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败 。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin]

本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

场景描述 分布式消息服务RocketMQ为用户提供全面周到的服务，支持用户续订和退订的需求。 ● 续订：针对包周期消息实例服务，用户可在到期前进行服务周期延长操作，即续订操作。 ● 退订：用户如不需要继续使用该分布式消息服务RocketMQ实例，可进行删除实例操作，即退订操作。 续订 1、登录RocketMQ消息控制台，可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 续订。 3、 进入到续订页面，在弹出来的确认窗口选择续订时长，点击确认即可。 退订 1、登录RocketMQ消息控制台，可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 退订。 3、进入到退订页面，在弹出来的确认窗口点击确认即可。 注意： 退订的实例处于冻结状态，请务必在实例退订前停止全部的应用。 在申请退订前，请做好数据备份工作，退订后数据将保留15个自然日，15天后相关数据将不予保留，且不会进行备份，务必谨慎操作。

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“Hive > Hive”。 7.在“Hive”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在“备份内容”中，选择一个或多个需要备份的Hive表。 支持两种方式选择备份数据： 直接选择 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示，在第一个输入框填写Hive表所在的数据库，需要与当前存在的数据库完全匹配。例如“defalut”。 c. 在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选数据库中所有的表，输入“([sS] ?)”。例如要筛选命名规则为字母数字组合的表，如tb1可输入“tbd ”。 d. 单击“刷新”，在“目录名称”查看筛选的表。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因： 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 NameService名称不正确。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备集群的备份路径中为每个备份任务创建子目录，目录名为 “备份任务名数据源任务创建时间” ，数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本节介绍如何创建单机训练任务。 创建训练任务 1. 智算控制台页面选择“离线训练”，单击“创建AI应用” 2. 根据需要修改任务基本信息，比如任务名，任务类型、命名空间等 3. 配置训练任务，选择单机任务 4. 选择框架，这里选择nvidiapytorchexample框架，此框架内置了Mnist训练数据集 5. 选择框架版本，此框架支持多架构 6. 选择队列，若没有则单击去创建队列，设置各类资源配额 7. 选择队列，设置任务资源，以及环境变量和启动命令等 启动命令如下：可调整对应训练轮次参数，GPU设置backend为nccl shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl Pytorch任务环境变量必须设置 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 单击确认创建任务。

工具安装 依次执行以下命令，安装libaio和测试工具FIO。 plaintext sudo yum install libaio y sudo yum install libaiodevel y sudo yum install fio –y FIO工具参数介绍 不同场景的测试公式基本一致，根据不同的测试目标，部分参数会有所不同，如下表所示。 参数 说明 direct 指定 direct 模式，默认值为1。 值为1：表示使用direct I/O，忽略I/O缓存，数据直写。 值为0：表示不使用direct I/O。 numjobs 并发线程数，默认为1。 当被测试磁盘性能较高时推荐加大numjobs数以增加压力。 iodepth 测试时的IO队列深度。 队列深度是指每个线程的队列深度，如果有多个线程测试，意味着每个线程都是此处定义的队列深度。FIO总的IO并发数iodepth numjobs。 rw 测试时的读写策略。可选值如下： randwrite：随机写 randread：随机读 read：顺序读 write：顺序写 randrw：混合随机读写 ioengine 测试时FIO选择哪种I/O引擎，本实践中选择libaio。 bs 每次请求的块大小（block size）。默认值为4k。 size 测试文件大小。取值如下： 带单位的数字，比如size10G，表示读/写的数据量为10GiB。 百分数，比如size20%，表示读/写的数据量占该设备总文件的20%的空间。 runtime 测试时间，即FIO运行时长。 如果未配置该参数，则持续将size指定的文件大小，以每次bs值为分块大小读/写完。 timebased 采用的时间模式。 无需设置该参数值，只要 FIO 基于时间来运行。 groupreporting 多个 job 并发时，打印整个 group 的统计值。 filename 测试对象，可以是磁盘设备名称（如/dev/vdb），或文件地址（如/opt/fiotest/fiotest.txt）。 name 本次测试任务的名称。

本文为您介绍弹性高性能计算产品相关名词的主要含义。 集群 集群指由一组计算机和必要的管理软件组成的计算机系统，能够提供单节点无法提供的强大计算能力，集群中通常包含管理节点、计算节点、调度器、应用软件等。用户可以根据实际业务需求对集群进行扩容、缩容。 节点 节点是集群的组成单元，在集群中通常分为管理节点、计算节点。在EHPC中，每个节点对应一台实例，用户可以根据实际业务和作业情况对集群节点进行扩容、缩容。 作业 作业指通过调度器提交的承载业务逻辑的运算单元，在调度器的管理下，一个集群中可运行多个作业，并根据多种调度策略进行作业编排。在EHPC中，支持通过命令行、Portal页面提交作业。 调度器 调度器指负责监控和管理集群中资源和作业的软件系统，当前版本支持Slurm调度器。 镜像 镜像是一个包含了软件及必要配置的主机模板，至少包含操作系统，还可以包含应用软件和私有软件。 用户 用户指使用弹性高性能计算平台运行业务的用户，包含管理员及普通用户，管理员与普通用户具有不同的权限。 队列 队列指一组具有相同或相似架构、性能的节点，一个集群中支持配置多个队列。用户可根据需求对计算节点进行分类，配置为不同的队列，便于运行相应的作业、配置相应的权限。 自动伸缩 自动伸缩是一种自动伸缩策略，可以根据您配置的伸缩策略动态分配计算节点，系统可以根据调度器感知到的集群负载自动增加或减少计算节点。可以帮您合理利用资源，优化使用成本。

操作分类 具体操作 描述 基础配置 新增应用系统 新增应用系统 删除应用系统 删除应用系统 修改应用系统 修改应用系统 新增站点 创建站点 删除站点 删除站点 修改站点 修改站点 启用站点 启用站点 禁用站点 禁用站点 重置站点 重建站点业务数据，在故障站点恢复正常后操作 新增单元 新增单元 删除单元 删除单元 修改单元 修改单元 新增单元组 新增单元组 删除单元组 删除单元组 修改单元组 修改单元组 接入层配置 选择接入层网关 绑定接入层网关 移除接入层网关 解绑接入层网关 新增单元组URI配置 新增业务流量路由 删除单元组URI配置 删除业务流量路由 修改单元组URI配置 修改业务流量路由 数据层配置 新增数据源 新增数据层数据源 删除数据源 删除数据层数据源 修改数据源 修改数据层数据源 新增同步任务 新增数据同步任务 删除同步任务 删除数据同步任务 修改同步任务 修改数据同步任务 启动同步任务 启动数据同步任务 停止同步任务 停止数据同步任务 绑定链路 绑定同步链路与数据传输服务实例 解绑链路 解绑同步链路与数据传输服务实例 启动链路 启动同步链路所绑定任务 停止链路 停止同步链路所绑定任务 消息层配置 新增数据源 新增消息层数据源 删除数据源 删除消息层数据源 修改数据源 修改消息层数据源 新增同步任务 新增消息同步任务 删除同步任务 删除消息同步任务 修改同步任务 修改消息同步任务 启动同步任务 启动消息同步任务 停止同步任务 停止消息同步任务 创建路由任务配置 创建消息路由任务配置 删除路由任务配置 删除消息路由任务配置 创建路由任务 创建路由任务 删除路由任务 删除路由任务 启用路由任务 启用路由任务 停用路由任务 停用路由任务 重置位点 重置目标实例消费位点 容灾切流 基础配置推送 发起基础配置推送 流量切换 发起流量切换 主备切换 发起主备切换 取消步骤 取消切流过程指定步骤 忽略步骤 跳过切流过程指定步骤 重试步骤 重试切流过程指定步骤

本文主要介绍消费组问题。 Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes参数有关： 2020年6月16日前创建的实例，offsets.retention.minutes默认为2147483646分钟，约1491308天，消费组14天后不会被删除。 2020年6月16日以及之后创建的实例，offsets.retention.minutes默认为20160分钟，即14天，消费组14天后会自动被删除。 原因如下： Kafka通过offsets.retention.minutes参数控制消费组中offsets保留时间，在此时间内如果没有提交offset，offsets将会被删除。Kafka判定消息组中没有在线的消费者（如empty状态），且没有offsets时，将会删除此消费组。 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？ 客户端删除消费组后，此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组，是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题： 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组，如果您不想重启Kafka Manager，可以等待14天后Kafka Manager自动清除此消费组。

本章主要介绍个人设置 消息通知 在“消息通知”页面，可以配置当前用户是否接收软件开发生产线各服务消息通知。 消息通知方式说明 软件开发生产线消息通知有两种方式：浏览器桌面通知、邮件通知。 浏览器桌面通知：消息通知将发送至PC端桌面，内容包括代码检查、编译构建、部署、流水线任务的执行结果。 邮件通知：根据各服务通知设置，软件开发生产线将发送消息通知至的对应成员的邮箱中。 开启/关闭通知 步骤 1 进入软件开发生产线首页，单击页面右上角用户名，在下拉菜单中选择“个人设置”。 步骤 2 页面默认跳转至“消息通知”页面，根据需要选择开启或关闭通知。 若需要修改接收消息通知的邮箱，请单击“更改设置”，根据页面提示修改邮箱地址。 消息设置 设置勿扰时间 软件开发生产线默认24小时接收消息通知，通过勿扰时间设置可以设置每天的某个时间段内不接收消息通知。 步骤 1 单击“勿扰时段设置”开关至状态。 步骤 2 单击更改设置，根据需要再弹框中设置开始时间与结束时间，单击“确定”。 勿扰时段设置 SSH密钥/HTTPS密码管理 什么是SSH密钥/HTTPS密码 当您需要从云端代码仓库拉取代码到本地，或将代码推送到云端代码仓库中时，代码仓库需要验证您的身份与权限，SSH和HTTPS是对云端代码仓库进行远程访问的两种身份验证方式。 SSH密钥是在本地计算机与您帐号下的代码仓库之间建立安全连接。 在一台本地计算机上配置了SSH密钥并添加公钥到代码托管服务中后，所有该帐号下的代码仓库与该台计算机之间都可以使用该密钥进行连接。 不同的用户通常使用不同的电脑，在使用SSH方式连接代码仓库前需要在自己电脑生成自己的SSH密钥，并设置到代码托管服务中。 HTTPS密码是HTTPS协议方式下载、上传时使用的用户凭证。 每个开发者，只需要设置一次密码，所有该项目下的仓库都会生效。 说明 两种方式中，使用其中任何一种方式都可以进行代码的上传下载，密钥（密码）的设置根据您选择的连接方式设定即可。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

本章节介绍了如何使用实例诊断功能快速定位问题。 操作场景 使用分布式消息服务RocketMQ消费消息时，如果遇到消息消费缓慢或者消费不到消息等消费异常的场景，借助实例诊断功能可以帮助您快速定位问题。 前提条件 已创建消费组，且消费组中已存在消费者。 已创建Topic。 实例诊断 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，选择“实例诊断”，进入实例诊断页面。 4. 选择待诊断的消费组名称，单击“开始诊断”。 诊断完成后，在“诊断记录”区域，新增一条诊断记录。 5. 单击“查看报告”，进入“实例诊断”页面，查看诊断结果。 图1 诊断结果 说明： 消费组中没有消费者时，会导致诊断失败。 消费组不在线时，可以诊断成功，但是会显示1项异常。 删除诊断记录 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，选择“实例诊断”，进入实例诊断页面。 4. 选择以下任意一种方法删除诊断记录。 在待删除的诊断记录所在行，单击“删除”。 如需批量删除诊断记录，勾选待删除的诊断记录，单击“批量删除”。 5. 弹出确认删除对话框，单击“是”，完成诊断记录的删除。

本章节主要介绍翼MapReduce的资源概述操作。 MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离： 计算资源 计算资源包括CPU和内存。租户之间不可以相互占用计算资源，私有计算资源独立。 存储资源 存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据，私有存储资源独立。 计算资源 计算资源可分为静态服务资源和动态资源： 静态服务资源 静态服务资源是集群分配给各个服务的计算资源，每个服务的计算资源总量固定，不与其他服务共享，是静态的。这些服务包括Flume、HBase、HDFS和Yarn。 动态资源 动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。 说明 大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。 存储资源 存储资源是分布式文件存储服务HDFS中可分配的数据存储空间资源。目录是HDFS存储资源分配的基本单位，租户通过指定HDFS文件系统的目录来获取存储资源。

本节介绍如何创建MindIE NPU多机PD分离任务。 本示例基于 MindIE 推理框架，选用 DeepSeekV3.1w8a8c8QuaRot 模型进行多机 PD（Prefill/Decode）分离部署。整体采用 1P × 1D 架构，其中 Prefill 阶段部署 1 个实例，由 1 个 master + 1 个 worker 角色组成，每个角色占用 8 张 NPU 卡；Decode 阶段部署 1 个实例，由 1 个 master + 3 个 worker 角色组成，每个角色占用 8 张 NPU 卡。因此，本任务共使用 6 台机器、48 张 NPU 卡，通过 Prefill 与 Decode 解耦调度，有效降低首 Token 时延并提升整体吞吐性能。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存)[参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：MindIE 开启PD分离选择 静态PD分离

本节介绍创建多机训练任务。 创建任务 在智算控制台页面选择“离线训练”，单击“创建AI应用”。 基本信息 在创建详情页根据需要修改任务基本的信息，比如任务名、任务类型（Pytorch/Tensorflow/Minspore）、命名空间等配置。 配置信息 选择多机训练任务。 选择框架 这里会根据选择的任务类型筛选出所有对应的框架镜像。 说明 这里使用nvidiapytorchexample框架，此框架内置了用于演示的Mnist训练数据集和代码。 选择框架镜像版本，如下所示此演示镜像支持多架构。 选择队列 队列用于限制一组任务所使用的资源。 说明 若没有队列则单击去创建，并设置各类资源配额。 配置Master 配置Master资源及启动参数等信息，如果需要使用RDMA加速训练则将RDMA资源通过自定义方式进行挂载。

介绍分布式消息服务RabbitMQ按需转包周期。 操作步骤 1、登录分布式消息服务RabbitMQ消息控制台，可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 按需转包周期。 3、进入到按需转包周期页面，在弹出来的确认窗口选择续订时长，点击确认即可。

操作系 统 相关配置项 Windows 设置网卡属性为DHCP 开启远程桌面连接功能 安装Guest OS driver，包括PV driver和UVP VMtools驱动 安装CloudbaseInit工具 （可选）开启网卡多队列 （可选）配置IPv6地址 Linux 清理网络规则文件 设置网卡属性为DHCP 安装原生KVM驱动 修改grub文件的磁盘标识方式为UUID 修改fstab文件的磁盘标识方式为UUID 清除“/etc/fstab”中非系统盘的自动挂载信息 安装CloudInit工具 （可选）开启网卡多队列 （可选）配置IPv6地址

本章节主要介绍数据仓库服务如何订阅告警通知。 用户可通过订阅DWS 的告警通知，在特定告警级别告警时收到短信、电子邮件或应用等方式的通知消息。 创建订阅 1.登录DWS管理控制台。 2.在左侧导航树，单击“告警管理”，切换至“订阅”页签。 3.在页面左上角单击“创建订阅”按钮。 4.在“订阅设置”区域，设置订阅基本信息及告警过滤。 订阅参数 参数名 参数解释 是否开启 设置是否开启告警订阅。 表示开启告警订阅。表示关闭告警订阅。关闭后停止发送已订阅告警的通知消息，但不会删除该订阅。 订阅名称 设置订阅告警的名称。 名称只能包含大写字母、小写字母、数字、和，且必须由大写字母、小写字母或数字开头。 名称长度为1～256字符。 告警级别 选择订阅告警的级别：紧急、重要、次要和提示。 5.“订阅告警列表”区域显示系统根据订阅设置筛选出的告警。在“消息通知主题名称”下拉框中，选择一个消息通知主题。 如需创建新主题，请单击“创建新主题”按钮，系统将跳转到消息通知服务控制台页面。 说明 所选择的消息通知主题，必须已授予DWS 服务向该主题发布消息的权限。如果所选主题尚未给DWS 授权，请前往消息通知服务的主题管理页面设置主题策略授权。设置主题策略时，“可发布消息的服务”需勾选“DWS”。 6.确认无误后，单击“确定”，完成创建订阅。

本章节介绍了分布式消息服务RocketMQ的产品规格。 分布式消息服务RocketMQ兼容开源RocketMQ 4.8.0，具体产品规格如下。 分布式消息服务RocketMQ 分布式消息服务RocketMQ产品规格由以下六个维度定义： 资源规格：定义使用的弹性云服务器的规格类型。 代理个数：定义实例的规模。 存储容量：定义单个代理可以保存的存储容量。 单个代理TPS：定义单个代理的TPS性能。 单个代理Topic数上限：定义单个代理可以创建的Topic数量。 单个代理消费组数上限：定义单个代理可以创建的消费组数量。 分布式消息服务RocketMQ支持的产品规格如表1所示。 表1 实例规格说明 资源规格 代理（个） 存储容量（GB/代理） 单个代理TPS 单个代理Topic数上限 单个代理消费组数上限 rocketmq.4u8g.cluster.small 1 ~ 2 300 ~ 60000 15000 2000 2000 rocketmq.4u8g.cluster 1 ~ 10 300 ~ 600000 20000 4000 4000 rocketmq.8u16g.cluster 1 ~ 10 300 ~ 900000 25000 8000 8000 rocketmq.12u24g.cluster 1 ~ 10 300 ~ 900000 28000 12000 12000 rocketmq.16u32g.cluster 1 ~ 10 300 ~ 900000 30000 16000 16000

本文主要 Kafka客户端参数配置建议。 Kafka客户端的配置参数很多，以下提供producer和consumer几个常用参数配置。其他参数配置，请参考Kafka配置。 表 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all或者1高吞吐：1 收到Server端确认信号个数，表示producer需要收到多少个这样的确认信号，算消息发送成功。 acks参数代表了数据备份的可用性。常用选项：acks0：表示producer不需要等待任何确认收到的信息，副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据，同时重试配置不会发生作用（因为客户端不知道是否失败）回馈的offset会总是设置为1。 acks1：这意味着至少要等待leader已经成功将数据写入本地log，但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据，而此时leader又无法提供服务，则消息会丢失。 acksall或者1：这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活，数据都不会丢失。min.insync.replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时，这些数据发送失败后，客户端会重新发送。 注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries3，重试间隔retry.backoff.ms1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间，超过这个时间则会抛Timeout异常。超时时间如果设置大一些，如127000（127秒），高并发的场景中，能减少发送失败的情况。 block.on.buffer.full TRUE TRUE TRUE表示当我们内存用尽时，停止接收新消息记录或者抛出错误。默认情况下，这个设置为TRUE。 然而某些阻塞可能不值得期待，因此立即抛出错误更好。如果设置为false，则producer抛出一个异常错误：BufferExhaustedException batch.size 16384 262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。 这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。较小的批量处理数值比较少用，并且可能降低吞吐量（0则会仅用批量处理）。 较大的批量处理数值将会浪费更多内存空间，这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度，producer会阻塞或者抛出异常，以“block.on.buffer.full”来表明。 这项设置将和producer能够使用的总内存相关，但并不是一个硬性的限制，因为不是producer使用的所有内存都是用于缓存。一些额外的内存会用于压缩（如果引入压缩机制），同样还有一些用于维护请求。 表 Consumer参数 参数 默认值 推荐值 说明 :::: auto.commit.enable TRUE FALSE 如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时，由新的consumer使用。约束：设置为false后，需要先成功消费再提交，这样可以避免消息丢失。 auto.offset.reset latest earliest 没有初始化offset或者offset被删除时，可以设置以下值： earliest：自动复位offset为最早 latest：自动复位offset为最新 none：如果没有发现offset则向消费者抛出异常 anything else：向消费者抛出异常。 说明 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间，设置为30000可以在网络异常场景下减少请求卡顿的时间。

开启安全认证 Nacos引擎专享版默认关闭安全认证。可通过控制台开启安全认证。 说明 开启安全认证后，控制台仅能看到有权限访问的命名空间；同时没有配置用户名密码的客户端将无法访问Nacos实例，请谨慎操作。 步骤 1 登录微服务引擎控制台。 步骤 2 在左侧导航栏选择“注册配置中心”。 步骤 3 单击待开启安全认证的Nacos引擎。 步骤 4 在左侧导航栏选择“权限控制”。 步骤 5 单击“开启安全认证”。 步骤 6 在弹出框中单击“确定”，该引擎开启安全认证成功。 关闭安全认证 说明 关闭安全认证后，无法对各个用户进行权限控制，客户端无需密码即可访问Nacos实例，访问控制台可以看到全部的命名空间，请谨慎操作。 步骤 1 登录微服务引擎控制台。 步骤 2 在左侧导航栏选择“注册配置中心”。 步骤 3 单击待关闭安全认证的Nacos引擎。 步骤 4 在左侧导航栏选择“权限控制”。 步骤 5 单击“关闭安全认证”。 步骤 6 在弹出框中单击“确定”，待该引擎的状态变为“可用”时，该引擎关闭安全认证成功。

监控通知将为您提供云监控平台相关通知消息，为避免您日常使用受到影响，建议你及时关注监控通知消息。 操作场景 监控通知功能便于您及时了解监控平台推送您的重要通知消息。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击右上角“监控通知”按钮，即可查看云监控平台推送的通知消息。 说明 在监控通知抽屉页，您可点击消息右上角“标为已读”按钮，确认您已知晓消息内容。 “监控概览”/“监控面板”页面，监控通知按钮右上角数值，表示用户未读消息数目。 在4.0资源池，监控通知功能在“监控概览”、“监控面板”页面均显示；在3.0资源池，监控通知功能在“监控面板”页面显示。 注意 “监控通知”功能仅在云监控平台根据业务需求，向您推送相关通知信息后，控制台才显示相关功能。

分布式消息服务RocketMQ是一款低成本、高可靠、高性能的消息中间件产品,兼容开源RocketMQ客户端,提供高效可靠的消息传递服务,解决分布式应用系统之间的消息数据通信难题,用于系统间的解耦,用户只需专注业务,无需部署运维,适用于电商、金融、政企等多样业务场景。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息： ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”为获取的Kafka实例公网连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemoHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令进行消费消息： ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin] ./kafkaconsoleconsumer.sh bootstrapserver 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemo group ordertest frombeginning Kafka! DMS Hello ^CProcessed a total of 3 messages [root@ecskafka bin]