进行分布式消息服务Kafka与开源自建对比。 分布式消息服务Kafka相对开源自建的Kafka提供更多功能服务，具备如下优势： 对比项 开源自建 分布式消息服务Kafka 低成本运维 需要专业人员资源规划、部署、运维。 一键开通，全托管。提供多种规格，按需使用，支持一键式节点数、磁盘存储空间和节点规格扩容。 分区规模 千级分区稳定性下降。 支持万级分区稳定写入。 消息查询 命令行可以消费，但无法根据位点或者时间直接定位到具体的消息。 控制台可视化按时间或者位点直接查看消息。 ACL访问控制 命令行，配置复杂。 灵活配置，一键生效。 可视化配置 命令行，配置复杂。 控制台全方位可视化配置管理。 运维监控 缺乏配套的监控运维能力。 提供全引擎指标可视化监控，告警及时发现问题。 集群巡检 命令行，配置复杂。 引擎状态、主题一键健康检测、启停。 稳定可靠 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 支持跨AZ部署，提升可靠性。 安全保证 需要自行进行安全加固。 VPC隔离，支持SSL通道加密。 简单易用 无，需要自己开发。 提供简单的实例管理RESTful API，使用门槛低。

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“HDFS”。 7.在“HDFS”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在HDFS“备份内容”中，根据业务需要选择一个或多个需要备份的HDFS目录。 支持两种方式选择备份数据： 直接选择 单击导航中某个目录的名称，将展开显示此目录中的所有子目录，勾选指定的目录。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示，在第一个输入框填写目录的父目录完整路径，需要与当前存在的目录完全匹配。例如“/tmp”。 c. 在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选父目录中所有的文件或子目录，输入“([sS]?)”。例如要筛选命名规则为字母数字组合的文件，如file1 可输入“filed ”。 d. 单击“刷新”，在“目录名称”查看筛选的目录。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。 备份目录不可包含长期写入 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因： 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 NameService名称不正确。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备集群的备份路径中为每个备份任务创建子目录，目录名为“ 备份任务名数据源任务创建时间” ，数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。

本章节主要介绍创建用户并授权使用分布式消息服务RabbitMQ。 如果您需要对您所拥有的分布式消息服务RabbitMQ服务进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），通过IAM，您可以： 根据企业的业务组织，在您的帐号中，给企业中不同职能部门的员工创建IAM用户，让员工拥有唯一安全凭证，并使用分布式消息服务RabbitMQ资源。 根据企业用户的职能，设置不同的访问权限，以达到用户之间的权限隔离。 将分布式消息服务RabbitMQ资源委托给更专业、高效的其他帐号或者云服务，这些帐号或者云服务可以根据权限进行代运维。 如果帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用分布式消息服务RabbitMQ服务的其它功能。 本章节为您介绍对用户授权的方法，操作流程如图1所示。 说明 分布式消息服务RabbitMQ服务的权限与策略基于分布式消息服务DMS，因此在IAM服务中为RabbitMQ分配用户与权限时，请选择并使用“DMS”的权限与策略。 前提条件 给用户组授权之前，请您了解用户组可以添加的分布式消息服务RabbitMQ系统策略，并结合实际需求进行选择，分布式消息服务RabbitMQ支持的系统策略及策略间的对比，请参见：权限管理。 示例流程 图1 给用户授权RabbitMQ权限流程 1. 创建用户组并授权 在IAM控制台创建用户组，并授予RabbitMQ的只读权限“DMS ReadOnlyAccess”。 2. 创建用户并加入用户组 在IAM控制台创建用户，并将其加入1中创建的用户组。 3. 用户登录并验证权限 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择分布式消息服务RabbitMQ，进入RabbitMQ实例主界面，单击右上角“购买RabbitMQ实例”，尝试购买RabbitMQ实例，如果无法购买RabbitMQ实例（假设当前权限仅包含DMS ReadOnlyAccess），表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘（假设当前策略仅包含DMS ReadOnlyAccess），若提示权限不足，表示“DMS ReadOnlyAccess”已生效。

客户价值 配置消息通知后，可以实时给用户发送翼MR集群健康状态，用户可以通过手机短信或邮箱实时接收到翼MR集群变更及组件告警信息。翼MR可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，大数据业务部署更加省心省力。 特性描述 翼MR联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，我们可以先创建一个主题，并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。翼MR将集群消息发送至您有权限发布消息的主题，然后所有订阅了该主题的订阅者（可以是手机短信、邮箱等）都将收到集群变更以及组件告警的消息。

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.单击“创建”。 3.在“任务名称”填写备份任务的名称。 4.在“备份对象”选择待操作的集群。 5.在“备份类型”选择备份任务的运行类型。 “周期备份”表示按周期自动执行备份，“手动备份”表示由手工执行备份。 周期备份参数 参数名称 描述 开始时间 任务第一次启动的时间。 周期 任务下次启动，与上一次运行的时间间隔，支持按“小时”或按“天”。 备份策略 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 如果“路径类型”要使用NFS或CIFS，不能使用增量备份功能。因为在NFS或CIFS备份时使用增量备份时，每次增量备份都会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 6.在“备份配置”，勾选“Hive > Hive”。 7.在“Hive”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。选择此参数值，还需要配置以下参数： “目的端NameService名称”：填写备集群的NameService名称。可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4），也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “目的端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “目的端路径”：填写备集群保存备份数据的HDFS目录。不支持填写HDFS中的隐藏目录，例如快照或回收站目录；也不支持默认的系统目录，例如“/hbase”或“/user/hbase/backup”。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “服务器共享路径”：填写用户配置的NAS服务器共享目录。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 “SFTP”：表示将备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “服务器共享路径”：SFTP服务器上的备份路径。 “最大备份数”：填写备份目录中可保留的备份文件集数量。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NameService名称”：选择备份目录对应的NameService名称。默认值为“hacluster”。 8.在“最大恢复点个数”填写备份任务在本集群中备份可保留的快照数量。 9.在“备份内容”中，选择一个或多个需要备份的Hive表。 支持两种方式选择备份数据： 直接选择 单击导航中某个数据库的名称，将展开显示此数据库中的所有表，勾选指定的表。 正则表达式筛选 a. 单击“正则表达式输入”。 b. 根据界面提示，在第一个输入框填写Hive表所在的数据库，需要与当前存在的数据库完全匹配。例如“defalut”。 c. 在第二个输入框输入正则表达式，支持标准正则表达式。例如要筛选数据库中所有的表，输入“([sS] ?)”。例如要筛选命名规则为字母数字组合的表，如tb1可输入“tbd ”。 d. 单击“刷新”，在“目录名称”查看筛选的表。 e. 单击“同步”保存筛选结果。 说明 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。 10.单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因： 目的端NameNode IP地址不正确。 队列名称不正确。 待备份的数据文件所在HDFS路径的父目录或子目录存在HDFS快照。 待备份的目录或表不存在。 NameService名称不正确。 11.单击“确定”保存。 12.在备份任务列表中已创建任务的“操作”列，选择“更多 > 即时备份”，开始执行备份任务。 备份任务执行完成后，系统自动在备集群的备份路径中为每个备份任务创建子目录，目录名为 “备份任务名数据源任务创建时间” ，数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。

本节介绍如何创建单机训练任务。 创建训练任务 1. 智算控制台页面选择“离线训练”，单击“创建AI应用” 2. 根据需要修改任务基本信息，比如任务名，任务类型、命名空间等 3. 配置训练任务，选择单机任务 4. 选择框架，这里选择nvidiapytorchexample框架，此框架内置了Mnist训练数据集 5. 选择框架版本，此框架支持多架构 6. 选择队列，若没有则单击去创建队列，设置各类资源配额 7. 选择队列，设置任务资源，以及环境变量和启动命令等 启动命令如下：可调整对应训练轮次参数，GPU设置backend为nccl shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl Pytorch任务环境变量必须设置 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 单击确认创建任务。

本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

本文为您介绍分布式消息服务MQTT与其他服务关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为分布式消息服务MQTT提供一个逻辑隔离的区域，构建一个安全可靠、可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 弹性云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务MQTT持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务MQTT提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务MQTT动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务MQTT实例的需求，用户可开通弹性IP后，在MQTT实例页面进行绑定。更多信息请参见弹性IP。

本节主要介绍分布式消息服务Kafka的订购流程。 背景信息 Kafka实例订购支持用户自定义规格和自定义特性，采用物理隔离的方式部署。租户独占Kafka实例，可根据业务需要可定制相应规格的Kafka实例。在新的资源池节点上，还支持选择主机类型和存储规格等丰富用户选项。 前提条件 具备已通过实名认证的天翼云账号 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在管理控制台右上角单击“地域名称”，选择区域。此处请选择与您的应用服务相同的区域。 4. 点击“购买实例”跳转到购买页面，根据页面订购说明进行产品开通。 5. 下载安装工具Eclipse3.6.0以上上版本 或者IntelliJ ，JDK 1.8.111以上版本。 说明 以下订购说明适用于华东1、华北2、西南1、华南2、上海36、青岛20、长沙42、南昌5、武汉41、杭州7、西南2贵州、太原4、郑州5、西安7、呼和浩特3资源池 计费模式：包周期和按需计费 引擎类型：云原生引擎和Kafka引擎。两者差别如下： 云原生引擎：大规模分区性能稳定性更高，扩容无需迁移数据。 Kafka引擎：完全兼容开源Kafka生态，占用更少IO带宽，可应对更高的性能峰值突刺。 部署方式：单可用区和多可用区部署。单可用区部署请选中任意一个AZ；多可用区部署请选中3个AZ，系统会自动将Broker节点平均分配至各可用区 自动续期：支持自动续期，支持做选择自动续期时长 节点数：3、5、7、9 主机类型：通用型和计算增强型，不同类型主机规格价格不一样，具体区别见文档弹性云主机实例规格 实例规格：主机节点规格，通用型和计算增强型规格不一致，具体以页面为准。 说明 以下订购说明适用于芜湖2、上海7、重庆2、乌鲁木齐27、石家庄20、内蒙6、北京5 资源池 计费模式：包周期和按需计费 区域：开通实例所在资源池 类型：选择产品规格，包括高级版8核32G与基础版4核16G 节点数：固定3个节点 主机类型：支持通用型主机s2、s3和s6，具体区别见文档弹性云主机实例规格通用型

参数 说明 retries 消息发送失败时的重试次数。 retry.backoff.ms 消息发送失败时的重试间隔，建议设置为1000。单位：毫秒。 acks 发送消息的持久化机制。为了提升发送性能， 建议设置为acks1。acks0：无需服务端的Response，性能较高、丢数据风险较大。acks1：服务端主节点写成功即返回Response，性能中等、丢数据风险中等、主节点宕机可能导致数据丢失。acksall：服务端主节点写成功且备节点同步成功才返回Response，性能较差、数据较为安全、主节点和备节点都宕机才会导致数据丢失。 batch.size 发往每个分区的消息缓存量。达到设置的数值时，就会触发一次网络请求，然后Producer客户端把消息批量发往服务器。如果batch.size设置过小，有可能影响发送性能和稳定性。建议保持默认值16384。单位：字节。 linger.ms 每条消息在缓存中的最长时间。若超过这个时间，Producer客户端就会忽略batch.size的限制，立即把消息发往服务器。建议根据业务场景， 将linger.ms设置在100~1000之间。单位：毫秒。 partitioner.class 设置分区策略。建议采用粘性分区策略，可提升发送性能。发送客户端2.4及以上版本，默认采用粘性分区策略模式。 buffer.memory 发送的内存池大小。如果内存池设置过小，则有可能导致申请内存耗时过长，从而影响发送性能，甚至导致发送超时。建议buffer.memory ≧ batch.size 分区数 2。单位：字节。

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息。 ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} producer.config ../config/producer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095”为Kafka实例连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9095,10.78.42.127:9095,10.4.49.103:9095 topic topicdemo producer.config ../config/producer.propertiesHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令消费消息。 ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning consumer.config ../config/consumer.properties 参数说明如下： 连接地址：从前提条件获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败 。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin]

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

操作分类 具体操作 描述 基础配置 新增应用系统 新增应用系统 删除应用系统 删除应用系统 修改应用系统 修改应用系统 新增站点 创建站点 删除站点 删除站点 修改站点 修改站点 启用站点 启用站点 禁用站点 禁用站点 重置站点 重建站点业务数据，在故障站点恢复正常后操作 新增单元 新增单元 删除单元 删除单元 修改单元 修改单元 新增单元组 新增单元组 删除单元组 删除单元组 修改单元组 修改单元组 接入层配置 选择接入层网关 绑定接入层网关 移除接入层网关 解绑接入层网关 新增单元组URI配置 新增业务流量路由 删除单元组URI配置 删除业务流量路由 修改单元组URI配置 修改业务流量路由 数据层配置 新增数据源 新增数据层数据源 删除数据源 删除数据层数据源 修改数据源 修改数据层数据源 新增同步任务 新增数据同步任务 删除同步任务 删除数据同步任务 修改同步任务 修改数据同步任务 启动同步任务 启动数据同步任务 停止同步任务 停止数据同步任务 绑定链路 绑定同步链路与数据传输服务实例 解绑链路 解绑同步链路与数据传输服务实例 启动链路 启动同步链路所绑定任务 停止链路 停止同步链路所绑定任务 消息层配置 新增数据源 新增消息层数据源 删除数据源 删除消息层数据源 修改数据源 修改消息层数据源 新增同步任务 新增消息同步任务 删除同步任务 删除消息同步任务 修改同步任务 修改消息同步任务 启动同步任务 启动消息同步任务 停止同步任务 停止消息同步任务 创建路由任务配置 创建消息路由任务配置 删除路由任务配置 删除消息路由任务配置 创建路由任务 创建路由任务 删除路由任务 删除路由任务 启用路由任务 启用路由任务 停用路由任务 停用路由任务 重置位点 重置目标实例消费位点 容灾切流 基础配置推送 发起基础配置推送 流量切换 发起流量切换 主备切换 发起主备切换 取消步骤 取消切流过程指定步骤 忽略步骤 跳过切流过程指定步骤 重试步骤 重试切流过程指定步骤

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

本文主要介绍消费组问题。 Kafka实例是否需要创建消费组、生产者和消费者？ 不需要单独创建消费组、生产者和消费者，在使用时自动生成，实例创建后，直接使用即可。 连接Kafka实例后，生产消息和消费消息，请参考向Kafka实例生产消息和消费消息。 如果消息组中没有在线的消费者（如empty状态），是否14天后会自动被删除？ 消息组中没有在线的消费者（如empty状态），14天后是否会自动被删除与offsets.retention.minutes参数有关： 2020年6月16日前创建的实例，offsets.retention.minutes默认为2147483646分钟，约1491308天，消费组14天后不会被删除。 2020年6月16日以及之后创建的实例，offsets.retention.minutes默认为20160分钟，即14天，消费组14天后会自动被删除。 原因如下： Kafka通过offsets.retention.minutes参数控制消费组中offsets保留时间，在此时间内如果没有提交offset，offsets将会被删除。Kafka判定消息组中没有在线的消费者（如empty状态），且没有offsets时，将会删除此消费组。 客户端删除消费组后，在Kafka Manager中仍可以看到此消费组？ 客户端删除消费组后，此消费组已经被删除了。在Kafka Manager中仍可以看到此消费组，是因为Kafka Manager存在缓存。 通过以下任意一种方法解决此问题： 重启Kafka Manager。 Kafka Manager只显示14天内有消费记录的消费组，如果您不想重启Kafka Manager，可以等待14天后Kafka Manager自动清除此消费组。

介绍分布式消息服务RabbitMQ按需转包周期。 操作步骤 1、登录分布式消息服务RabbitMQ消息控制台，可以看到当前租户下面的实例列表。 2、点击需要变更实例栏 > 更多 > 按需转包周期。 3、进入到按需转包周期页面，在弹出来的确认窗口选择续订时长，点击确认即可。

本章主要介绍个人设置 消息通知 在“消息通知”页面，可以配置当前用户是否接收软件开发生产线各服务消息通知。 消息通知方式说明 软件开发生产线消息通知有两种方式：浏览器桌面通知、邮件通知。 浏览器桌面通知：消息通知将发送至PC端桌面，内容包括代码检查、编译构建、部署、流水线任务的执行结果。 邮件通知：根据各服务通知设置，软件开发生产线将发送消息通知至的对应成员的邮箱中。 开启/关闭通知 步骤 1 进入软件开发生产线首页，单击页面右上角用户名，在下拉菜单中选择“个人设置”。 步骤 2 页面默认跳转至“消息通知”页面，根据需要选择开启或关闭通知。 若需要修改接收消息通知的邮箱，请单击“更改设置”，根据页面提示修改邮箱地址。 消息设置 设置勿扰时间 软件开发生产线默认24小时接收消息通知，通过勿扰时间设置可以设置每天的某个时间段内不接收消息通知。 步骤 1 单击“勿扰时段设置”开关至状态。 步骤 2 单击更改设置，根据需要再弹框中设置开始时间与结束时间，单击“确定”。 勿扰时段设置 SSH密钥/HTTPS密码管理 什么是SSH密钥/HTTPS密码 当您需要从云端代码仓库拉取代码到本地，或将代码推送到云端代码仓库中时，代码仓库需要验证您的身份与权限，SSH和HTTPS是对云端代码仓库进行远程访问的两种身份验证方式。 SSH密钥是在本地计算机与您帐号下的代码仓库之间建立安全连接。 在一台本地计算机上配置了SSH密钥并添加公钥到代码托管服务中后，所有该帐号下的代码仓库与该台计算机之间都可以使用该密钥进行连接。 不同的用户通常使用不同的电脑，在使用SSH方式连接代码仓库前需要在自己电脑生成自己的SSH密钥，并设置到代码托管服务中。 HTTPS密码是HTTPS协议方式下载、上传时使用的用户凭证。 每个开发者，只需要设置一次密码，所有该项目下的仓库都会生效。 说明 两种方式中，使用其中任何一种方式都可以进行代码的上传下载，密钥（密码）的设置根据您选择的连接方式设定即可。

本章节主要介绍数据仓库服务如何订阅告警通知。 用户可通过订阅DWS 的告警通知，在特定告警级别告警时收到短信、电子邮件或应用等方式的通知消息。 创建订阅 1.登录DWS管理控制台。 2.在左侧导航树，单击“告警管理”，切换至“订阅”页签。 3.在页面左上角单击“创建订阅”按钮。 4.在“订阅设置”区域，设置订阅基本信息及告警过滤。 订阅参数 参数名 参数解释 是否开启 设置是否开启告警订阅。 表示开启告警订阅。表示关闭告警订阅。关闭后停止发送已订阅告警的通知消息，但不会删除该订阅。 订阅名称 设置订阅告警的名称。 名称只能包含大写字母、小写字母、数字、和，且必须由大写字母、小写字母或数字开头。 名称长度为1～256字符。 告警级别 选择订阅告警的级别：紧急、重要、次要和提示。 5.“订阅告警列表”区域显示系统根据订阅设置筛选出的告警。在“消息通知主题名称”下拉框中，选择一个消息通知主题。 如需创建新主题，请单击“创建新主题”按钮，系统将跳转到消息通知服务控制台页面。 说明 所选择的消息通知主题，必须已授予DWS 服务向该主题发布消息的权限。如果所选主题尚未给DWS 授权，请前往消息通知服务的主题管理页面设置主题策略授权。设置主题策略时，“可发布消息的服务”需勾选“DWS”。 6.确认无误后，单击“确定”，完成创建订阅。

本文主要 Kafka客户端参数配置建议。 Kafka客户端的配置参数很多，以下提供producer和consumer几个常用参数配置。其他参数配置，请参考Kafka配置。 表 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all或者1高吞吐：1 收到Server端确认信号个数，表示producer需要收到多少个这样的确认信号，算消息发送成功。 acks参数代表了数据备份的可用性。常用选项：acks0：表示producer不需要等待任何确认收到的信息，副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据，同时重试配置不会发生作用（因为客户端不知道是否失败）回馈的offset会总是设置为1。 acks1：这意味着至少要等待leader已经成功将数据写入本地log，但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据，而此时leader又无法提供服务，则消息会丢失。 acksall或者1：这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活，数据都不会丢失。min.insync.replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时，这些数据发送失败后，客户端会重新发送。 注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries3，重试间隔retry.backoff.ms1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间，超过这个时间则会抛Timeout异常。超时时间如果设置大一些，如127000（127秒），高并发的场景中，能减少发送失败的情况。 block.on.buffer.full TRUE TRUE TRUE表示当我们内存用尽时，停止接收新消息记录或者抛出错误。默认情况下，这个设置为TRUE。 然而某些阻塞可能不值得期待，因此立即抛出错误更好。如果设置为false，则producer抛出一个异常错误：BufferExhaustedException batch.size 16384 262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。 这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。较小的批量处理数值比较少用，并且可能降低吞吐量（0则会仅用批量处理）。 较大的批量处理数值将会浪费更多内存空间，这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度，producer会阻塞或者抛出异常，以“block.on.buffer.full”来表明。 这项设置将和producer能够使用的总内存相关，但并不是一个硬性的限制，因为不是producer使用的所有内存都是用于缓存。一些额外的内存会用于压缩（如果引入压缩机制），同样还有一些用于维护请求。 表 Consumer参数 参数 默认值 推荐值 说明 :::: auto.commit.enable TRUE FALSE 如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时，由新的consumer使用。约束：设置为false后，需要先成功消费再提交，这样可以避免消息丢失。 auto.offset.reset latest earliest 没有初始化offset或者offset被删除时，可以设置以下值： earliest：自动复位offset为最早 latest：自动复位offset为最新 none：如果没有发现offset则向消费者抛出异常 anything else：向消费者抛出异常。 说明 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间，设置为30000可以在网络异常场景下减少请求卡顿的时间。

云防火墙中的IPsec VPN是什么？ IPSec VPN吞吐量是指防火墙在执行IPSec加解密处理时，单位时间内能够转发的最大数据量，由于VPN流量需要经过加密封装、完整性校验、隧道封装等一系列处理，相比普通防火墙转发会消耗更多的计算资源，因此IPSec VPN吞吐量通常低于防火墙的明文转发吞吐量。在极端场景下，由于所有流量可能被哈希到同一队列，实际吞吐量可能降至标称值的30%～50%左右。随着VPN隧道数量增加、会话多样性提升，流量在多队列间的分布会逐步趋于均衡，实际性能也随之接近标称值。

切换到执行脚本所在目录。 python /run.py 执行启动脚本。 资源配置 队列 选择目标队列，展示当前总资源及使用情况。 资源配置 资源规格 选择当前任务所需要的资源规格。 资源配置 实例数量 输入当前部署实例的数量。 在列表可查看模型是否部署成功，在操作列可进行模型查看、更新、停止、重启、修改、上下线、删除等操作。停止服务后计费也会停止，再次启动服务即可开通计费。 操作列点击【查看】可进入该服务的详情页，查看部署的模型列表、服务监控、配置历史、运行记录、事件日志、服务日志。 服务部署完成后下一步需要创建服务接入。

本文介绍如何查看镜像扫描任务的状态。 执行镜像扫描操作后，可通过“任务中心”查看镜像扫描任务的状态。 扫描状态包括扫描完成、待扫描、扫描中、创建中。 扫描类型分为手动扫描、自动扫描、周期扫描。 操作步骤 1. 登录容器安全卫士控制台。 2. 在左侧导航栏，选择“任务中心”，进入任务中心页面。 3. 定位到“扫描任务队列 > 镜像扫描队列”，可查看历史扫描任务和正在扫描任务中镜像的扫描状态。 说明 若扫描任务中扫描类型后带有“！”，则说明此任务中存在扫描失败的镜像。

监控通知将为您提供云监控平台相关通知消息，为避免您日常使用受到影响，建议你及时关注监控通知消息。 操作场景 监控通知功能便于您及时了解监控平台推送您的重要通知消息。 前提条件 注册天翼云账号，并完成实名认证。具体操作，请参见天翼云账号注册流程。 操作步骤 1. 登录控制中心。 2. 在控制中心页面左上角点击，选择区域，本文我们选择华东1。 3. 依次选择“管理与部署”，单击“云监控”，进入监控概览页面。 4. 单击右上角“监控通知”按钮，即可查看云监控平台推送的通知消息。 说明 在监控通知抽屉页，您可点击消息右上角“标为已读”按钮，确认您已知晓消息内容。 “监控概览”/“监控面板”页面，监控通知按钮右上角数值，表示用户未读消息数目。 在4.0资源池，监控通知功能在“监控概览”、“监控面板”页面均显示；在3.0资源池，监控通知功能在“监控面板”页面显示。 注意 “监控通知”功能仅在云监控平台根据业务需求，向您推送相关通知信息后，控制台才显示相关功能。

错误码 说明 52060 指定桌面不属于当前用户 92006 桌面不在线 92100 通过 sessionId 找不到 session 92101 消息发送失败 92102 消息长度不能超过 2000 字符 92103 找不到消息记录 92104 功能未开放，请联系管理员 92105 功能未开放，请联系管理员

步骤三：在控制台中发布事件 1. 登录事件总线EventBridge管理控制台，在左侧导航栏，单击事件总线。 2. 在事件总线页面，找到步骤一中选中的总线，在其右侧操作列单击发布事件。 3. 在发送事件面板，事件源下拉列表选择已创建的自定义事件源，在事件体代码框输入事件内容，然后单击确定 。事件包含的参数规范，请参见事件概述。 4. （可选项）亦可选择通过SDK发送事件，详见SDK概述。 注意 仅自定义事件总线支持通过管理控制台发布事件。 步骤四：结果验证 1. 登录分布式消息服务Kafka管理控制台。 2. 在左侧导航栏，单击实例列表，选择目标实例。 3. 在左侧导航栏点击消息查询页面，点击按位点查询，验证主题刚才收到的消息是否与步骤三发送的事件内容一致，详见图2。 图2 在分布式消息Kafka管理控制台消息查询页面查询消息

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息： ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”为获取的Kafka实例公网连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemoHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令进行消费消息： ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin] ./kafkaconsoleconsumer.sh bootstrapserver 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemo group ordertest frombeginning Kafka! DMS Hello ^CProcessed a total of 3 messages [root@ecskafka bin]

本章节主要介绍数据湖探索（DLI）的计费模式。 数据湖探索的计费包括存储计费、计算计费。 计费项 计费项 说明 计算计费 按照“CU时”收取计算费用。 CU是队列的计价单位。1CU 1Core 4GMem。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。当前支持Spark、Flink、OpenLookeng计算。 存储计费 按照存储在DLI服务中的表数据存储量（单位为“GB”）收取存储费用。 在估算存储费用时，请特别注意，DLI采用压缩存储，通常能压缩到原文件大小的1/5。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。 计费方式 DLI在不同的计费项下有不同的计费模式，具体详见下表说明。 计费项 计费模式 计费模式说明 计算计费 按需计费 按需的队列使用CU时进行计费。不足一小时按一小时计费，小时数按整点计算，计算费用单价CU数小时数。 DLI表的数据存储 按需计费 按照存储在DLI服务中的数据存储量（单位为“GB”）收取存储费用。不足一小时按一小时计费，小时数按整点计算，存储费用单价存储数据量（GB）小时数。

m3弹性云主机的规格 规格名称 CPU( 核） 内存（ GB ） 最大带宽（ Gbps ） 基准带宽（ Gbps ） 最大收发包（万 pps ） 网卡多队列 m3.large.8 2 16 1.5 0.6 30 2 m3.xlarge.8 4 32 3 1.1 50 2 m3.2xlarge.8 8 64 5 2 90 4 m3.4xlarge.8 16 128 10 4.5 130 4 m3.8xlarge.8 32 256 15 9 260 8 m2弹性云主机的规格 规格名称 CPU(核） 内存（GB） 最大带宽（Gbps） 基准带宽（Gbps） 最大收发包（万pps） 网卡多队列 m2.medium.8 1 8 m2.large.8 2 16 m2.xlarge.8 4 32 m2.2xlarge.8 8 64 m2.4xlarge.8 16 128

本节介绍创建单机训练任务。 创建任务 在智算控制台页面选择“离线训练”，单击“创建AI应用”。 基本信息 设置任务基本信息，比如任务名，任务类型、命名空间等。 配置信息 配置训练任务，选择单机任务。 选择框架和版本 这里会根据选择的任务类型筛选出所有对应的框架镜像。 说明 选择nvidiapytorchexample框架，此框架内置了Mnist训练数据集。 选择框架版本，此框架支持多架构。 选择队列 说明 若没有则单击“创建队列”，设置各类资源配额。 选择队列，设置任务资源，以及环境变量和启动命令等。 启动参数 启动命令如下：可调整对应训练轮次参数，GPU设置backend为nccl。 shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl Pytorch任务环境变量必须设置。 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 单击“确认”，完成任务创建。 查看任务

错误码 说明 52060 指定桌面不属于当前用户 92006 桌面不在线 92100 通过 sessionId 找不到 session 92101 消息发送失败 92102 消息长度不能超过 2000 字符 92103 找不到消息记录 92104 功能未开放，请联系管理员 92105 功能未开放，请联系管理员

本节介绍如何对上传的文件进行IaC扫描。 前提条件 已上传需要检测的K8S manifests、dockerfile、Configmap文件。 操作步骤 1. 登录容器安全卫士控制台。 2. 在左侧导航栏选择“IaC安全 > IaC检查”，进入IaC检查页面。 3. 选择检查的文件类型。 4. 单击检查列表操作列的“扫描”按钮或者列表右上角的“开始扫描”，可对已上传的文件进行检测。 5. 扫描后，到“任务中心 > 扫描任务队列 > IaC安全扫描队列”中查看扫描状态及生成扫描结果。