介绍分布式消息服务Kafka续订操作内容。 场景描述 分布式消息服务Kafka为用户提供全面周到的服务，支持用户续订的需求。针对包周期消息实例服务，用户可在到期前进行服务周期延长操作，即续订操作。 操作步骤 （1）登录管理控制台。 （2）进入Kafka管理控制台。 （3）在实例列表页在操作列，目标实例行点击“更多”，点击“续订”。 （4）点击“续订”后，会打开新页面，选择续订时长，会计算出对应价格，点击“确定”，后可到我的订单中支付。

section3aef9b71341e43c4)。 非简单请求的跨域访问 注意 非简单请求的跨域访问需要在API的分组中创建一个“请求方法”为“OPTIONS”的API，作为预检请求。 预检请求API的参数设置，请参考以下说明填写。详细的使用指导可参考非简单请求。 a. 在“前端定义”中，参数填写说明如下： 请求方法：选择“OPTIONS” 请求协议：选择与已开启CORS的API相同的请求协议 请求Path：填斜杠/ b. 在“安全配置”中，安全认证选“无认证”，勾选“开启支持跨域CORS”。 c. 后端服务选择Mock 简单请求 对于简单请求，您需要开启简单跨域访问。 场景一：已开启CORS，且后端服务响应消息中未指定跨域头时，API网关接受任意域的请求，并返回“AccessControlAllowOrigin”跨域头，示例如下： 浏览器发送一个带Origin字段的请求消息： GET /simple HTTP/1.1 Host: www.test.com Orgin: ContentType: application/xwwwformurlencoded; charsetutf8 Accept: application/json Date: Tue, 15 Jan 2019 01:25:52 GMT Origin：此字段必选，表示请求消息所属源，上例中请求来源于“ 后端服务返回响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway {"status":"200"} API网关响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway XRequestId: 454d689fa69847610b3ca486458fb08b AccessControlAllowOrigin: {"status":"200"} AccessControlAllowOrigin：此字段必选，“”表示API网关接受任意域的请求。 场景二：已开启CORS，且后端服务响应消息中指定跨域头时，后端服务响应的跨域头将覆盖API网关增加的跨域头，示例如下： 浏览器发送一个带Origin字段的请求消息： GET /simple HTTP/1.1 Host: www.test.com Orgin: ContentType: application/xwwwformurlencoded; charsetutf8 Accept: application/json Date: Tue, 15 Jan 2019 01:25:52 GMT Origin：此字段必选，表示请求消息所属源，上例中请求来源于“ 后端服务返回响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway AccessControlAllowOrigin: {"status":"200"} AccessControlAllowOrigin：表示后端服务接受“ API网关响应消息： HTTP/1.1 200 OK Date: Tue, 15 Jan 2019 01:25:52 GMT ContentType: application/json ContentLength: 16 Server: apigateway XRequestId: 454d689fa69847610b3ca486458fb08b AccessControlAllowOrigin: {"status":"200"} 后端服务响应消息中的跨域头覆盖API网关响应消息中的跨域头。

功能说明 获取指定桶的桶策略。 请求消息样式 plaintext GET /{Bucket}?policy HTTP/1.1 Host: xxx.zos.ctyun.cn XAmzContentSha256: ContentSHA256 XAmzDate: Date Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentLength: ContentLength Date: Date Connection: KeepAlive { "Version": "20121017", "Id": "string", "Statement": [ { "Sid": "string", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam:::user/uid" }, "Action": ["s3:"], "Resource": [ "arn:aws:s3:::bucketname/", "arn:aws:s3:::bucketname" ], "Condition": { "StringEquals": { "aws:Referer": [ "xxx" ] } } } ] } 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应元素说明 参数名称 参数描述 类型 Version 参数解释： 指定桶策略的版本信息。 取值范围： 当前支持"20121017"和"20060301" 默认取值： "20121017" String Id 参数解释： 桶策略ID，桶策略的唯一标识。 String Statement 参数解释： 桶策略描述，定义完整的权限控制。 约束限制： 每条桶策略的Statement可由多条描述组成，每条描述可包含字段：Sid、Effect、Principal、Action、Resource、Condition。 Array Sid 参数解释： 本条桶策略描述的ID。 String Effect 参数解释： 桶策略的效果，即指定本条桶策略描述的权限是接受请求还是拒绝请求。 取值范围： Allow或Deny String Principal 参数解释： 被授权人，即指定本条桶策略描述所作用的用户。 约束限制： 支持通配符“”，表示所有用户和委托。 当对某个用户进行授权时，Principal格式为"AWS": "arn:aws:s3:::user/UserID" 当对某个委托进行授权时，Principal格式为"AWS": "arn:aws:s3:::role/RoleID" Object Action 参数解释： 授权操作，即指定本条桶策略描述所作用的ZOS操作。 约束限制： 以列表形式表示，可配置多条操作，以逗号间隔。支持通配符""，表示该资源能进行的所有操作。常用的Action有"s3:GetObject"，"s3:PutObject"，"s3:"等。 取值范围： 详见桶策略附录一。 Object Condition 参数解释： 条件语句，指定本条桶策略所限制的条件。可以通过Condition对ZOS资源各种策略，比如设置防盗链： "Condition": {"StringEquals":{"aws:Referer":["xxx"]}，此时如果Effect为“Allow”，则允许来自"xxx"的请求；如果为“Deny”，则拒绝。 取值范围： 详见桶策略附录二。 Object

客户价值 配置消息通知后，可以实时给用户发送翼MR集群健康状态，用户可以通过手机短信或邮箱实时接收到翼MR集群变更及组件告警信息。翼MR可以帮助用户轻松运维，实时监控，实时发送告警，操作灵活，大数据业务部署更加省心省力。 特性描述 翼MR联合消息通知服务(SMN)，采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式。 首先，作为主题拥有者，我们可以先创建一个主题，并对主题设置访问控制权限来决定哪些发布者和订阅者可以通过该主题进行交流。翼MR将集群消息发送至您有权限发布消息的主题，然后所有订阅了该主题的订阅者（可以是手机短信、邮箱等）都将收到集群变更以及组件告警的消息。

数据拷贝源端挂载 迁移机器上安装支持 NTFS 文件系统的 ntfs3g软件包，并挂载客户的硬盘： plaintext yum install y ntfs3g ntfs3g /dev/sdd1 /mnt/ntfs o rw,bigwrites,noatime 为了进一步提升机械盘的性能，将该硬盘的预读大小和 IO 队列长度做了修改（修改预读和 IO 队列是磁盘调优的方法，配置参数并不通用，需要测试），之后测试迁移带宽达到150MB/s 左右的限值。 plaintext cd /sys/devices/pci0000:00/0000:00:14.0/usb2/23/23.3/23.3:1.0/host16/target16:0:0/16:0:0:0/block/sdd/queue/ echo 4096 > readaheadkb 预读扩大到4M echo 4096 > nrrequests IO队列扩大到4096 数据拷贝目的端挂载 挂载用户已开通HPFS的客户端： plaintext mount t lustre o seckeyxxxxxx 11.2.xxx.x@tcp0:11.2.xxx.x@tcp0:/hp0001/yZcQcAXicFaxxxxxxxxxxxxyqum9s2bu3 /mnt/shar 迁移命令执行 因为当前用例是单个机械盘进行数据拷贝，并行执行无法提高速度，所以使用单任务 rsync更合适。执行迁移命令： plaintext nohup rsync a partial inplace v /mnt/ntfs/ /mnt/share/ & 命令执行后查看 nohup文件和使用 iostat及 df工具观察迁移过程，在迁移大文件时，带宽能到200MB/s，在迁移小文件时带宽会比较小，属于正常状况。

本章主要介绍翼MapReduce的管理本地快速恢复任务功能。 操作场景 使用DistCp备份数据时，本集群HDFS中将保存备份数据的快照信息。FusionInsight Manager支持使用本地的快照快速恢复数据，减少从备集群恢复数据使用的时间。 管理员可以通过FusionInsight Manager与本集群HDFS保存的快照信息，创建本地快速恢复任务并执行恢复任务。 操作步骤 1.登录FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.在备份任务列表已创建任务的“操作”列，单击“恢复”。 3.确认界面是否提示“没有可快速恢复的数据，请在恢复管理界面创建恢复任务进行恢复。”。 是，备份任务未在主集群产生备份数据快照，任务结束。 否，可以创建本地快速恢复任务，执行4。 说明 元数据不支持快速恢复。 4.在“任务名称”填写本地快速恢复任务的名称。 5.在“备份配置”选择数据源。 6.在“可恢复点列表”选择一个包含目标备份数据的恢复点。 7.在“队列名称”填写任务执行时使用的Yarn队列的名称。需和集群中已存在且状态正常的队列名称相同。 8.在“数据配置”选择需要恢复的对象。 9.单击“校验”，界面显示“校验恢复任务配置成功”。 10.单击“确定”。 11.在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 任务执行完成后，“任务状态”显示为“成功”。

本文主要介绍 步骤二:创建Kafka实例。 前提条件 在创建Kafka实例前，需要保证存在可使用的虚拟私有云。创建方法，请参考《虚拟私有云 用户指南》的“创建虚拟私有云和子网”。 如果您已有虚拟私有云，可重复使用，不需要多次创建。 操作步骤 步骤 1 登录分布式消息服务Kafka控制台，单击页面右上方的“购买Kafka实例”。 步骤 2 选择计费模式。 步骤 3 在“区域”下拉列表中，选择靠近您应用程序的区域，可降低网络延时、提高访问速度。 步骤 4 在“项目”下拉列表中，选择项目。 步骤 5 在“可用区”区域，根据实际情况选择1个或者3个及以上可用区。 步骤 6 设置“实例名称”和“企业项目”。 步骤 7 设置实例信息。 1. 版本：Kafka的版本号，支持1.1.0、2.7和3.x，根据实际情况选择，推荐使用3.x。 Kafka实例创建后，版本号不支持修改 。 2. 鲲鹏实例，“创建鲲鹏架构实例”选框，默认不勾选是X86架构的实例，勾选之后是ARM架构的鲲鹏实例。 3. 在“代理规格”中，请根据业务需求选择相应的代理规格。在“代理数量”中，选择代理个数。 单个代理最大分区数代理个数实例分区数上限。当所有Topic的总分区数大于实例分区数上限时，创建Topic失败。 4. 在“存储空间”区域，您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。 Kafka实例创建后，磁盘类型不支持修改 。 存储空间包含所有副本存储空间总和，建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB，则磁盘容量最少为100GB副本数 + 预留磁盘大小100GB。 创建实例时会进行磁盘格式化，磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。 5. 在“容量阈值策略”区域，设置磁盘使用达到容量阈值后的消息处理策略，容量阈值为95%。 自动删除：可以正常生产和消费消息，但是会删除最早的10%的消息，以保证磁盘容量充足。该场景优先保障业务不中断，数据存在丢失的风险。 生产受限：无法继续生产消息，但可以继续消费消息。该场景适用于对数据不能丢的业务场景，但是会导致生产业务失败。 图 创建Kafka实例 步骤 8 设置实例网络环境信息。 1. 在“虚拟私有云”下拉列表，选择已经创建好的虚拟私有云和子网。 说明 虚拟私有云和子网在Kafka实例创建完成后，不支持修改。 子网开启IPv6后，Kafka实例支持IPv6功能。Kafka实例开启IPv6后，客户端可以使用IPv6地址连接实例。 子网开启IPv6后，页面才展示此参数。开启IPv6后，客户端可以使用IPv6地址连接实例。 开启IPv6的实例不支持动态开启和关闭SASLSSL功能。 实例创建成功后，不支持修改IPv6开关。 3. 在“安全组”下拉列表，可以选择已经创建好的安全组。 安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”，跳转到网络控制台的“安全组”页面，查看或创建安全组。 步骤 9 设置登录Kafka Manager的用户名和密码。创建实例后，Kafka Manager用户名无法修改。 Kafka Manager是开源的Kafka集群管理工具，实例创建成功后，实例详情页面会展示Kafka Manager登录地址，您可登录Kafka Manager页面，查看Kafka集群的监控、代理等信息。 步骤 10 设置实例购买时长。 当选择了“包年/包月”付费模式时，页面才显示“购买时长”参数，您需要根据业务需要选择。 步骤 11 单击“更多配置”，设置更多相关信息。 1. 设置“公网访问”。 “公网访问”默认为关闭状态，根据业务需求选择是否开启。开启公网访问后，还需要为每个代理设置对应的IPv4弹性IP地址。 图 设置公网访问开关 2. 设置“Kafka SASLSSL”。 客户端连接Kafka实例时，是否开启SSL认证。开启Kafka SASLSSL，则数据加密传输，安全性更高。 “Kafka SASLSSL”默认为关闭状态，您可以选择是否开启。 Kafka实例创建后，Kafka SASLSSL开关不支持修改 ，请慎重选择。如果创建后需要修改，需要重新创建实例。 开启Kafka SASLSSL后，您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时，使用SCRAMSHA512机制传输数据，开启“SASL PLAIN 机制”后，同时支持SCRAMSHA512机制和PLAIN机制，根据实际情况选择其中任意一种配置连接。Kafka实例创建后，SASL PLAIN机制开关不支持修改。 什么是SCRAMSHA512机制和PLAIN机制？ SCRAMSHA512机制：采用哈希算法对用户名与密码生成凭证，进行身份校验的安全认证机制，比PLAIN机制安全性更高。 PLAIN机制：一种简单的用户名密码校验机制。 开启Kafka SASLSSL后，您需要设置连接Kafka实例的用户名和密码。 3. 设置“Kafka自动创建Topic”。 “Kafka自动创建Topic”默认为关闭状态，您可以选择是否开启。 开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时，系统会自动创建此Topic，此Topic的默认参数值如下：分区数为3，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值，此后自动创建的Topic参数值为修改后的参数值。例如：“num.partitions”修改为“5”，自动创建的Topic参数值如下：分区数为5，副本数为3，老化时间为72小时，不开启同步复制和同步落盘。 4. 设置“标签”。 标签用于标识云资源，当您拥有相同类型的许多云资源时，可以使用标签按各种维度（例如用途、所有者或环境）对云资源进行分类。 如果您已经预定义了标签，在“标签键”和“标签值”中选择已经定义的标签键值对。另外，您可以单击“查看预定义标签”，跳转到标签管理服务页面，查看已经预定义的标签，或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签，标签的命名规格，请参考管理实例标签。 5. 设置实例的描述信息。 步骤 12 填写完上述信息后，单击“立即购买”，进入规格确认页面。 步骤 13 确认实例信息无误后，提交请求。 步骤 14 单击“返回Kafka专享版”，查看Kafka实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 如果创建实例失败，在信息栏的“创建失败任务”中查看创建失败的实例。请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。 说明 创建失败的实例，不会占用其他资源。

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.在任务列表指定任务的“操作”列，选择“更多 > 查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 3.在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。 4.单击“创建”。 5.在“任务名称”填写恢复任务的名称。 6.在“恢复对象”选择待操作的集群。 7.在“恢复配置”，勾选“业务数据”下的“HDFS”。 8.在“HDFS”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。 选择此参数值，还需要配置以下参数： “源端NameService名称”：填写备份数据集群的NameService名称。可以输入集群内置的远端集群的NameService名称：haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4；也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “源端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “源端路径”：填写备集群保存备份数据的完整HDFS路径。例如，“ 备份路径/备份任务名数据源任务创建时间 ”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NFS”：表示备份文件通过NFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “CIFS”：表示备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “SFTP”：表示备份文件通过SFTP协议保存到服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间/版本号数据源任务执行时间.tar.gz ”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “目标NameService名称”：选择备份目录对应的目标NameService名称。默认值为“hacluster”。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 9.在“数据配置”中的“备份数据”列根据业务需要勾选一个或多个需要恢复的已备份数据，并在“目标路径”列，指定备份数据恢复后的位置。 “目标路径”建议选择一个与目的端路径不同的新路径。 10.单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确，校验失败。 如果不存在指定的恢复目录，校验失败。 11.单击“确定”保存。 12.在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功，在排除错误原因后单击“重试”，重试恢复任务。

本章介绍Kafka的网络带宽利用率监控告警配置指导。 使用场景建议 Kafka存在持续业务，避免出现客户端批量断链场景。 间断性业务场景不建议使用，会存在误告警。 新创建实例不建议设置告警。 告警通知设置，告警对象、告警组设置 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择目标实例所在的区域。 3. 在管理控制台左上角单击，搜索CES服务进入“云监控服务”界面。 4. 选择“告警 >告警通知”，单击“通知对象 >创建通知对象”，填写要通知的对象以及相关联系方式，如果已存在则跳过该步骤，重复该步骤可创建多个通知对象。 5. 选择“通知组 >创建通知组”，把步骤4创建的告警对象都纳入当前组进行管理。 设置告警规则 1. 选择“告警 >告警规则 >创建告警规则”。 参数 说明 名称 自定义名称 描述 自定义描述 告警类型 指标 资源类型 分布式消息服务 维度 Kafka专享版 Broker节点 监控范围 指定资源 监控对象 选择指定kafka实例的所有broker，可选择多个kafka实例 触发规则 自定义创建 告警策略 若++网络带宽利用率++ 的++原始值连续3次<++xx则++每5分钟 告警一次++ ++根据实际情况设置xx的紧急、重要、次要等告警++ 发送通知 打开 通知方式 通知组 通知组 选择上一步创建的通知组 通知内容模板 都可以选择系统模版 生效时间 每日00:00 – 23:59 触发条件 出现告警恢复告警都选 2. 单击“立即创建”。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

生产消息 进入Kafka客户端文件的“/bin”目录下，执行如下命令进行生产消息： ./kafkaconsoleproducer.sh brokerlist ​{连接地址} topic 连接地址−−topic​{Topic名称} 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 示例如下，“10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094”为获取的Kafka实例公网连接地址。 执行完命令后，输入需要生产的消息内容，按“Enter”发送消息到Kafka实例，输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecskafka bin] ./kafkaconsoleproducer.sh brokerlist 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemoHello DMS Kafka! ^C[root@ecskafka bin] 如需停止生产使用Ctrl+C命令退出。 消费消息 执行如下命令进行消费消息： ./kafkaconsoleconsumer.sh bootstrapserver ​{连接地址} topic 连接地址−−topic​{Topic名称} group ${消费组名称} frombeginning 参数说明如下： 连接地址：从前提条件中获取的连接地址。 Topic名称：Kafka实例下创建的Topic名称。 消费组名称：根据您的业务需求，设定消费组名称。 如果已经在配置文件中指定了消费组名称，请确保命令行中的消费组名称与配置文件中的相同，否则可能消费失败。 消费组名称开头包含特殊字符，例如下划线“”、 号“ ”时，监控数据无法展示。 示例如下： [root@ecskafka bin] ./kafkaconsoleconsumer.sh bootstrapserver 10.3.196.45:9094,10.78.42.127:9094,10.4.49.103:9094 topic topicdemo group ordertest frombeginning Kafka! DMS Hello ^CProcessed a total of 3 messages [root@ecskafka bin]

本章主要介绍个人设置 消息通知 在“消息通知”页面，可以配置当前用户是否接收软件开发生产线各服务消息通知。 消息通知方式说明 软件开发生产线消息通知有两种方式：浏览器桌面通知、邮件通知。 浏览器桌面通知：消息通知将发送至PC端桌面，内容包括代码检查、编译构建、部署、流水线任务的执行结果。 邮件通知：根据各服务通知设置，软件开发生产线将发送消息通知至的对应成员的邮箱中。 开启/关闭通知 步骤 1 进入软件开发生产线首页，单击页面右上角用户名，在下拉菜单中选择“个人设置”。 步骤 2 页面默认跳转至“消息通知”页面，根据需要选择开启或关闭通知。 若需要修改接收消息通知的邮箱，请单击“更改设置”，根据页面提示修改邮箱地址。 消息设置 设置勿扰时间 软件开发生产线默认24小时接收消息通知，通过勿扰时间设置可以设置每天的某个时间段内不接收消息通知。 步骤 1 单击“勿扰时段设置”开关至状态。 步骤 2 单击更改设置，根据需要再弹框中设置开始时间与结束时间，单击“确定”。 勿扰时段设置 SSH密钥/HTTPS密码管理 什么是SSH密钥/HTTPS密码 当您需要从云端代码仓库拉取代码到本地，或将代码推送到云端代码仓库中时，代码仓库需要验证您的身份与权限，SSH和HTTPS是对云端代码仓库进行远程访问的两种身份验证方式。 SSH密钥是在本地计算机与您帐号下的代码仓库之间建立安全连接。 在一台本地计算机上配置了SSH密钥并添加公钥到代码托管服务中后，所有该帐号下的代码仓库与该台计算机之间都可以使用该密钥进行连接。 不同的用户通常使用不同的电脑，在使用SSH方式连接代码仓库前需要在自己电脑生成自己的SSH密钥，并设置到代码托管服务中。 HTTPS密码是HTTPS协议方式下载、上传时使用的用户凭证。 每个开发者，只需要设置一次密码，所有该项目下的仓库都会生效。 说明 两种方式中，使用其中任何一种方式都可以进行代码的上传下载，密钥（密码）的设置根据您选择的连接方式设定即可。

本章节介绍了如何创建分布式消息服务RocketMQ实例的消费组。 操作场景 消费组，即一组具有相同行为的消费者集合，用于管理和维护消息的消费状态。 前提条件 已购买RocketMQ实例。 操作步骤 1. 登录分布式消息服务RocketMQ控制台。 2. 单击RocketMQ实例的名称，进入实例详情页面。 3. 在左侧导航栏，单击“消费组管理”，进入“消费组管理”页面。 4. 单击“创建消费组”，弹出“创建消费组”页面。 图1 创建消费组 5. 参考表1，填写消费组名称和配置信息。 表1 消费组参数说明 参数 说明 消费组名称 您可以自定义消费组名称，用于区别不同的消费行为。 创建消费组后不能修改名称。 关联代理 选择在某个或者某几个代理上创建消费组。 创建消费组后不能修改关联代理。 最大重试次数 设置普通消费的最大重试次数。如果是顺序消费，可通过消费者的setMaxReconsumeTimes函数配置。 广播消费 是否设置为广播消费。 若开启广播消费，每条消息都会被消费组内的所有消费者消费一次。否则，每条消息只会被消费组内的某一消费者消费。 6. 配置完成后，单击“确定”，完成消费组的创建。

本小节介绍DDoS基础防护最佳实践。 DDoS基础防护产品最佳实践 为保障公网业务持续稳定运行，避免因 DDoS 攻击导致 IP 封堵、业务中断，建议您按照以下最佳实践流程，使用天翼云 DDoS 基础防护并做好安全防护规划。 1.业务平稳运行阶段 在业务上线初期，若未遭受 DDoS 攻击，或攻击流量规模低于 DDoS 基础防护阈值，IP 不会触发封堵机制，业务网络可正常对外提供服务。 2.攻击触发封堵场景 随着业务规模扩大、行业竞争加剧，若业务遭遇针对性 DDoS 攻击，且攻击流量峰值超出基础防护阈值、挤占资源池带宽并影响网络稳定时，系统将自动对该 IP 执行 DDoS 封堵，暂时阻断公网流量以保障平台整体稳定。 3.接收封堵通知 IP 被封堵后，您将通过账号联系人及安全消息配置联系人的短信、邮箱、站内信同步收到封堵通知，通知中包含受影响 IP、攻击流量峰值、封堵时长等关键信息，便于您快速掌握异常情况。 4.方案查阅 参考官方产品文档与常见问题说明，了解封堵原因及对应的防护解决方案。针对开放DDoS基础防护控制台的资源池EIP，您可登录天翼云控制台，进入 DDoS 基础防护页面，复核流量封堵情况。 5.部署高防防护与 IP 优化 根据官方防护建议，选购并配置天翼云 DDoS 高防 IP、DDoS 高防（边缘云版）或第三方合规 DDoS 高防产品；同时同步更换业务 IP，并限制仅高防 IP 可访问业务 IP，实现业务 IP 隐藏与专业 DDoS 清洗防护，从根源避免再次触发DDoS封堵，保障业务长期稳定运行。

介绍分布式消息服务MQTT购买类问题。 MQTT包周期实例不支持删除吗？ 可以删除。登录MQTT控制台，在包周期实例所在行，单击“更多 > 退订”，即可完成实例的删除。 分布式消息服务MQTT资源包可以叠加购买吗？ 天翼云分布式消息服务RocketMQ支持叠加购买。 产品订购时可选资源池节点不一致？ 已上线资源池节点的剩余容量达到一定比例后，为确保老客户权益，将不再面向新客户开放，产品订购时的可选资源节点范围以实际为准。

本章节介绍了如何创建和运行一个分布式消息服务RocketMQ的实例。 本章节以在“广州4”创建一个开启SSL的RocketMQ 实例为例，介绍如何在控制台创建RocketMQ 实例。 前提条件 在创建RocketMQ实例前，需要保证存在可使用的虚拟私有云和安全组。如果还没有，请参考准备环境创建。 为RocketMQ授权 如果RocketMQ实例需要开启IPv6功能，在创建RocketMQ实例前，需要为RocketMQ授予VPC终端节点操作权限，否则会导致创建失败。 在IAM控制台创建委托，委托参数如下，其他参数保持默认，创建委托的具体步骤请参见《统一身份认证服务 用户指南》的“委托 > 委托其他云服务管理资源”章节。 委托名称：dmsadmintrust 委托类型：云服务 云服务：分布式消息服务 持续时间：永久 委托将拥有所选策略：DMS VPCEndpointAccess、DMSAgencyCheckAccessPolicy 选择授权范围方案如下： DMS VPCEndpointAccess：指定区域项目资源 DMSAgencyCheckAccessPolicy：所有资源 操作步骤 1. 进入购买RocketMQ实例页面。 2. “计费模式”选择“按需计费”。 3. 在“区域”下拉列表中，选择靠近您应用程序的区域，可降低网络延时、提高访问速度。 4. 在“项目”下拉列表中，选择项目。 5. 在“可用区”区域，根据实际情况选择1个或者3个及以上可用区。 6. 设置“实例名称”和“企业项目”。 7. 设置实例信息，配置详情请参考表1。 表1 设置实例信息 参数 配置说明 规格选择模式 选择“默认” 版本 可选择“5.x、4.8.0” RocketMQ实例创建后，版本号不支持修改。 实例类型 5.x版本提供基础版、专业版两种类型 部署架构 5.x版本支持“单机”和“集群” 4.8.0支持“集群” 鲲鹏实例 “创建鲲鹏架构实例”选框，默认不勾选是X86架构的实例，勾选之后是ARM架构的鲲鹏实例。 代理规格 选择“rocketmq.4u8g.cluster” 代理数量 选择“1” 代理存储空间 选择“超高I/O 300GB” 实例总存储空间 单个代理的存储空间 代理数量 8. 设置实例网络环境信息，配置详情请参考表2。 参数 配置说明 虚拟私有云 选择已经创建好的虚拟私有云和子网。 虚拟私有云和子网在RocketMQ实例创建完成后，不支持修改。 IPv6 仅当子网选择了支持IPv6地址后，才会显示该参数。开启IPv6后，客户端可以使用IPv6的内网连接地址连接实例。 实例创建成功后，不支持修改IPv6开关。 使用内网IPv6方式连接实例需要通过VPC终端节点实现，使用期间会产生VPC终端节点的费用。 安全组 选择已经创建好的安全组。 SSL 开启 ACL访问控制 开启 9. 单击“更多配置”，设置更多相关信息，配置详情请参考表3。 表3 更多配置 参数 配置说明 公网访问 不开启 标签 不设置 描述 不设置 10. 填写完上述信息后，单击“立即购买”，进入规格确认页面。 11. 确认实例信息无误后，提交请求。 12. 在实例列表页面，查看RocketMQ实例是否创建成功。 创建实例大约需要3到15分钟，此时实例的“状态”为“创建中”。 当实例的“状态”变为“运行中”时，说明实例创建成功。 当实例的“状态”变为“创建失败”，请删除创建失败的实例，然后重新创建。如果重新创建仍然失败，请联系客服。

参数 参数说明 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。 生效时间 该告警规则仅在生效时间内发送通知消息。 如生效时间为08:0020:00，则该告警规则仅在08:0020:00发送通知消息。 主题通知 需要发送告警通知的主题名称。 当发送通知选择“是”时，需要选择已有的主题名称，若此处没有需要的主题则需先创建主题，该功能会调用消息通知服务（SMN），创建主题请参见《消息通知服务用户指南》。 触发条件 可以选择“出现告警”、“恢复正常”两种状态，作为触发告警通知的条件。

功能说明 GetBucketPolicy接口用于获取指定桶的桶策略。 请求消息样式 plaintext GET /{Bucket}?policy HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentLength: ContentLength Date: Date Connection: KeepAlive { "Version": "20121017", "Id": "string", "Statement": [ { "Sid": "string", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam:::user/uid" }, "Action": ["s3:"], "Resource": [ "arn:aws:s3:::bucketname/", "arn:aws:s3:::bucketname" ], "Condition": { "StringEquals": { "aws:Referer": [ "xxx" ] } } } ] } 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应元素说明 参数名称 参数描述 类型 Version 参数解释： 指定桶策略的版本信息。 取值范围： 当前支持"20121017"和"20060301" 默认取值： "20121017" String Id 参数解释： 桶策略ID，桶策略的唯一标识。 String Statement 参数解释： 桶策略描述，定义完整的权限控制。 约束限制： 每条桶策略的Statement可由多条描述组成，每条描述可包含字段：Sid、Effect、Principal、Action、Resource、Condition。 Array Sid 参数解释： 本条桶策略描述的ID。 String Effect 参数解释： 桶策略的效果，即指定本条桶策略描述的权限是接受请求还是拒绝请求。 取值范围： Allow或Deny String Principal 参数解释： 被授权人，即指定本条桶策略描述所作用的用户。 约束限制： 支持通配符“”，表示所有用户和委托。 当对某个用户进行授权时，Principal格式为"AWS": "arn:aws:s3:::user/UserID" 当对某个委托进行授权时，Principal格式为"AWS": "arn:aws:s3:::role/RoleID" Object Action 参数解释： 授权操作，即指定本条桶策略描述所作用的ZOS操作。 约束限制： 以列表形式表示，可配置多条操作，以逗号间隔。支持通配符""，表示该资源能进行的所有操作。常用的Action有"s3:GetObject"，"s3:PutObject"，"s3:"等。 取值范围： 详见桶策略附录一。 Object Condition 参数解释： 条件语句，指定本条桶策略所限制的条件。可以通过Condition对ZOS资源各种策略，比如设置防盗链： "Condition": {"StringEquals":{"aws:Referer":["xxx"]}，此时如果Effect为“Allow”，则允许来自"xxx"的请求；如果为“Deny”，则拒绝。 取值范围： 详见桶策略附录二。 Object

本文介绍分布式消息服务RocketMQ的退订内容。 针对天翼云分布式消息服务RocketMQ退订操作，具体请参考退订流程。

功能说明 PutSymlink使用接口对目标对象创建软链接，可以通过访问软链接来获取目标对象。删除软链接时，仅删除软链接本身，不会影响指向的目标对象。 请求消息样式 plaintext PUT /{Bucket}/{Object}?symlink HTTP/1.1 Host: xxx.zos.ctyun.cn xzossymlinktarget: xxx xzosforbidoverwrite:xxx AcceptEncoding: identity xamzcontentsha256: ContentSHA256 xamzdate: 20250107T025103Z ContentLength: 0 Authorization: string 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 Object 参数解释： 创建软链接的目标Object的名称。 String 是 请求消息头 参数名称 参数描述 类型 是否必须 xzossymlinktarget 参数解释： 软链接指向的目标文件 String 是 xzosforbidoverwrite 参数解释： 指定PutSymlink操作时是否禁止覆盖同名Object，可取值“True”,”False”（不指定或者指定为False时，表示允许覆盖同名Object。） Boolen 否 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000200677c96971f09bbdefault ContentLength: 0 Date: Tue, 07 Jan 2025 02:51:08 GMT Connection: KeepAlive ETag: "8b1279730c0d576d22f224ff928e8c08"

操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复 > 备份管理”。 2.在任务列表指定任务的“操作”列，选择“更多 > 查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 3.在FusionInsight Manager，选择“运维 > 备份恢复 > 恢复管理”。 4.单击“创建”。 5.在“任务名称”填写恢复任务的名称。 6.在“恢复对象”选择待操作的集群。 7.在“恢复配置”，勾选“业务数据”下的“HBase”。 8.在“HBase”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “RemoteHDFS”：表示将备份文件保存在备集群的HDFS目录。选择此参数值，还需要配置以下参数： “源端NameService名称”：填写备份数据集群的NameService名称。可以输入集群内置的远端集群的NameService名称：haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4；也可输入其他已配置的远端集群NameService名称。 “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “源端NameNode IP地址”：填写备集群NameNode业务平面IP地址，支持主节点或备节点。 “源端路径”：表示备份文件在HDFS中保存的完整路径。例如“ 备份路径/备份任务名数据源任务创建时间 ”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “NFS”：表示将备份文件通过NFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间 ”。 “队列名称”：填写备份任务执行时使用的Yarn队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “CIFS”：表示将备份文件通过CIFS协议保存在NAS中。选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写NAS服务器IP地址。 “端口号”：填写CIFS协议连接NAS服务器使用的端口号，默认值为“445”。 “用户名”：填写配置CIFS协议时设置的用户名。 “密码”：填写配置CIFS协议时设置的密码。 “源端路径”：填写备份文件在NAS服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 “SFTP”：表示备份文件通过SFTP协议保存在服务器中。 选择此参数值，还需要配置以下参数： “IP 模式”：目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式，如IPv4或者IPv6。 “服务器IP地址”：填写备份数据的服务器IP地址。 “端口号”：填写SFTP协议连接备份服务器使用的端口号，默认值为“22”。 “用户名”：填写使用SFTP协议连接服务器时的用户名。 “密码”：填写使用SFTP协议连接服务器时的密码。 “源端路径”：填写备份文件在备份服务器中保存的完整路径。例如，“ 备份路径/备份任务名数据源任务创建时间/版本号数据源任务执行时间.tar.gz ”。 “队列名称”：填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”：单击“刷新”，然后选择一个备集群上已备份的HDFS目录。 “最大map数”：填写执行MapReduce任务的最大map数，默认值为“20”。 “单个map的最大带宽(MB/s)”：填写单个map最大带宽，默认值为“100”。 9.在“数据配置”中的“备份数据”列根据业务需要勾选一个或多个需要恢复的已备份数据，并在“目标名称空间”列，指定备份数据恢复的命名空间。 “目标名称空间”建议选择一个备份命名空间不同的位置。 10.在“强制覆盖”选择“true”，表示存在同名数据表时强制恢复备份的所有数据，如果数据表中存在备份后新增加的数据，那恢复后将丢失这些数据。选择“false”表示存在同名表时不执行恢复任务。 11.单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确，校验失败。 如果不存在指定的命名空间，校验失败。 如果不满足强制覆盖的条件，校验失败。 12.单击“确定”保存。 13.在恢复任务列表已创建任务的“操作”列，单击“执行”，开始执行恢复任务。 恢复成功后进度显示为绿色。 恢复成功后此恢复任务不支持再次执行。 如果恢复任务在第一次执行时由于某些原因未执行成功，在排除错误原因后单击“重试”，重试恢复任务。 14.检查是否是在全新安装，或者重新安装HBase的环境中恢复了HBase数据。 是，需要管理员在FusionInsight Manager上根据原有的业务规划重新设置角色的权限。 否，任务结束。

本文介绍分布式消息服务RocketMQ的生产者实例查询操作内容。 场景描述 RocketMQ显示当前在线的生产者实例有以下作用： ● 监控生产者状态：通过显示当前在线的生产者实例，可以实时监控生产者的状态。可以了解生产者的连接情况、运行状态和发送速率等信息，帮助及时发现生产者异常或故障，以便进行及时处理和调整。 ● 故障排查与追踪：通过显示当前在线的生产者实例，可以帮助定位消息发送失败的原因。可以查看每个生产者实例的运行情况，包括发送的消息数量、发送延迟等信息，方便排查故障和进行问题定位。 综上所述，显示当前在线的生产者实例可以帮助监控生产者状态、故障排查等，为系统的稳定运行和性能调优提供重要支持。 操作步骤 1、 天翼云官网点击控制中心，选择产品分布式消息服务RocketMQ。 2、 登录分布式消息服务RocketMQ控制台，点击右上角地域选择对应资源池。 3、进入实例列表，点击【管理】按钮进入管理菜单。 4、 进入生产者实例查询菜单，列出了指定集群，指定Broker下的生产组和关联的Topic的情况。 列表展示了指定集群和指定broker下的生产组和关联topic的情况。 连接实例 显示该生产组，当前在线的生产者实例列表。

本文主要介绍通知类型。 功能说明 产品识别并针对不同性质的事件生成相应的消息通知。例如，套餐用量使用方面，当短信使用出现超量事件时，系统会自动生成对应的通知消息，消息通知需要由客户进行设定通知的方式、通知对象以便更及时的进行消息传递。 操作步骤 1. 登录边缘安全加速控制台，选择相应的控制台【AOne零信任】； 2. 在左侧导航栏，选择消息通知，进入相关页面进行操作； 3. 消息通知目前分为两个模块：通知类型，通知渠道，本文主要介绍通知类型能力。 套餐服务超量 基于零信任服务的计费相关内容，进行相应的服务超量时通知。 内置短信用量提醒 为助力您顺利开展业务，平台根据不同账号类型，为您赠送一定数量的免费短信额度，短信额度总量由企业下所有账号共享使用。在购买套餐或者扩展服务时，您将获得相应的免费短信配额，赠送额度自账号激活当月起生效，以自然月为周期，每月定期发放。详细赠送规则短信收费及使用说明。为避免您短信超量后影响服务，可先进行设定短信的使用量提醒。 配置项 配置项说明 通知开关 开启则按照条件进行相应通知，关闭则不通知。 触发条件 可设置短信用量达到一定比例时进行通知。 通知方式 目前支持短信、邮件进行相应通知。 谁会接收通知 请配置相应接收通知的人员。

云原生网关 左侧导航栏，选择资源管理 > 云原生网关。在云原生网关列表展示了当前环境已导入的云原生网关资源。 点击导入按钮，列表会展示与当前环境同VPC的云原生网关列表，勾选云原生网关，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的云原生网关。 关系数据库 左侧导航栏，选择资源管理 > 关系数据库。在关系数据库列表展示了当前环境已导入的关系数据库资源。 点击导入按钮，列表会展示与当前环境同VPC的关系数据库列表，勾选关系数据库，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的关系数据库。 分布式缓存 左侧导航栏，选择资源管理 > 分布式缓存。在分布式缓存列表展示了当前环境已导入的分布式缓存资源。 点击导入按钮，列表会展示与当前环境同VPC分布式缓存列表，勾选分布式缓存，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式缓存。 分布式消息 左侧导航栏，选择资源管理 > 分布式消息。在分布式消息列表展示了当前环境已导入的分布式消息资源。 点击导入按钮，列表会展示与当前环境同VPC分布式消息列表，勾选分布式消息，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的分布式消息。

操作系统 相关配置项 参考链接 Windows 设置网卡属性为DHCP 开启远程桌面连接功能 安装Guest OS driver，包括PV driver和UVP VMtools驱动 （可选）安装CloudbaseInit工具 （可选）开启网卡多队列 （可选）配置IPv6地址 Linux 清理网络规则文件 设置网卡属性为DHCP 安装原生的XEN和KVM驱动 修改grub文件的磁盘标识方式为UUID 修改fstab文件的磁盘标识方式为UUID 清除“/etc/fstab”中非系统盘的自动挂载信息 （可选）安装CloudInit工具 （可选）开启网卡多队列 （可选）配置IPv6地址

本章节主要介绍如何设置作业优先级。 操作场景 在实际作业运行中，由于作业的重要程度以及紧急程度不同，需要重点保障重要和紧急的作业正常运行，因此需要满足它们正常运行所需的计算资源。 DLI提供的设置作业优先级功能，可以对每个Spark作业、Spark SQL作业以及Flink作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 说明 只有运行在弹性资源池上的作业支持设置作业优先级。 弹性资源池上的SQL作业支持作业优先级。 Spark 2.4.5及以上版本的作业支持设置作业优先级。 Flink 1.12及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级，其取值为110，数值越大表示优先级越高。优先满足高优先级作业的计算资源，即若高优先级作业计算资源不足，则会减少低优先级作业的计算资源 通用队列上运行的Flink作业优先级默认为5。 通用队列上运行的Spark作业的优先级默认为3。 SQL队列上运行的作业优先级默认为3。 作业优先级的调整需要停止作业进行编辑，并提交运行才能生效。 对于Flink作业，请参考开启Flink作业动态扩缩容设置flink.dli.job.scale.enabletrue开启动态扩缩容功能，再设置作业优先级。 Flink作业优先级的调整需要停止编辑作业并重新提交才能生效。

本章节主要介绍ALM18026 Yarn上运行失败的任务数超过阈值的告警。 告警解释 告警模块按60秒周期检测Yarn root队列上失败的应用的数量，当root队列上该监控周期内新增的运行失败的应用的数量超过50时，且连续发生3次以上，触发该告警。 告警属性 告警ID 告警级别 是否自动清除 18026 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 大量应用任务运行失败。 运行失败的任务需要重新提交。 可能原因 任务出于某种错误运行失败。 处理步骤 检查告警详情 1.在FusionInsight Manager界面，选择“运维 > 告警 > 告警”，打开告警页面。 2.查看“Yarn上运行失败的任务数超过阈值”告警详情中的“附加信息”，确认监控阈值是否设置过小。 是，执行步骤3。 否，执行步骤4。 3.选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Yarn > 其它 > root队列下失败的任务数”，修改该监控的阈值。执行步骤6。 4.选择“集群 > 待操作集群的名称 > 服务 > Yarn > ResourceManager(主)”，进入ResourceManager的WebUI页面。 5.单击“Applications”下的“FAILED”，单击最上面的任务。查看“Diagnostics”对应的描述信息，根据定位的任务失败原因，处理相关问题。 6.等待3分钟，查看该告警是否消除。 是，处理完毕。 否，执行步骤7。

本节介绍了完成日志采集规则配置后，在云日志控制台实时查看上报的日志。 前提条件 已创建日志组和日志流。 已完成ICAgent安装。 已接入日志。 查看实时日志 1. 在云日志服务管理控制台，单击“日志管理”。 2. 在日志组列表中，单击已创建的日志组名称。 3. 在日志流列表中，单击已创建的日志流名称。 4. 在日志流详情页面，单击“实时日志”，查看实时日志。 日志每隔大约5秒钟上报一次，在日志消息区域，您最多需要等待5秒钟左右，即可查看实时上报的日志。 同时，您还可以通过页面右上方的“清屏”、“暂停”对日志消息区域进行操作。 1. 清屏：清除日志消息区域已经显示出来的日志。 2. 暂停：暂停日志消息的实时显示，页面定格在当前已显示的日志。 暂停后，“暂停”会变成“继续”，再次单击“继续”，日志消息继续实时显示。 说明 如果您正在使用实时查看功能，请停留在实时查看页面，请勿切换页面。如果您离开实时查看页面，实时查看功能将会被关闭。

本文主要介绍 与开源Kafka的差异。 分布式消息服务Kafka在兼容开源Kafka基础上，对版本特性做了一定程度的定制和增强，所以，除了拥有开源Kafka的优点，分布式消息服务Kafka提供了更多可靠、实用的特性。 表分布式消息服务Kafka与开源Kafka的差异说明 对比类 对比项 分布式消息服务Kafka 开源Kafka :::: 简单易用 立等可用 即开即用，可视化操作，自助创建，自动化部署，分钟级创建实例，立即使用，实时查看和管理消息实例。 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 易出错。 简单API 提供简单的实例管理RESTFul API，使用门槛低。 无 成本低廉 按需使用 提供多种规格，按需使用，支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用，而且即使没有使用，所占用资源本身依旧要收费。 成本低廉 完全托管 租户不需要单独采购硬件资源，直接使用就绪的服务，无需额外成本。 需要购买硬件资源，自行搭建整个消息服务，使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验，并且已经在云服务平台许多产品中使用，广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本，修复开源bug，持续上线新功能，进行版本升级。 使用开源软件成熟度低，无法保证关键业务，商业案例少；自研周期长，并需要长时间进行验证。 实践验证 能力强大 100%兼容开源，支持一键扩容，深度优化开源代码提升性能和可靠性，支持消息查询等高级特性。 功能不完善，需额外投入进行开发。 稳定可靠 稳定高可用 支持跨AZ部署，提升可靠性。故障自动发现并上报告警，保证用户关键业务的可靠运行。 需要自己开发或基于开源实现，开发成本高昂，无法保证业务可靠运行。 稳定可靠 无忧运维 后台运维对租户完全透明，整个服务运行具有完备的监控和告警功能。有异常可以及时通知相关人员。避免724小时人工值守。 需要自行开发完善运维功能，尤其是告警及通知功能，否则只能人工值守。 稳定可靠 安全保证 VPC隔离，支持SSL通道加密。 需要自行进行安全加固。

参数名称 参数说明 取值样例 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。 选择“是”（推荐选择），会发送通知；选择“否”，不会发送通知。 是 生效时间 该告警规则仅在生效时间内发送通知消息。 如生效时间为00:008:00，则该告警规则仅在00:008:00发送通知消息。 通知对象 需要发送告警通知的主题名称。 当发送通知选择“是”时，需要选择已有的主题名称，若此处没有需要的主题则需先创建主题，该功能会调用消息通知服务（SMN），创建主题请参见《消息通知服务用户指南》。 触发条件 可以选择“出现告警”、“恢复正常”两种状态，作为触发告警通知的条件。

本文介绍科研助手的功能类常见问题。 部署业务前有哪些前置准备工作？ 首次使用科研助手服务，用户需要先创建资源池和队列，作业、开发环境等都需要归属到队列内。如需要使用自定义镜像功能，需提前登录容器镜像服务（CRS）设置访问凭证并创建私有组织。 科研助手的开发环境可以提供哪些快捷工具？ 当前可提供Jupyter和VSCode在线代码编辑器，同时用户可自行安装所需的其他插件。 调试和查错常见问题 1. 如何进行开发调试？ 科研助手提供了开发环境，可在开发环境进行单机调试。 2. 如果程序执行失败怎么调试？ 程序失败时可以通过查看作业和实例事件获取更多的作业运行信息。如果问题还未能解决，请联系售后技术支持。

参数名 说明 指标名称 业务指标的名称，只能包含中文、英文字母、数字、“”，且长度为1~64个字符。 数据连接 从下拉列表中选择已创建的数据连接。 说明 支持的数据连接类型：DWS、PostgreSQL、MRS Hive、DLI和MySql。 指标都是基于数据连接的，所以在建立指标之前需要先到元数据管理模块中建立数据连接。 数据库/队列 选择指标运行的数据库。 说明 当数据源为DLI时，需要选择运行的队列。 描述 为更好的识别业务指标 ，此处加以描述信息。描述信息长度不能超过4096个字符。 所属目录 业务指标的存储目录，可选择已创建的目录。 来源类型 支持“自定义”。 用户自定义SQL语句，定义指标的来源。