介绍分布式消息服务RabbitMQ与天翼云其他服务关系。 虚拟私有云(CTVPC，Virtual Private Cloud) 虚拟私有云为分布式消息服务RabbitMQ提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 分布式消息服务RabbitMQ订购后，默认按照用户选择的实例规格开通弹性云主机，云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务RabbitMQ持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 分布式消息服务RabbitMQ订购后，默认按照用户选择的存储大小开通云硬盘。云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务RabbitMQ提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务RabbitMQ动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务RabbitMQ实例的需求，用户可开通弹性IP后，在RabbitMQ实例开通页面进行绑定。更多信息请参见弹性IP。

考虑点 建议 本地磁盘存储空间 本地磁盘存储空间 （未开启弹性存储的Topic存储量 + 弹性存储Topic本地热数据存储量） 130% 未开启弹性存储的Topic存储量 ：未开启弹性存储的Topic业务消息量 副本数，如集群未开启弹性存储的Topic均为3副本，消息量为100GB，则未开启弹性存储的Topic存储量为100GB 3 300 GB。 弹性存储Topic本地数据存储量 ：弹性存储主题热数据会存储在本地，未超过 “消息本地保留时长” 的消息数据均存储在本地；由于数据生命周期以分区分片为单位， 未满一个数据分片 的数据也会存储在本地（默认1个分片大小为1GB，编辑主题可调整）。 假如集群有3副本的主题分区100个，分片大小均为1GB。 保留时间为1小时，1小时消息量为50GB，则弹性存储Topic本地数据存储量 max(100 1GB 3, 50GB 3) 300GB。 假如集群有3副本的主题分区100个，分片大小均为128MB。 保留时间为1小时，1小时消息量为50GB，则弹性存储Topic本地数据存储量 max(100 128MB 3, 50GB 3) 150GB。 建议 预留多30% 存储空间。 磁盘空间大小会影响磁盘性能，具体性能参考“ 消息本地保留时长 默认为1小时。建议根据业务实际消费场景调整，如消费者经常消费落后1.5小时，则需要调大到2小时。 分区分片大小 默认为1G，弹性存储Topic可以适当调小至128MB~1024MB之间，因为数据生命周期管理以分区分片为单位，消息数据量必须满一分片才会上传弹性存储或超时清理。

响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000002e00624e43581217bdefault ContentType: application/xml ContentLength: 0 Date: Thu, 07 Apr 2022 01:50:16 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: tx00000000000000000000200624f957a2a818nanjing3 ContentType: application/xml ContentLength: 0 Date: Fri, 08 Apr 2022 01:52:58 GMT Connection: KeepAlive 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本节介绍创建单机训练任务。 创建任务 在智算控制台页面选择“离线训练”，单击“创建AI应用”。 基本信息 设置任务基本信息，比如任务名，任务类型、命名空间等。 配置信息 配置训练任务，选择单机任务。 选择框架和版本 这里会根据选择的任务类型筛选出所有对应的框架镜像。 说明 选择nvidiapytorchexample框架，此框架内置了Mnist训练数据集。 选择框架版本，此框架支持多架构。 选择队列 说明 若没有则单击“创建队列”，设置各类资源配额。 选择队列，设置任务资源，以及环境变量和启动命令等。 启动参数 启动命令如下：可调整对应训练轮次参数，GPU设置backend为nccl。 shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl Pytorch任务环境变量必须设置。 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 单击“确认”，完成任务创建。 查看任务

响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该请求的响应中不带有响应元素。 错误码 请参见调用前必知错误码全局错误码。

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

可选权限 是否需要审批 中文名称 im:message.groupmsg 免审权限 获取群组中所有消息（敏感权限） im:message:readonly 免审权限 获取单聊、群组消息 im:message:update 免审权限 更新消息 im:message:recall 免审权限 撤回消息 im:message.reactions:read 免审权限 查看消息表情回复

AMQProxy是一款开源AMQP代理服务，具备复用AMQP Connection的能力。可以通过该代理服务使原本只能使用短连接的客户端（例如PHP客户端）使用长连接，从而减少网络资源消耗和分布式消息服务RabbitMQ资源消耗。 前提条件 如果您要使用SSL连接AMQProxy和分布式消息服务RabbitMQ，请确保您的客户端服务器已安装OpenSSL。 背景 部分语言的客户端，例如PHP客户端，无法使用长连接，会频繁地开启或关闭Connection，消耗大量的网络资源和分布式消息服务RabbitMQ资源，从而对分布式消息服务RabbitMQ造成巨大压力。 AMQProxy AMQProxy是Cloud AMQP提供的开源AMQP代理服务。客户端可以通过该代理服务与分布式消息服务RabbitMQ保持长连接。当客户端服务器部署AMQProxy后，客户端和分布式消息服务RabbitMQ之间的请求都会先发送到AMQProxy，然后由AMQProxy转发到对方。 AMQProxy处理客户端发起的Connection相关请求的逻辑如下： 如果客户端发送开启Connection的请求，AMQProxy将根据用户名、密码、Vhost查找当前是否有合适的Connection可以复用，如果有就复用该Connection，如果没有就由AMQProxy代替客户端和分布式消息服务RabbitMQ开启Connection。 如果客户端发送关闭Connection的请求，AMQProxy会直接应答OK，但并不会关闭与分布式消息服务RabbitMQ的Connection，当该客户端下次再请求开启Connection时，AMQProxy会直接使用该Connection。 部署AMQProxy （1）下载和安装AMQProxy。 开源项目地址： releases目录下有安装包，下载后可以在本地解压 （2）启动AMQProxy ./amqproxy l LISTENADDRESS p LISTENPORT AMQPURL 参数 描述 LISTENADDRESS AMQProxy IP地址。由于是在客户端服务器部署AMQProxy，因此可以直接使用本机地址127.0.0.1。 LISTENPORT AMQProxy监听端口。客户端请求通过该端口发送到AMQProxy。该端口可以为任何可用的端口，例如5673。 AMQPURL 分布式消息服务RabbitMQ实例的URL。格式为{amqpIamqps}://{endpoint}。 amqp：AMQP协议。不使用SSL连接时使用。 amqps：AMQP/SSL协议。使用SSL连接时使用。 endpoint：分布式消息服务RabbitMQ实例的接入点。可以在分布式消息服务RabbitMQ控制台的实例详情页面查看。 示例命令如下： ./amqproxy l 127.0.0.1 p 5673 amqps://192.168.0.100:5672 返回示例如下： Proxy upstream: 192.168.0.100:5672 TLS Proxy listening on 127.0.0.1:5673 0 clients 0 upstreams 参数 描述 clients 客户端和AMQProxy的Connection数量。 upstreams AMQProxy和分布式消息服务RabbitMQ实例的Connection数量。 （3）在客户端代码中将Host和端口修改为AMQProxy IP地址和监听端口。 factory.setHost("127.0.0.1"); factory.setPort(5673);

功能说明 GetBucketCORS用来请求获取桶的跨域资源共享权限配置。 请求消息样式 plaintext GET /{Bucket}?cors HTTP/1.1 Host: xxx.zos.ctyun.cn ContentLength: ContentLength xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： 桶的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 请求消息元素 该请求消息中不带消息元素。 响应消息样式 plaintext HTTP/1.1 Status Code xamzrequestid: Request Id ContentType: ContentType ContentLength: ContentLength Date: Date Connection: KeepAlive string ... string ... string ... string ... string integer ... 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。 响应消息元素 该响应中将桶的跨域资源共享权限配置信息以消息元素的形式返回，元素的具体含义如下表所示： 参数名称 参数描述 类型 CORSConfiguration 参数解释： 描述存储桶中对象的跨源访问配置。 Container 表CORSConfiguration 参数名称 参数描述 类型 CORSRule 参数解释： 为指定bucket配置的所有跨域规则的集合。 约束限制： 最多允许配置100条规则。 Contanier 表CORSRule 参数名称 参数描述 类型 ID 参数解释： 跨域规则的ID。 约束限制： 最长长度为255个字符。 String AllowedHeader 参数解释： 允许浏览器发送CORS请求时携带的自定义HTTP请求头部。 约束限制： 不区分英文大小写，单条CORSRule可以配置多个AllowedHeader。 String AllowedMethod 参数解释： 允许该源执行的HTTP方法列表。 约束限制： 只能填入GET、PUT、HEAD、POST和DELETE，单条规则可以配置多个方法。 String AllowedOrigin 参数解释： 允许能够访问该bucket的一个或多个源,支持 通配符，表示所有域名都允许访问，不推荐。 约束限制： 一条CORSRule可以配置多个AllowedOrigin。 String ExposeHeader 参数解释： 允许浏览器获取的CORS请求响应中的头部。 约束限制： 不区分英文大小写，单条CORSRule可以配置多个 ExposeHeader。 String MaxAgeSeconds 参数解释： 跨域资源共享配置的有效时间，单位为秒，对应CORS请求响应中的AccessControlMaxAge头部。 约束限制： 单条CORSRule只能配置一个MaxAgeSeconds。 Integer

操作分类 具体操作 描述 基础配置 新增应用系统 新增应用系统 删除应用系统 删除应用系统 修改应用系统 修改应用系统 新增站点 创建站点 删除站点 删除站点 修改站点 修改站点 启用站点 启用站点 禁用站点 禁用站点 重置站点 重建站点业务数据，在故障站点恢复正常后操作 新增单元 新增单元 删除单元 删除单元 修改单元 修改单元 新增单元组 新增单元组 删除单元组 删除单元组 修改单元组 修改单元组 接入层配置 选择接入层网关 绑定接入层网关 移除接入层网关 解绑接入层网关 新增单元组URI配置 新增业务流量路由 删除单元组URI配置 删除业务流量路由 修改单元组URI配置 修改业务流量路由 数据层配置 新增数据源 新增数据层数据源 删除数据源 删除数据层数据源 修改数据源 修改数据层数据源 新增同步任务 新增数据同步任务 删除同步任务 删除数据同步任务 修改同步任务 修改数据同步任务 启动同步任务 启动数据同步任务 停止同步任务 停止数据同步任务 绑定链路 绑定同步链路与数据传输服务实例 解绑链路 解绑同步链路与数据传输服务实例 启动链路 启动同步链路所绑定任务 停止链路 停止同步链路所绑定任务 消息层配置 新增数据源 新增消息层数据源 删除数据源 删除消息层数据源 修改数据源 修改消息层数据源 新增同步任务 新增消息同步任务 删除同步任务 删除消息同步任务 修改同步任务 修改消息同步任务 启动同步任务 启动消息同步任务 停止同步任务 停止消息同步任务 创建路由任务配置 创建消息路由任务配置 删除路由任务配置 删除消息路由任务配置 创建路由任务 创建路由任务 删除路由任务 删除路由任务 启用路由任务 启用路由任务 停用路由任务 停用路由任务 重置位点 重置目标实例消费位点 容灾切流 基础配置推送 发起基础配置推送 流量切换 发起流量切换 主备切换 发起主备切换 取消步骤 取消切流过程指定步骤 忽略步骤 跳过切流过程指定步骤 重试步骤 重试切流过程指定步骤

如何保证消息发布的可靠性？ 如果acks0，生产者在成功写入消息之前是不会等待任何的来自服务器的响应。可靠性最低、性能最优。 如果acks1，只要集群的首领节点收到消息，生产者就会收到来自服务器成功的响应。 如果acksall / 1，只有在集群所有的跟随副本都接收到消息后，生产者才会受到一个来自服务器的成功响应。可靠性最高，性能最差。 如何保证消息的顺序？ Kafka 每个 Partition 都是相互独立的，Kafka 只能保证单个 Partition 下的有序。 局部有序：当我们所需要的有序其实是针对单个用户的有序，而不要求全局有序。我们可以以用户的 ID 作为 key , 确保单个用户一定会被分配到某个固定的 Partition 上（可能会引起数据倾斜问题），这样我们就能够实现单个用户维度的有序了。 如果一定要全局的有序，所有消息都使用同一个 key ，这样他们一定会被分配到同一个 Partition 上，这种做法适用于临时性且数据量不大的小需求，消息量大了会有性能压力。 如何选择 Partiton 的数量？ 在创建 Topic 的时候可以指定 Partiton 数量，也可以在创建完后手动修改。但 Partiton 数量只能增加不能减少。中途增加 Partiton 会导致各个 Partiton 之间数据量的不平等。 Partition 的数量直接决定了该 Topic 的并发处理能力。但也并不是越多越好。Partition 的数量对消息延迟性会产生影响。 一般建议选择 Broker Num Consumer Num ，这样平均每个 Consumer 会同时读取 Broker 数目个 Partition ， 这些 Partition 压力可以平摊到每台 Broker 上。

本章节介绍了天翼云分布式消息服务协议。 天翼云分布式消息服务协议

本文为您介绍分布式消息服务MQTT与其他服务关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为分布式消息服务MQTT提供一个逻辑隔离的区域，构建一个安全可靠、可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 弹性云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境，确保分布式消息服务MQTT持久稳定运行。更多信息请参见弹性云主机。 云硬盘（CTEVS，Elastic Volume Service） 云硬盘是一种可弹性扩展的块存储设备，可以为分布式消息服务MQTT提供高性能、高可靠的块存储服务。更多信息请参见云硬盘。 弹性IP（Elastic IP，EIP） 弹性IP是可以独立申请的公网 IP 地址，包括公网IP地址与公网出口带宽服务。可以与分布式消息服务MQTT动态绑定和解绑，实现云资源的互联网访问。针对需要公网访问分布式消息服务MQTT实例的需求，用户可开通弹性IP后，在MQTT实例页面进行绑定。更多信息请参见弹性IP。

云防火墙中的IPsec VPN是什么？ IPSec VPN吞吐量是指防火墙在执行IPSec加解密处理时，单位时间内能够转发的最大数据量，由于VPN流量需要经过加密封装、完整性校验、隧道封装等一系列处理，相比普通防火墙转发会消耗更多的计算资源，因此IPSec VPN吞吐量通常低于防火墙的明文转发吞吐量。在极端场景下，由于所有流量可能被哈希到同一队列，实际吞吐量可能降至标称值的30%～50%左右。随着VPN隧道数量增加、会话多样性提升，流量在多队列间的分布会逐步趋于均衡，实际性能也随之接近标称值。

本章节介绍故障演练服务中应用资源管理功能。 概述 应用资源 是构成应用 的组件节点，例如云主机 、云容器引擎 、分布式缓存服务Redis版 、分布式消息服务Kafka等实例。应用需要先纳管资源，才能对其进行故障演练。 添加应用资源 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，然后单击其下的应用资源 选项，进入应用资源管理页面。 3. 在页面上方的资源类型 页签中，选择希望添加的资源类型（如云主机），然后单击添加资源按钮。 4. 在弹出的对话框中，选择资源池等筛选条件 ，单击搜索，系统将列出符合条件的、当前用户有权访问的资源清单。 5. 从列表中勾选 一个或多个资源，然后单击确认完成添加。 6. 返回应用资源列表，可以看到新添加的资源对象。 注意 列表中显示的资源状态可能存在一定延迟，如需获取最实时的信息，以该资源对应的云产品控制台为准。 删除应用资源 1. 进入目标应用的应用资源管理页面。 2. 在应用资源 列表中，找到希望删除的资源对象，单击其对应的删除按钮。 3. 在弹出的确认对话框中完成删除操作。 4. 返回应用资源列表，确认该资源对象已被成功移除。 注意 若目标资源被演练任务引用，则无法直接删除；必须先解除所有关联任务对该资源的引用，才能进行删除操作。

本章节介绍故障演练服务的委托授权相关功能。 概述 故障演练服务 需要与分布式缓存服务Redis版 、分布式消息服务Kafka 等其他云产品 协同工作。为实现这一目标，当您首次使用本服务时，系统会请求您授权创建一个服务内联委托 ，以便平台能够安全地访问和管理您在其他云产品中的相关资源。 权限说明 为完成故障注入 等功能，故障演练平台 需要获得访问其他云服务 的权限。为此，系统需要您授权创建一个名为 CtyunAssumeRoleForADTSChaos 的服务内联委托。 此委托将绑定一个名为 CtyunAssumeRolePolicyForADTSChaos 的系统权限策略，可在统一身份认证 中的策略管理查看到该策略的授权范围。 服务内联委托说明 当您首次登录故障演练平台 控制台时，系统会自动检查 CtyunAssumeRoleForADTSChaos 委托 是否存在。若不存在，系统会弹出授权提示。在您确认后，系统将自动为您创建该委托及关联的权限策略。 验证方法： 您可以在 IAM 控制台的角色管理 页面，或通过API/CLI调用 ListDelegates，查看已创建的服务内联委托。 一个更简单的验证方法是：刷新或重新登录故障演练平台 控制台，如果所有功能均可正常使用且不再弹出授权提示，则表示委托已成功创建。 注意 如果没有CtyunAssumeRoleForADTSChaos服务内联委托权限，可能会因为某个服务权限不足而影响系统功能的正常使用。 请不要自行删除或者修改CtyunAssumeRoleForADTSChaos 委托以及CtyunAssumeRolePolicyForADTSChaos策略，这可能导致故障演练服务无法正常工作。

切换到执行脚本所在目录。 python /run.py 执行启动脚本。 资源配置 队列 选择目标队列，展示当前总资源及使用情况。 资源配置 资源规格 选择当前任务所需要的资源规格。 资源配置 实例数量 输入当前部署实例的数量。 在列表可查看模型是否部署成功，在操作列可进行模型查看、更新、停止、重启、修改、上下线、删除等操作。停止服务后计费也会停止，再次启动服务即可开通计费。 操作列点击【查看】可进入该服务的详情页，查看部署的模型列表、服务监控、配置历史、运行记录、事件日志、服务日志。 服务部署完成后下一步需要创建服务接入。

本文介绍如何查看镜像扫描任务的状态。 执行镜像扫描操作后，可通过“任务中心”查看镜像扫描任务的状态。 扫描状态包括扫描完成、待扫描、扫描中、创建中。 扫描类型分为手动扫描、自动扫描、周期扫描。 操作步骤 1. 登录容器安全卫士控制台。 2. 在左侧导航栏，选择“任务中心”，进入任务中心页面。 3. 定位到“扫描任务队列 > 镜像扫描队列”，可查看历史扫描任务和正在扫描任务中镜像的扫描状态。 说明 若扫描任务中扫描类型后带有“！”，则说明此任务中存在扫描失败的镜像。

本节介绍如何创建单机训练任务。 创建训练任务 1. 在集群列表页，选择指定集群 2. 在左侧导航栏，选择“智算套件/AI应用列表” 3. 智算控制台页面选择“离线训练”，单击“创建AI应用” 2. 根据需要修改任务基本信息，比如任务名，任务类型、命名空间等 3. 配置训练任务，选择单机任务 4. 选择框架，这里选择nvidiapytorchexample框架，此框架内置了MNIST训练数据集 5. 选择框架版本，此框架支持多架构 6. 选择队列，若没有则单击去创建队列，设置各类资源配额 7. 选择队列，设置任务资源，以及环境变量和启动命令等 启动命令如下：可调整对应训练轮次参数，若使用 GPU， backend 建议设置为 nccl shell python3 /opt/mnist/src/mnist.py epochs5 backendnccl PyTorch任务环境变量必须设置 shell PROTOCOLBUFFERSPYTHONIMPLEMENTATION:python 单击确认创建任务。

本章节主要介绍DataArts Studio的获取Rest Client算子返回值操作。 Rest Client算子可以执行RESTful请求。 本教程主要介绍如何获取Rest Client的返回值，包含以下两个使用场景举例。 通过“响应消息体解析为传递参数定义”获取返回值。 通过EL表达式获取返回值。 通过“响应消息体解析为传递参数定义”获取返回值 如下图所示，第一个Rest Client调用了MRS服务查询集群列表的API，下图为API返回值的JSON消息体。 使用场景：需要获取集群列表中第一个集群的cluster Id，然后作为参数传递给后面的节点使用。 关键配置：在第一个Rest Client的“响应消息体解析为传递参数定义”配置中，配置clusterIdclusters[0].clusterId，后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 Rest Clien作业样例1 JSON消息体 通过EL表达式获取返回值 Rest Client算子可与EL表达式相配合，根据具体的场景选择不同的EL表达式来实现更丰富的用法。您可以参考本教程，根据您的实际业务需要，开发您自己的作业。EL表达式用法可参考表达式概述。 如下图所示，Rest Client调用了MRS服务查询集群列表的API，然后执行Kafka Client发送消息。 使用场景：Kafka Client发送字符串消息，消息内容为集群列表中第一个集群的cluster Id。 关键配置：在Kafka Client中使用如下EL表达式获取Rest API返回消息体中的特定字段：

本章节主要介绍数据湖探索（DLI）如何创建用户并授权使用。 如果您需要对您所拥有的DLI资源进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），具体IAM使用场景可以参考权限管理概述。 如果云帐号已经能满足您的要求，不需要创建独立的IAM用户，您可以跳过本章节，不影响您使用DLI服务的其它功能。 本章节介绍创建IAM用户并授权使用DLI的方法，操作流程如下图所示。 前提条件 给用户组授权之前，请您先了解用户组可以添加的DLI权限，并结合实际需求进行选择。DLI支持的系统权限，请参见权限管理概述章节中的“DLI系统权限”。 示例流程 给用户授权DLI权限流程 1.创建用户组并授权。 在IAM控制台创建用户组，并授予DLI服务普通用户权限“DLI ReadOnlyAccess”。 2.创建用户并加入用户组。 在IAM控制台创建用户，并将其加入1中创建的用户组。 3.用户登录并验证权限。 使用新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择数据湖探索，进入DLI主界面。如果在“队列管理”页面可以查看队列列表，但是单击右上角“购买队列”，无法购买DLI队列（假设当前权限仅包含DLI ReadOnlyAccess），表示“DLI ReadOnlyAccess”已生效。 在“服务列表”中选择除数据湖探索外（假设当前策略仅包含DLI ReadOnlyAccess）的任一服务，若提示权限不足，表示“DLI ReadOnlyAccess”已生效。如果您需要对您所拥有的DLI资源进行精细的权限管理，您可以使用统一身份认证服务（Identity and Access Management，简称IAM），具体IAM使用场景可以参考权限管理概述。

功能说明 DeleteMultipleObjects请求删除多个指定的对象。 请求消息样式 plaintext POST /{Bucket}?delete HTTP/1.1 Host: xxx.zos.ctyun.cn xamzcontentsha256: ContentSHA256 xamzdate: Date Authorization: Auth String ContentType: application/xml Connection: keepalive ContentLength: Length string string ... boolean 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 消息消息元素 参数名称 参数描述 类型 是否必须 Delete 参数解释： 批量删除信息的容器。 Container 是 表Delete 参数名称 参数描述 类型 是否必须 Object 参数解释： 删除对象的信息。 Container 是 Quiet 参数解释： 是否开启静默模式，若关闭，则会返回具体的删除信息。 取值范围： True False 默认取值： True Boolean 否 表Object 参数名称 参数描述 类型 是否必须 Key 参数解释： 删除对象的Key。 String 是 VersionId 参数解释： 删除对象的版本号。 String 否

功能说明 Delete Multiple Object请求删除多个指定的对象。 请求消息样式 plaintext POST /{Bucket}?delete HTTP/1.1 Host: xxx.zos.ctyun.cn XAmzContentSha256: ContentSHA256 XAmzDate: Date Authorization: Auth String ContentType: application/xml Connection: keepalive ContentLength: Length string string ... boolean 请求消息参数 参数名称 参数描述 类型 是否必须 Bucket 参数解释： Bucket的名称。 String 是 请求消息头 该请求使用公共的请求消息头，请参见如何调用API构造请求请求消息头。 消息消息元素 参数名称 参数描述 类型 是否必须 Delete 参数解释： 批量删除信息的容器。 Container 是 表Delete 参数名称 参数描述 类型 是否必须 Object 参数解释： 删除对象的信息。 Container 是 Quiet 参数解释： 是否开启静默模式，若关闭，则会返回具体的删除信息。 取值范围： True False 默认取值： True Boolean 否 表Object 参数名称 参数描述 类型 是否必须 Key 参数解释： 删除对象的Key。 String 是 VersionId 参数解释： 删除对象的版本号。 String 否

本章节主要介绍数据湖探索（DLI）的计费模式。 数据湖探索的计费包括存储计费、计算计费。 计费项 计费项 说明 计算计费 按照“CU时”收取计算费用。 CU是队列的计价单位。1CU 1Core 4GMem。不同规格的队列对应的计算能力不一样，规格越高计算能力越好。当前支持Spark、Flink、OpenLookeng计算。 存储计费 按照存储在DLI服务中的表数据存储量（单位为“GB”）收取存储费用。 在估算存储费用时，请特别注意，DLI采用压缩存储，通常能压缩到原文件大小的1/5。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。 计费方式 DLI在不同的计费项下有不同的计费模式，具体详见下表说明。 计费项 计费模式 计费模式说明 计算计费 按需计费 按需的队列使用CU时进行计费。不足一小时按一小时计费，小时数按整点计算，计算费用单价CU数小时数。 DLI表的数据存储 按需计费 按照存储在DLI服务中的数据存储量（单位为“GB”）收取存储费用。不足一小时按一小时计费，小时数按整点计算，存储费用单价存储数据量（GB）小时数。

本节介绍如何创建扫描任务。 操作场景 该任务指导用户通过漏洞扫描服务创建扫描任务。 前提条件 已获取管理控制台的登录帐号与密码。 域名的“认证状态”为“已认证”。 如果您的网站设置了防火墙或其他安全策略，将导致VSS的扫描IP被当成恶意攻击者而误拦截。因此，在使用VSS前，请您将以下VSS的扫描IP添加至网站访问的白名单中：114.217.39.79，222.93.127.109 操作步骤 1. 登录管理控制台。 2. 在左侧导航树中，单击，选择“安全 > 漏洞扫描（专业版）”，进入漏洞扫描服务页面。 3. 在“资产列表 > 网站”页签，单击对应的网站信息“操作”列的“扫描”。 4. 进入创建扫描任务入口，如下图所示。 5. 在“创建任务”界面，请根据下表进行扫描设置，设置后如下图所示。 扫描设置参数说明： 参数 参数说明 任务名称 用户自定义。 目标网址 待扫描的网站地址或IP地址。 通过下拉框选择已认证通过的域名。 开始时间 可选参数，设置开始扫描的时间，不设置默认立即扫描。 扫描策略 三种扫描策略： 极速策略：扫描耗时最少，能检测到的漏洞相对较少。 标准策略：扫描耗时适中，能检测到的漏洞相对较多。 深度策略：扫描耗时最长，能检测到最深处的漏洞。 有些接口只能在登录后才能访问，建议用户配置对应接口的用户名和密码，VSS才能进行深度扫描。 说明 “极速策略”：扫描的网站URL数量有限且VSS会开启耗时较短的扫描插件进行扫描。 “深度策略”：扫描的网站URL数量不限且VSS会开启所有的扫描插件进行耗时较长的遍历扫描。 “标准策略”：扫描的网站URL数量和耗时都介于“极速策略”和“深度策略”两者之间。 是否扫描登录URL 默认不扫描登录URL，开启扫描登录URL前请先评估业务影响。 是否将本次扫描升级为专业版规格 基础版用户开启此功能后，扫描过程中会按需扣费： 鼠标移动至“?”了解升级后影响。 打开此功能时，扫描时会自动升级为专业版按需扣费，关闭该功能时，扫描时不会升级。 扫描项设置 VSS支持的扫描功能参照下表。 ：开启。 ：关闭。 扫描项设置： 扫描项名称 说明 Web常规漏洞扫描（包括XSS、SQL注入等30多种常见漏洞） 提供了常规的30多种常见漏洞的扫描，如XSS、SQL等漏洞的扫描。默认为开启状态，不支持关闭。 端口扫描 检测主机打开的所有端口。 弱密码扫描 对网站的弱密码进行扫描检测。 CVE漏洞扫描 CVE，即公共暴露漏洞库。VSS可以快速更新漏洞规则，扫描最新漏洞。 网页内容合规检测（文字） 对网站文字的合规性进行检测。 网页内容合规检测（图片） 对网站图片的合规性进行检测。 网站挂马检测 挂马：上传木马到网站上，使得网站在运行的时候执行木马程序，被黑客控制，遭受损失。VSS可以检测网站是否存在挂马。 链接健康检测（死链、暗链、恶意外链） 对网站的链接地址进行健康性检测，避免您的网站出现死链、暗链、恶意链接。 说明 如果您当前的服务版本已经为专业版，不会提示升级。 基础版支持常见漏洞检测、端口扫描，每日扫描任务上限5个，单个扫描任务时长限制2小时。 专业版支持常见漏洞检测、端口扫描、弱密码扫描，每日扫描任务上限多达60次。 高级版支持常见漏洞检测、端口扫描、弱密码扫描，每日扫描任务上限多达60次。 企业版支持常见网站漏洞扫描、基线合规检测、弱密码、端口检测、紧急漏洞扫描、周期性检测，每日扫描任务上限多达60次。 6. 设置完成后，单击“开始扫描”。 说明 如果没有设置开始扫描时间，且此时服务器没有被占用，则创建的任务可立即开始扫描，任务状态为“进行中”；否则进入等待队列中等待，任务状态为“等待中”。

响应样式说明 当successactionstatus设为201时，返回如下： plaintext HTTP/1.1 201 xamzversionid: VersionId Bucket Key Etag 响应消息头 该请求的响应消息使用公共的响应消息头，请参见如何调用API响应结果响应消息头。除公共响应消息头之外，还可能返回如下的消息头： 参数名称 参数描述 类型 xamzversionid 参数解释： 若开启多版本，则返回对象的版本号。 string 响应消息元素 该响应中将桶的区域信息以消息元素的形式返回，元素的具体含义如下表所示 ： 参数名称 参数描述 类型 PostResponse 参数解释： 返回结果的容器。 string Location 参数解释： 对象的URI。 string Bucket 参数解释： 对象所在桶的名称。 string Key 参数解释： 对象的key。 string ETag 参数解释： 对象的ETag。 string 错误码 请参见调用前必知错误码全局错误码。

本章节介绍Kafka Broker节点磁盘IO高负载故障演练。 背景介绍 分布式消息服务 Kafka 集群的性能与稳定性高度依赖底层磁盘 IO 能力，高并发写入、集群数据复制、海量消息存储检索及磁盘故障恢复等场景易导致 Broker 节点磁盘 IO 触达瓶颈，引发消息持久化延迟等问题，本演练可测试业务系统的响应与恢复能力。 基本原理 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker 磁盘IO高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 读负载：开启读压力模式，创建一个临时文件并对其进行持续的读取操作。 写负载：开启写压力模式，持续向一个临时文件写入数据。 块大小：控制单次读写操作的数据块大小，单位为MB。增大此值可以提升单次操作的 IO 压力。通常保持默认值即可。

本文主要 Kafka客户端参数配置建议。 Kafka客户端的配置参数很多，以下提供producer和consumer几个常用参数配置。其他参数配置，请参考Kafka配置。 表 Producer参数 参数 默认值 推荐值 说明 acks 1 高可靠：all或者1高吞吐：1 收到Server端确认信号个数，表示producer需要收到多少个这样的确认信号，算消息发送成功。 acks参数代表了数据备份的可用性。常用选项：acks0：表示producer不需要等待任何确认收到的信息，副本将立即加到socket buffer并认为已经发送。没有任何保障可以保证此种情况下server已经成功接收数据，同时重试配置不会发生作用（因为客户端不知道是否失败）回馈的offset会总是设置为1。 acks1：这意味着至少要等待leader已经成功将数据写入本地log，但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据，而此时leader又无法提供服务，则消息会丢失。 acksall或者1：这意味着leader需要等待ISR中所有备份都成功写入日志。只要任何一个备份存活，数据都不会丢失。min.insync.replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时，这些数据发送失败后，客户端会重新发送。 注意，这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序，如果这两个消息记录都是发送到同一个partition，则第一个消息失败第二个发送成功，则第二条消息会比第一条消息出现要早。针对网络闪断场景，生产者建议配置重试能力，推荐重试次数retries3，重试间隔retry.backoff.ms1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间，超过这个时间则会抛Timeout异常。超时时间如果设置大一些，如127000（127秒），高并发的场景中，能减少发送失败的情况。 block.on.buffer.full TRUE TRUE TRUE表示当我们内存用尽时，停止接收新消息记录或者抛出错误。默认情况下，这个设置为TRUE。 然而某些阻塞可能不值得期待，因此立即抛出错误更好。如果设置为false，则producer抛出一个异常错误：BufferExhaustedException batch.size 16384 262144 默认的批量处理消息字节数上限。producer将试图批处理消息记录，以减少请求次数。 这将改善client与server之间的性能。不会试图处理大于这个字节数的消息字节数。 发送到brokers的请求将包含多个批量处理，其中会包含对每个partition的一个请求。较小的批量处理数值比较少用，并且可能降低吞吐量（0则会仅用批量处理）。 较大的批量处理数值将会浪费更多内存空间，这样就需要分配特定批量处理数值的内存大小。 buffer.memory 33554432 67108864 producer可以用来缓存数据的内存大小。如果数据产生速度大于向broker发送的速度，producer会阻塞或者抛出异常，以“block.on.buffer.full”来表明。 这项设置将和producer能够使用的总内存相关，但并不是一个硬性的限制，因为不是producer使用的所有内存都是用于缓存。一些额外的内存会用于压缩（如果引入压缩机制），同样还有一些用于维护请求。 表 Consumer参数 参数 默认值 推荐值 说明 :::: auto.commit.enable TRUE FALSE 如果为真，consumer所fetch的消息的offset将会自动的同步到zookeeper。这项提交的offset将在进程无法提供服务时，由新的consumer使用。约束：设置为false后，需要先成功消费再提交，这样可以避免消息丢失。 auto.offset.reset latest earliest 没有初始化offset或者offset被删除时，可以设置以下值： earliest：自动复位offset为最早 latest：自动复位offset为最新 none：如果没有发现offset则向消费者抛出异常 anything else：向消费者抛出异常。 说明 如果将此配置设置为latest，新增分区时，生产者可能会在消费者重置初始偏移量之前开始向新增加的分区发送消息，从而导致部分消息丢失。 connections.max.idle.ms 600000 30000 空连接的超时时间，设置为30000可以在网络异常场景下减少请求卡顿的时间。

本节介绍如何对上传的文件进行IaC扫描。 前提条件 已上传需要检测的K8S manifests、dockerfile、Configmap文件。 操作步骤 1. 登录容器安全卫士控制台。 2. 在左侧导航栏选择“IaC安全 > IaC检查”，进入IaC检查页面。 3. 选择检查的文件类型。 4. 单击检查列表操作列的“扫描”按钮或者列表右上角的“开始扫描”，可对已上传的文件进行检测。 5. 扫描后，到“任务中心 > 扫描任务队列 > IaC安全扫描队列”中查看扫描状态及生成扫描结果。