CU设置常见问题 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样修改弹性资源池内现有队列的CU最小值？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.调整弹性资源池内现有队列的最小CU。 当队列的CU总和等于弹性资源池最小CU时，即弹性资源池当前CU等于最小CU时，怎样在弹性资源池内添加队列？ 解决方案： 1.通过调大现有队列的CU最大值，使弹性资源池当前CU大于等于目标最小CU（目标最小CU即计划调整后的队列最小CU值总和）。 说明 如果弹性资源池最大CU等于最小CU，请先设置增大弹性资源池的最大CU值。 2.设置弹性资源池的最小CU。 3.在资源池内新增队列。 4.复原 ▪第一步：通过调整现有队列的CU最大值，使弹性资...中调整的队列CU最大值。

一键自动修复 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 勾选漏洞列表中所有需要修复的漏洞，单击漏洞列表左上角的“批量修复”，一键批量修复漏洞。 4. 在修复对话框中，确认待修复的漏洞数量和影响资产数量、选择修复所需软件源。 您可以在修复对话框中查看修复命令、查看影响服务器数量。软件源支持清华软件源、华为云软件源、阿里云软件源，也可以自配置软件源。若选择自配置软件源，请务必确认已在服务器上配置好对应操作系统发行版的软件源（如 yum、zypper、aptget 或 emerge 等包管理工具对应的软件源）。 5. 单击“确定”，开始自动修复漏洞。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。 手动修复漏洞 您可以参考漏洞详情页面的修复建议，登录服务器手动修复漏洞。 说明 漏洞修复完成后需要手动重启服务器，否则系统仍可能为您推送漏洞消息。 不同的漏洞请根据修复建议依次进行修复。 1. 登录服务器安全卫士（原生版）控制台。 2. 在左侧导航栏，选择“风险管理 > 漏洞扫描”，进入漏洞扫描页面。 3. 单击“漏洞名称”链接、或操作列的“查看详情”，跳转至漏洞详情页面。 4. 在漏洞详情页面可以看到漏洞修复建议。 5. 登录漏洞影响的服务器，根据修复建议进行修复。 6. 修复完成后，建议您立即重新扫描漏洞，验证修复结果。

流水线 规格/特性名称 规格/特性说明 体验版 基础版 专业版 企业版 流水线并发 租户内并发执行的流水线的数量。 1个 5个 10个 20个 流水线执行时长 租户每个月累计流水线任务执行时长 1800分钟/月 不限 不限 不限 资源型任务执行时长 租户内资源消耗类任务每月累计执行总时长。 300分钟/月 1200分钟/月 6000分钟/月 12000分钟/月 流水线管理 流水线编排和执行，结果查看和信息订阅。 √ √ √ √ 微服务变更 DevOps变更模式，按微服务独立开发、测试和发布。 √ √ √ √ 扩展插件 自定义流水线插件。 √ √ √ √ 自定义门禁 自定义门禁策略，对阶段准出自动化拦截。 × √ √ √ 云原生发布 云原生环境变量管理，蓝绿，金丝雀，滚动发布多种发布模式。 √ √ √ √ 代码检查 规格/特性名称 规格/特性说明 体验版 基础版 专业版 企业版 代码检查并发 租户内并发执行的代码检查任务数量。 1个 5个 10个 20个 代码检查执行时长 租户每个月累计代码检查任务执行时长。 1800分钟/月 不限 不限 不限 基础语言支持 Java、C/C++、Python、JavaScript、TypeScript、ArkTs。 √ √ √ √ 进阶语言支持 除基础语言外，支持多种常用开发语言，如C

本章节介绍全链路流量控制功能 概述 在微服务云应用平台中支持对微服务应用进行全链路流量控制。全链路流量控制功能可以帮助您快速灵活地创建一个流量控制环境，将具有一定特征的流量路由到目标版本应用。 背景信息 在微服务云应用平台中，当您部署的应用存在升级版本时，由于应用间的调用是随机的，会导致无法将具有一定特征的流量路由到应用的目标版本。全链路流量控制功能将应用的相关版本隔离成一个独立的运行环境（即泳道），通过设置流控路由规则，将满足规则的请求流量路由到目标版本应用。 本文以电商架构中的下单场景为例介绍全链路流控功能。 客户下单后流量从入口应用（或者微服务网关）进来，调用商城应用，商城应用再调用订单应用，订单应用调用下游的支付应用。 商城应用和订单应用各有两个新版本（V1.1和V1.2）在运行，需要对这两个新版本进行灰度验证。此时在入口应用（或者微服务网关）上期望将满足特定流控规则的请求流量路由到新版本，其余流量全部路由到线上（基线）版本。 在示意图中，商城应用和订单应用分别存在两个升级版本（V1.1和V1.2），此时访问请求会随机转发到各个版本，无法进行流量控制。借助全链路流量控制功能，将版本V1.1设置为tag1泳道；将版本V1.2设置为tag2泳道，并在入口应用处设置流控规则，当进入入口应用的请求流量满足流控规则时，则将请求流量路由到目标泳道。

扩容/缩容代理规格的过程 在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更，具体过程如下（以3个代理为例介绍）： 1. 停止Broker 0的Kafka进程 2. 扩容/缩容Broker 0的规格 3. 重启Broker 0的Kafka进程 4. 重复1~3，扩容/缩容Broker 1的规格。 5. 重复1~3，扩容/缩容Broker 2的规格。 图 扩容/缩容代理规格过程 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台右上角单击，选择区域。 说明 请选择Kafka实例所在的区域。 步骤 3 在管理控制台左上角单击，选择“企业中间件”“分布式消息服务”“Kafka专享版”，进入分布式消息服务Kafka专享版页面。 步骤 4 在实例所在行，单击“更多 > 变更规格”，进入“分布式消息服务Kafka变更规格”页面。 步骤 5 根据实际情况选择扩容存储空间、代理数量、代理规格、基准带宽，或者缩容代理规格。 老规格实例扩容步骤如下： 扩容基准带宽。 在“规格”中，选择扩容后的带宽，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的带宽大小。 说明 扩容带宽是通过扩容代理实现的，原来代理不受影响，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容基准带宽时，需要为新扩容的代理设置弹性IP地址。 扩容基准带宽，可以扩大总分区数。 扩容存储空间。 在“存储空间”中，选择扩容后的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的存储空间大小。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 新规格实例扩容步骤如下： 扩容存储空间。 在“变更配置”中，选择“存储空间”，在“单个代理存储空间”中，选择扩容后的单个代理的存储空间大小，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小（即扩容后的单个代理的存储空间代理个数）。 说明 扩容存储空间不会影响业务。 可用存储空间实际存储空间用于存储日志和ZK的数据的存储空间格式化磁盘的损耗。 例如，实际扩容存储空间到700GB，用于存储日志和ZK的数据的存储空间为100GB，格式化磁盘损耗7GB，那么扩容后的可用存储空间为593GB。 扩容代理数量。 在“变更配置”中，选择“代理数量”，在“代理数量”中，选择扩容后的代理个数，单击“下一步”。确认扩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容后的代理个数。 说明 扩容代理数量不会影响原来的代理，业务也不受影响。 新创建的Topic才会分布在新代理上，原有Topic还分布在原有代理上，造成分区分布不均匀。通过 已开启公网访问的实例，在扩容代理数量时，需要为新扩容的代理设置弹性IP地址。 扩容代理数量，可以扩大总分区数。 扩容/缩容代理规格。 在“变更配置”中，选择“代理规格”，在“代理规格”中，选择扩容/缩容后的代理规格，单击“下一步”。确认扩容/缩容信息无误后，单击“提交”。 在实例列表页面的“规格”中查看扩容/缩容后的代理规格。 说明 扩容/缩容代理规格的过程中，节点会重启，可能造成闪断，生产客户端需要配置重试机制。 若Topic为单副本，扩容/缩容期间无法对该Topic生产消息或消费消息。

本节主要介绍应用开发类问题 微服务和普通应用有什么不同？ 微服务是一种架构模式，其核心是将一个单体应用分成多个部分进行开发。所以微服务架构的应用程序，其本质上是一个分布式应用。基于微服务架构构建的应用程序，可以让业务变化更快，整体系统可靠性更高。 如何解决微服务注册失败问题（针对java chassis）？ 微服务部署成功后，需要将微服务注册到服务中心和配置中心，才能使用注册发现和微服务治理能力。如果注册失败，可能由于以下因素导致的： AK/SK未配置或者配置不正确。 服务中心或配置中心地址配置不正确。 网络不通。 域名解析失败。 监听端口被占用。 客户端向CSE发送HTTPS消息时，有校验证书吗？使用的根证书在哪里配置？ 当前CSE不会校验微服务的证书。根证书是调用公共组件psm生成的。 如何进行本地开发和测试？ 服务中心是微服务框架中的重要组件，用于服务元数据以及服务实例元数据的管理和处理注册、发现。服务中心与微服务提供/消费者的逻辑关系下图所示： 前提条件 由于启动本地服务中心将会占用此台机器的30100、30110和30103端口，其分别表示服务中心的后台、配置中心的后台和前台服务端口。请确认以上端口未被使用。 使用本地开发工具前，请确认环境是否满足以下要求： 操作系统：Linux/Unix、Windows 64 bit CPU架构：x86/arm 浏览器：Chrome、Safari、Edge

流水线 规格/特性名称 规格/特性说明 体验版 基础版 专业版 企业版 流水线并发 租户内并发执行的流水线的数量。 1个 5个 10个 20个 流水线执行时长 租户每个月累计流水线任务执行时长 1800分钟/月 不限 不限 不限 资源型任务执行时长 租户内资源消耗类任务每月累计执行总时长。 300分钟/月 1200分钟/月 6000分钟/月 12000分钟/月 流水线管理 流水线编排和执行，结果查看和信息订阅。 √ √ √ √ 微服务变更 DevOps变更模式，按微服务独立开发、测试和发布。 √ √ √ √ 扩展插件 自定义流水线插件。 √ √ √ √ 自定义门禁 自定义门禁策略，对阶段准出自动化拦截。 × √ √ √ 云原生发布 云原生环境变量管理，蓝绿，金丝雀，滚动发布多种发布模式。 √ √ √ √ 代码检查 规格/特性名称 规格/特性说明 体验版 基础版 专业版 企业版 代码检查并发 租户内并发执行的代码检查任务数量。 1个 5个 10个 20个 代码检查执行时长 租户每个月累计代码检查任务执行时长。 1800分钟/月 不限 不限 不限 基础语言支持 Java、C/C++、Python、JavaScript、TypeScript、ArkTs。 √ √ √ √ 进阶语言支持 除基础语言外，支持多种常用开发语言，如C

参数 类型 默认值 说明 autoReconnect boolean true 连接断开后，是否自动发起重连， 建议值：true pingBeforeActivateConnection boolean true 连接创建后，是否通过ping/pong校验连接可用性， 建议值：true cancelCommandsOnReconnectFailure boolean true 连接重连失败时，是否取消队列中的命令， 建议值：false disconnectedBehavior DisconnectedBehavior DisconnectedBehavior.DEFAULT 连接断开时的行为， 建议值：ACCEPTCOMMANDS DEFAULT：当autoReconnect为true时，允许命令进入队列等待，当autoReconnect为false时，禁止命令进入队列等待 ACCPETCOMMANDS：允许命令进入队列等待 REJECTCOMMANDS：禁止命令进入队列等待 socketOptions SocketOptions 网络配置项

导出对账作业 系统支持批量导出对账作业，一次最多可导出200个对账作业。 1.选择“数据质量监控 > 对账作业”，选择要导出的对账作业。 2.单击“导出”，弹出“导出对账作业”对话框。 3.单击“导出”，切换到“导出记录”页签。 4.在导出文件列表中，单击最新导出文件对应的“下载”，可将质量作业的Excel表格下载到本地。 导入对账作业 系统支持批量导入对账作业，一次最大可导入1M数据的文件，并且最多200个对账作业。 1.选择“数据质量“监控” > 对账作业”，单击“导入”，弹出“导入对账作业”对话框。 2.在“导入配置”页签，选择模板名称重名策略。 终止：如果对账作业名称有重复，则全部导入失败。 跳过：如果对账作业名称有重复，会忽略后继续导入。 覆盖：如果对账作业名称有重复，会覆盖现有同名作业。 3.单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好，再导入至系统中。 4.分别配置数据连接、集群、目录、主题、的映射资源信息。单击“导入”，将填好的Excel表格模板导入到系统。 数据连接：选择导入后的数据连接类型。 集群：如果数据连接类型是DLI，需要选择对应的队列。 目录：选择导入后的对账作业存储目录。 主题：如果配置了消息通知，需要选择主题。 5.单击“导入记录页签”，可查看对应的导入记录。

参数 说明 管道名称 自定义管道名称，实例内不可重复 管道描述 作业管道的描述信息，非必填 管道工作线程数 并行执行管道的Filters和Outputs阶段的工作线程数。 管道批处理大小 每个批次处理的最大事件数量 管道批处理延迟 当管道批处理大小不满足时，每个批次最大的等待时间，单位为毫秒 队列类型 用于事件缓冲的排队模型，可选值为： memory：基于内存的队列 persisted：基于磁盘的持久化队列 队列最大字节数 当选择 persisted 队列类型时，队列中可存放的最大字节数量，需确保该值小于实例单节点的磁盘容量 队列检查点写入数 当选择 persisted 队列类型时，在强制执行检查点时已写入的最大的事件数量，若设置为0，则表示无限制

本章节主要介绍弹性资源池使用场景。 本章节主要介绍从创建弹性资源池、创建增强型跨源、添加队列到弹性资源池并运行作业的一个完整流程，帮助您更好、更方便的使用弹性资源池。 创建弹性资源池运行作业流程图 阶段 说明 参考文档 步骤一：创建弹性资源池 创建弹性资源池，配置弹性资源池的基本信息，如：计费模式、CU范围、网段等配置。 创建弹性资源池 步骤二：添加队列到弹性资源池 添加作业运行的队列到弹性资源池。具体内容包括： 1. 设置弹性资源池队列的名称、队列类型等基本信息。 2. 配置当前队列的扩缩容策略，包括队列策略的优先级、时间段、最大最小CU范围等配置。 弹性资源池添加队列 ， 弹性资源池队列管理 （可选）步骤三：创建增强型跨源连接 如果运行的作业需要跨源访问其他外部数据源数据，如作业需要访问DWS、RDS等数据时，需要创建跨源连接。 创建的跨源连接需要和弹性资源池进行绑定。 创建增强型跨源连接 步骤四：运行作业 根据业务需求创建和提交作业。 SQL作业管理，Flink作业管理概述，创建Spark作业

本文为您介绍如何在科研助手中删除队列。 删除步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【资源配额】中的【队列管理】。 3. 选择一个队列，在右边单击【删除】。 4. 在二次确认的弹框输入框中输入“确认删除“，并且点击【确认 】完成删除。队列下没有作业任务和开发机任务时才可删除成功。

参数 说明 取值样例 Topics 支持单个或多个topic。 est1,est2 偏移量参数 从Kafka拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 最早：最小偏移量，即拉取最早的数据。 已提交：拉取已提交的数据。 时间范围：拉取时间范围内的数据。 最新 是否持久运行 用户自定义是否永久运行。 是 消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据，专享版请任意输入，标准版请输入有效的消费组ID。 sumergroup 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。 CSV格式：以CSV格式解析源数据。 l JSON：以JSON格式解析源数据。 CDC（DRSJSON）：以DRSJSON格式解析源数据。 二进制格式 字段分隔符 默认为空格，使用Tab键作为分隔符请输入“t”。 , 最大消息数/poll 可选参数，每次向Kafka请求数据限制最大请求记录数。 100 最大时间间隔/poll 可选参数，向Kafka请求数据的最大时间间隔。 100

本章节主要介绍测试地址连通性。 可用于测试普通场景中DLI队列与用户指定对端地址之间的连同性，或者跨源连接场景中DLI队列与跨源连接绑定的对端地址之间连通性。具体操作如下： 1. 在“队列管理”页面，选择需要测试地址连通性的队列，单击“操作”列“更多”中的“测试地址连通性”。 2. 在“测试地址连通性”页面填写需要测试的地址。支持域名和ip，可指定端口。 3. 单击“测试”。 如果测试地址可连通，页面上将提示地址可达。 如果测试地址不可连通，页面上将提示地址不可达，请检查网络配置后重试。检查网络配置即检查所测试的VPC对等连接或跨源连接是否处于已激活状态。

本节介绍如何查看当前购买的产品规格。 购买、续订、升级扩容后可以通过产品信息页面查看所购买产品的规格，同时个人消息中心以及用户绑定的手机也能够收到相关的购买成功提示短信。 查看购买后的WAF规格方式如下： 查看云SaaS型产品信息 1. 登录天翼云控制中心。 2. 单击页面顶部的区域选择框，选择区域。 3. 在产品服务列表页，选择“安全 > Web应用防火墙（原生版）”。 4. 在左侧导航栏，选择“系统管理 > 查看产品信息”，选择“云SAAS型”页签。 5. 在产品信息页面，可以查看实例版本、到期时间、实例规格等信息，并支持对实例进行管理。 说明 购买成功后需要等待一段时间相关规格才能刷新，预计等待1~2分钟左右。 查看独享型产品信息 1. 登录天翼云控制中心。 2. 单击页面顶部的区域选择框，选择区域。 3. 在产品服务列表页，选择“安全 > Web应用防火墙（原生版）”。 4. 在左侧导航栏，选择“系统管理 > 查看产品信息”，选择“独享型”页签。 5. 单击目标实例操作列的“查看产品详情”。 6. 在产品信息页面，可以查看实例版本、实例名称、实例ID、到期时间、实例规格等信息，并支持对实例进行管理。 说明 购买成功后需要等待一段时间相关规格才能刷新，预计等待1~2分钟左右。

接口功能介绍 查询队列v3 接口约束 无 URI GET /v3/queue/query 路径参数 无 Query参数 参数 是否必填 参数类型 说明 示例 下级对象 prodInstId 是 String 实例ID 6b10c8b962244f1f921d1a48d0f15cca vhost 否 String vhost名称 vhost1 name 否 String 队列名称 pageNum 否 Integer 分页的页序号 1 pageSize 否 Integer 分页的大小 100 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池id 6b10c8b962244f1f921d1a48d0f15cca 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 returnObj Object 返回对象 returnObj message String 描述状态 success statusCode String 接口系统层面状态码。成功：800，失败：900 800 error String 错误码，描述错误信息，只有失败才显示 AMQPAMQP 表 returnObj 参数 参数类型 说明 示例 下级对象 data Object 返回数据 data 表 data 参数 参数类型 说明 示例 下级对象 filteredcount Integer 按name过滤后的总队列数 2 itemcount Integer 当前页面上的队列数量 2 items Array of Objects 队列详细信息 items page Integer 当前页数 1 pagecount Integer 总页数 1 pagesize Integer 分页设置的每个页面的最多队列数 100 totalcount Integer 总队列数 2 表 items 参数 参数类型 说明 示例 下级对象 vhost String 虚拟机名称 / durable Boolean 是否持久化，默认持久化 true name String 队列名称 qu1 autodelete Boolean 是否自动删除 false consumers Integer 消费者数量 0

用户 数据工程师A （游戏数据分析） 数据工程师B （音乐数据分析） 队列 队列A（队列使用权限） 队列B（队列使用权限） 数据（表） gameTable（表管理和使用权限） musicTable（表管理和使用权限） 数据（表） userTable（表管理和使用权限） userTable（表查询权限）

参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。

本文介绍如何使用云搜索Elasticsearch、Kibana、Logstash实例搭建日志分析平台。 使用ELK Stack（Elasticsearch、Logstash、Kibana、Beats）进行日志管理是一种流行的开源解决方案，用于集中式日志收集、存储、分析和可视化。ELK Stack可以从分布式系统中采集和聚合日志，帮助运维和开发人员更好地理解系统的运行状态、排查问题并监控关键业务指标。 本文将使用Filebeat、Logstash、Elasticsearch、Kibana搭建一个简单的日志分析平台，其中需要自行部署Filebeat并且打通和天翼云云搜索Elasticsearch、Kibana以及Logstash实例之间的网络。 ELK Stack组件 Elasticsearch 是一个分布式搜索引擎，作为ELK堆栈的核心，它负责存储和索引日志数据。Elasticsearch提供强大的全文搜索、过滤和分析功能，可以快速处理大规模数据并允许实时查询。 Logstash 是一个数据处理管道工具，负责从各种输入源收集数据，进行过滤、处理并将其输出到 Elasticsearch。Logstash 支持多种数据源（如文件、数据库、消息队列），并且能够通过过滤器对数据进行处理，比如解析、格式转换等。 Kibana 是一个数据可视化和分析工具，允许用户在浏览器中直观地查询和展示Elasticsearch 中存储的日志数据。Kibana提供多种图表、仪表盘和地图，可以帮助用户监控系统、分析日志、生成报表等。 Beats是一组轻量级数据收集器，用于将各种类型的数据发送到Elasticsearch或Logstash进行索引和分析。其中Filebeat是 ELK Stack 中的一个轻量级日志数据收集器，用于收集日志文件数据。它监视指定的日志文件或位置，并将其发送到Elasticsearch或Logstash以进行存储和分析。

参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 cardetail 分区 导入前清空数据，如果设置为true时，呈现此参数。 表示分区信息。 year2020,locationsun

纳管资源 环境创建成功后，需要把相同VPC下的计算资源类型（如云容器引擎CCE）、网络资源类型（如弹性负载均衡ELB、弹性公网EIP等）和中间件资源类型（如分布式缓存DCS、微服务引擎CSE等）纳管到环境下，组合为一个环境。 操作步骤 1、登录ServcieStage控制台，进入“环境管理”，单击待操作环境名称。 2、在“资源配置”下左侧列表，选择“计算”、“网络”或“中间件”资源类型下的资源名称，单击“纳管资源”。 3、在弹出的对话框中，勾选需要纳管的资源，单击“确定”。 说明 “Kubernetes”类型的环境，如果选择的VPC开启了IPv6且纳管了CCE集群资源时，需选择开启了IPv6开关的CCE集群资源。 否则，会导致在该VPC下的开启了安全认证的微服务引擎专享版上注册的Java Chassis微服务在使用IPv6服务注册发现地址时，注册失败。 处理方法，请参考如何处理开启了安全认证的微服务引擎专享版开启IPv6后服务注册失败？。 移除已纳管资源 已纳管到环境下的资源，如果不再使用，可以将其移除。 操作步骤 1、登录ServcieStage控制台，进入“环境管理”，单击待操作环境名称。 2、在“资源配置”下左侧列表，选择“计算”、“网络”或“中间件”资源类型下的资源名称。 3、在右侧已纳管的资源列表中： 批量移除资源：勾选待移除的资源，单击“移除资源”。 移除单个资源：选择待移除的资源，在“操作”列单击“移除”。

参数 说明 pipeline.workers 并行执行管道的Filters+Outputs阶段的工作线程数，默认值为CPU核数，建议取值为120之间。 pipeline.batch.size 单个工作线程在尝试执行其Filters和Outputs之前将从inputs收集的最大事件数，该值较大通常更有效，但会增加内存开销，默认为125。 pipeline.batch.delay 创建管道事件批时，在将过小的批调度到管道工作线程之前，等待每个事件的时间（以毫秒为单位），默认值为50。 queue.type 用于事件缓冲的内部队列模型。memory为基于内存的传统队列，persisted为基于磁盘的ACKed持久化队列，默认值为memory。 queue.checkpoint.writes 如果使用持久化队列，则表示强制执行检查点之前写入的最大事件数，默认值为1024。 queue.maxbytes 如果使用持久化队列，则表示持久化队列的总容量，确保磁盘的容量大于该值，默认值为1024。 单位：MB。

云产品 日志类型 备注 文本日志 文本日志 容器标准输出 容器文件日志 容器标准输出 容器文件日志 容器实例日志 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 数据库慢日志、错误日志 当前白名单试用中，如有需求请提交工单反馈。 访问日志 命令审计日志 <分布式消息服务Kafka> 重平衡日志 控制面（control plane）、数据面（sidecar）日志以及应用服务网格网关日志 函数调用日志 云服务操作日志 访问日志 会话日志 Elasticsearch、OpenSearch、Logstash实例日志，包括运行日志（含错误日志）、GC日志、慢索引日志、慢查询日志、Logstash运行日志 集群组件日志 微服务引擎云原生网关 网关访问日志 虚拟私有云VPC 流日志 当前白名单试用中，如有需求请提交工单反馈。 内网DNS DNS解析日志 SDWAN 流日志 当前白名单试用中，如有需求请提交工单反馈。 云安全中心 云堡垒机操作日志； 云防火墙威胁日志； 服务器安全卫士漏洞信息、弱口令、告警日志； 数据库审计日志； Web应用防火墙告警日志； 云等保专区V1.0日志 服务器安全卫士 告警日志 网页防篡改 告警日志

本节主要介绍支持编排的云服务 应用编排服务目前支持对容器类服务及容器应用进行编排操作，具体支持的云服务为：云容器引擎、容器镜像服务、微服务云应用平台。

本章节主要介绍翼MR Manager的租户与资源特性。 翼MR Manager提供的租户与资源主要包含：LDAP租户管理、Kerberos安全凭证、YARN队列管理、HBase数据库管理。 前置操作 使用租户与管理功能，需要进入Manager页面，操作步骤如下： 1. 登录翼MR管理控制台。 2. 单击“我的集群”，单击指定的集群名称，进入集群信息页面。 3. 单击“翼MR Manager”tab，单击“前往翼MR Manager”。 租户与资源功能介绍 LDAP租户管理 进入到翼MR Manager以后，点击菜单“租户与资源 > LDAP租户管理”，进入LDAP租户管理页面。如图所示： 支持查看LDAP中的租户和租户组。 支持新增租户、租户组。 支持为租户关联租户组、租户组关联租户以及取消关联关系。 支持以租户为维度的Principal管理以及Keytab的分发。 Kerberos安全凭证 进入到翼MR Manager以后，点击菜单“租户与资源 > Kerberos安全凭证”，进入Kerberos安全凭证页面。如图所示： 支持新建Principal、删除Principal。 支持Keytab分发与下载，并支持查看Keytab的分发记录。 YARN队列管理 进入到翼MR Manager以后，点击菜单“租户与资源 > YARN队列管理”，进入YARN队列管理页面。如图所示: 支持YARN队列新建、编辑与删除。 支持YARN队列启动与停止。 支持YARN队列容量设置和YARN队列授权。 支持YARN队列capacityscheduler.xml的全局属性配置。 支持YARN队列的同步生效并支持查看同步生效记录。

资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant Administrator DLI Service Admin 队列 DROPQUEUE 删除队列 √ × √ √ 队列 SUBMITJOB 提交作业 √ × √ √ 队列 CANCELJOB 终止作业 √ × √ √ 队列 RESTART 重启队列 √ × √ √ 队列 GRANTPRIVILEGE 队列的赋权 √ × √ √ 队列 REVOKEPRIVILEGE 队列权限的回收 √ × √ √ 队列 SHOWPRIVILEGES 查看其他用户具备的队列权限 √ × √ √ 数据库 DROPDATABASE 删除数据库 √ × √ √ 数据库 CREATETABLE 创建表 √ × √ √ 数据库 CREATEVIEW 创建视图 √ × √ √ 数据库 EXPLAIN 将SQL语句解释为执行计划 √ × √ √ 数据库 CREATEROLE 创建角色 √ × √ √ 数据库 DROPROLE 删除角色 √ × √ √ 数据库 SHOWROLES 显示角色 √ × √ √ 数据库 GRANTROLE 绑定角色 √ × √ √ 数据库 REVOKEROLE 解除角色绑定 √ × √ √ 数据库 SHOWUSERS 显示所有角色和用户的绑定关系 √ × √ √ 数据库 GRANTPRIVILEGE 数据库的赋权 √ × √ √ 数据库 REVOKEPRIVILEGE 数据库权限的回收 √ × √ √ 数据库 SHOWPRIVILEGES 查看其他用户具备的数据库权限 √ × √ √ 数据库 DISPLAYALLTABLES 显示数据库中的表信息 √ × √ √ 数据库 DISPLAYDATABASE 显示数据库信息 √ × √ √ 数据库 CREATEFUNCTION 创建函数 √ × √ √ 数据库 DROPFUNCTION 删除函数 √ × √ √ 数据库 SHOWFUNCTIONS 显示所有函数 √ × √ √ 数据库 DESCRIBEFUNCTION 显示函数详情 √ × √ √ 表 DROPTABLE 删除表 √ × √ √ 表 SELECT 查询表 √ × √ √ 表 INSERTINTOTABLE 插入 √ × √ √ 表 ALTERTABLEADDCOLUMNS 添加列 √ × √ √ 表 INSERTOVERWRITETABLE 重写 √ × √ √ 表 ALTERTABLERENAME 重命名表 √ × √ √ 表 ALTERTABLEADDPARTITION 在分区表中添加分区 √ × √ √ 表 ALTERTABLERENAMEPARTITION 重命名表分区 √ × √ √ 表 ALTERTABLEDROPPARTITION 删除分区表的分区 √ × √ √ 表 SHOWPARTITIONS 显示所有分区 √ × √ √ 表 ALTERTABLERECOVERPARTITION 恢复表分区 √ × √ √ 表 ALTERTABLESETLOCATION 设置分区路径 √ × √ √ 表 GRANTPRIVILEGE 表的赋权 √ × √ √ 表 REVOKEPRIVILEGE 表权限的回收 √ × √ √ 表 SHOWPRIVILEGES 查看其他用户具备的表权限 √ × √ √ 表 DISPLAYTABLE 显示表 √ √ √ √ 表 DESCRIBETABLE 显示表信息 √ × √ √

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 Iceberg Iceberg 是一个用户分析的高性能表格式， Iceberg 表格的数据可以存储在 HDFS/S3 等不同存储上，Iceberg 使得能够在大数据系统中更好的使用 SQL 做数据分析，同时可以让多引擎查询同时支持 Iceberg 表格，Iceberg 支持引擎批量/增量的消费，能够降低端到端的耗时。 Knox Apache Knox Gateway 是一个应用程序网关，用于与Apache Hadoop 部署的 REST API 和 UI 进行交互。Knox 网关为与 Apache Hadoop集群的所有 REST 和 HTTP 交互提供了一个单一的访问点。 Logstash（仅存量支持） Logstash 是一款数据收集引擎，用于从各种来源收集、处理和转发数据。它可以从多种来源（如业务日志文件、消息队列、数据库等）收集数据，对数据进行解析、过滤和转换，最终将处理后的数据输出到目标位置（Opensearch、Elasticsearch、Hadoop、S3 等）。 JeekeFS（仅存量支持） JeekeFS 是一个高性能分布式文件系统，用于存储和管理文件与数据。它采用数据与元数据分离的存储架构，数据本身被持久化在对象存储中，元数据则可以按需存储在多种数据库中。 Tez Tez组件是Apache Hadoop生态系统中的一个计算框架，它利用DAG（有向无环图）来优化作业执行。通过提供可编程的输入、输出、处理器、任务等组件，Tez能够高效地执行复杂的数据处理任务，提升Hadoop作业的性能和灵活性。

导出质量作业 系统支持批量导出质量作业，一次最多可导出200个质量作业。 1. 选择“数据质量监控 > 质量作业”，选择要导出的质量作业。 2. 单击“导出”，弹出“导出质量作业”对话框。 3. 单击“导出”，切换到“导出记录”页签。 4. 在导出文件列表中，单击最新导出文件对应的“下载”，可将质量作业的Excel表格下载到本地。 导入质量作业 系统支持批量导入质量作业，一次最大可导入1M数据的文件，并且最多200个质量作业。 1. 选择“数据质量监控 > 质量作业”，单击“导入”，弹出“导入质量作业”对话框。 2. 在“导入配置”页签，选择模板名称重名策略。 终止：如果质量作业名称有重复，则全部导入失败。 跳过：如果质量作业名称有重复，会忽略后继续导入。 覆盖：如果质量作业名称有重复，会覆盖现有同名作业。 3. 单击“上传文件”，选择准备好的数据文件。 说明 可通过如下两种方式填写数据文件： (推荐使用)通过“导出”功能，可将数据直接/或修改后批量导入系统。 通过“下载Excel模板”，将数据填写好，再导入至系统中。 4. 分别配置数据连接、集群、目录、主题的映射资源信息。 数据连接：选择导入后的数据连接类型。 集群：如果数据连接类型是DLI，需要选择对应的队列。 目录：选择导入后的质量作业存储目录。 主题：如果配置了消息通知，需要选择主题。 5. 单击“导入”，将填好的Excel表格模板导入到系统。 6. 单击“导入记录”页签，可查看对应的导入记录。

参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“”、“”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 DLI队列 是 下拉选择需要使用的队列。 作业特性 否 选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时，出现本参数。自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中，从而增强作业的功能、性能。。 作业名称 是 填写DLI Spark作业的名称，只能包含英文字母、数字、“”，且长度为1~64个字符。默认与节点的名称一致。 作业运行资源 否 选择作业运行的资源规格： 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“.jar”时，主类名称不能为空。 Spark程序资源包 是 运行spark作业依赖的jars。可以输入jar包名称，也可以输入对应jar包文件的的OBS路径，格式为：obs://桶名/文件夹路径名/包名。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考 资源类型 是 支持OBS路径和DLI程序包两种类型的资源。 OBS路径：作业执行时，不会上传资源包文件到DLI资源管理，文件的OBS路径会作为启动作业消息体的一部分，推荐使用该方式。 DLI程序包：作业执行前，会将资源包文件上传到 DLI资源管理。 分组设置 否 当“资源类型”选择了“DLI程序包”时，需要设置。可选择“已有分组”，“创建新分组”或“不分组”。 分组名称 否 当“资源类型”选择了“DLI程序包”时，需要设置。 选择“已有分组”：可选择已有的分组。 选择“创建新分组”：可输入自定义的组名称。 选择“不分组”：不需要选择或输入组名称。 主类入口参数 否 用户自定义参数，多个参数请以Enter键分隔。应用程序参数支持全局变量替换。例如，在“全局配置”>“全局变量”中新增全局变量key为batchnum，可以使用{{batchnum}}，在提交作业之后进行变量替换。 Spark作业运行参数 否 以“key/value”的形式设置提交Spark作业的属性，多个参数以Enter键分隔。具体参数请参见Spark Configuration。 Spark参数value支持全局变量替换。 例如，在“全局配置”>“全局变量”中新增全局变量key为customclass，可以使用"spark.sql.catalog"{{customclass}}，在提交作业之后进行变量替换。 说明 Spark作业不支持自定义设置jvm垃圾回收算法。 Module名称 否 DLI系统提供的用于执行跨源作业的依赖模块，访问各个不同的服务，选择不同的模块： CloudTable/MRS HBase: sys.datasource.hbase DDS：sys.datasource.mongo CloudTable/MRS OpenTSDB: sys.datasource.opentsdb DWS: sys.datasource.dws RDS MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DCS: sys.datasource.redis CSS: sys.datasource.css DLI内部相关模块： sys.res.dliv2 sys.res.dli sys.datasource.dliinnertable 访问元数据 是 是否通过Spark作业访问元数据。

数据源所在安全组放通弹性资源池的网段 1. 在DLI管理控制台，获取弹性资源池/队列的网段。 单击“资源管理 > 队列管理”，选择运行作业的队列，单击队列名称旁的按钮，获取队列的网段信息。 2. 登录VPC控制台。找到数据源所在的VPC。 3. 查找安全组名称，在“弹性网卡 > 更多 > 更改安全组”中可以查到所属安全组。 4. 在左侧导航树选择“访问控制 > 安全组”。 5. 单击外部数据源所属的安全组名称，进入安全组详情界面。 6. 在“入方向规则”页签中添加放通队列网段的规则。 详细的入方向规则参数说明请参考下表。 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1100，默认值为1，即最高优先级。 优先级数字越小，规则优先级级别越高。 1 策略 安全组规则策略。 允许 协议端口 网络协议。目前支持“All”、“TCP”、“UDP”、“ICMP”和“GRE”等协议。 端口：允许远端地址访问指定端口，取值范围为：1～65535。 本例中选择TCP协议，端口值不填或者填写为数据源的端口。 类型 IP地址类型。 IPV4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写获取的队列网段。 描述 安全组规则的描述信息，非必填项。

创建队列 队列是使用DLI服务的基础，执行SQL作业前需要先创建队列。 DLI有预置的可用队列“default”。 用户也可根据需要自己创建队列。 a. 登录DLI管理控制台 b. 在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“数据库”页面。 c. 在左侧导航栏，选择队列页签，单击右侧的创建队列。 创建队列详细介绍请参考《数据湖探索用户指南》>《创建队列》。 创建数据库 在进行数据查询之前还需要创建一个数据库，例如db1。 说明 “default”为内置数据库，不能创建名为“default”的数据库。 1.在DLI管理控制台，单击左侧导航栏中的“SQL编辑器”，可进入SQL作业“数据库”页面。 2.在“SQL编辑器”页面右侧的编辑窗口中，输入如下SQL语句，单击“执行”。阅读并同意隐私协议，单击“确定”。 create database db1 数据库创建成功后，左侧单击“”刷新数据库页面，新建建的数据库db1会在“数据库”列表中出现。 说明 在DLI管理控制台第一次单击“执行”操作时，需要阅读隐私协议，确认同意后才能执行作业，且后续“执行”操作将不会再提示阅读隐私协议。

云应用引擎深度集成了 MSE 服务的微服务治理功能，通过此功能，可以更高效的管理您的应用。 功能介绍 微服务治理功能介绍 CAE 通过无缝集成微服务引擎 MSE（Microservices Engine），提供了强大的微服务治理能力。它不仅支持服务发现和配置管理，还实现了无损上下线、流量治理、系统防护消息灰度、全链路追踪、智能熔断、降级策略、同可用区优先等功能，从而显著提升服务响应速度与稳定性，同时简化架构运维。基于这些能力，MSE能够确保您的微服务应用高效、稳定地运行。 无损上下线功能介绍 无损上线 对于任何一个线上应用来说，发布、扩容、缩容、重启等操作不可避免。在应用启动各阶段，无损上线能够提供相应的保护能力。微服务的 Provider 服务只要注册到注册中心即可被 Consumer 调用，但此时，Provider 可能还需要进一步的初始化，例如数据库连接池的初始化等。因此，对于流量比较大的微服务应用，推荐开启无损上线功能。 无损下线 线上应用在服务更新部署过程中，需要尽量保证客户端无感知，即从应用停止到重启恢复服务的阶段不能影响正常的业务请求。由于微服务应用自身调用特点，在高并发下，服务提供端应用实例的直接下线，会导致服务消费端应用实例无法实时感知下游实例的状态，因而出现继续将请求转发到已下线的实例，导致请求报错，进而造成流量损失。因此，在应用执行部署、停止、回滚、缩容和重置时，需要通过无损下线配置来保证应用正常关闭。