本章节介绍Redis的Proxy节点故障演练。 背景介绍 在分布式缓存 Redis Proxy 集群中，Proxy 负责路由转发和故障转移，保障高可用并简化客户端逻辑。本演练通过模拟 Proxy 节点故障，验证客户端的重连与多 Proxy 负载均衡机制，帮助您评估单点故障对业务的影响。 基本原理 通过调用Redis停止Proxy服务OpenAPI，模拟Proxy节点不可用。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式缓存服务Redis版 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标Redis 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式缓存服务Redis版。 添加实例 ：单击添加实例 ，勾选上一步中添加的Redis实例。 添加故障动作 ：单击立即添加 ，在列表中选择Proxy节点故障动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：注入故障的目标节点。

本章节介绍Redis主从切换故障演练。 背景介绍 Redis 高可用性依赖自动主备切换机制。当主节点故障时，备节点会被提升为新主节点，以保障服务连续性，但切换期间可能出现短暂中断或只读窗口。本演练通过主动触发可控主备切换，帮助您验证客户端故障转移与自动重连能力以及评估切换对业务的瞬时影响。 基本原理 通过调用Redis主从切换OpenAPI，触发Redis集群实例进行主从切换。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式缓存服务Redis版 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标Redis 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式缓存服务Redis版。 添加实例 ：单击添加实例 ，勾选上一步中添加的Redis实例。 添加故障动作 ：单击立即添加 ，在列表中选择主从切换动作。 4. 单击确定完成动作添加，此故障动作无需配置额外参数。

本章节介绍应用容灾多活的基线推送。 概述 应用容灾多活采用控制面和数据面分离的架构，当控制面上的资源管理数据发生变化时，需要通过基线推送将更新的数据同步至数据面。 如果变更涉及数据层和接入层配置调整，多活系统将自动编排数据检查和数据禁写等步骤，以确保数据一致性。 图 基线推送 前提条件 已创建应用系统。 已完成系统架构配置以及路由规则配置。 已完成接入层配置。 已完成数据层配置。 已完成服务层配置。 创建推送任务 1. 登录应用高可用服务控制台。 2. 单击左侧菜单栏应用容灾多活 ，在应用容灾多活菜单下单击数据双活/应用双活 ，进入数据双活/应用双活管理页面。 3. 在应用系统列表中找到需要配置的应用系统，单击应用系统名称 ，进入应用系统概览页面。 4. 在左侧导航栏选择容灾配置 ，在容灾配置菜单下单击总览 ，在总览 页面单击基础配置推送按钮进入基础配置推送列表页面。 5. 在基础配置推送列表 页面，点击左侧推送配置按钮，查看下方各个单元组配置变更。 6. 输入任务名称 ，单击确定按钮，自动跳转到基础配置推送任务列表页面。 7. 选择刚刚创建的任务，点击状态列，可以查看任务的各个步骤详情以及任务进度。 8. 在任务处理结果列，点击任务结果，可以查看任务详情信息。

演练准备 1. 开通应用高可用故障演练服务产品 2. 开通分布式消息服务Kafka产品 3. 搭建一套独立的演练环境，包含： 开通与生产配置（版本、节点数、Topic划分、副本数等）一致的Kafka实例。 部署订单服务、库存服务、支付服务、物流服务等应用模块，连接开通的Kafka实例。 准备模拟用户行为的压测工具和脚本，配置业务监控和日志采集，便于观察系统运行表现。 演练实施 创建环境 在左侧菜单栏点击故障演练 >环境概览 ，进入环境列表界面。 点击创建环境 ，填写环境基本信息后点击确定完成环境创建。 创建应用 在环境列表界面找到刚才创建的环境，进入应用列表 界面点击创建应用，填写应用的基本信息。 在资源配置 栏目点击分布式消息服务Kafka >添加资源 ，根据资源池与实例信息筛选Kafka实例，点击确定完成应用创建。 演练编排 在应用列表 界面，找到已创建的应用，点击右侧的演练任务 >新建演练 ，根据界面指引填写演练的基本信息，点击下一步 进入演练对象配置界面。 在演练对象配置 界面填写动作组名称、动作组描述，资源类型选择分布式消息服务Kafka ，点击添加实例 ，选择待演练的实例后点击确定。 在动作列表 栏目点击立即添加 ，选择演练动作Broker节点CPU高负载 ，点击下一步 进行动作参数设定，点击确定完成动作添加。 演练参数名称 配置值 持续时间（秒） 240 CPU占用率 99 故障注入模式 全部注入 在全局配置 界面，点击监控指标 栏目下的添加云产品监控，在弹出的配置界面中添加以下监控项目： 云产品监控>分布式消息服务Kafka>CPU使用率、磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时、存活节点数、节点存活状态。 确认指标已经添加后，设置演练超时时间 为120分钟，点击完成。

本章节介绍注册配置中心节点不可用故障演练。 背景介绍 注册配置中心（RCC）多采用集群部署，单个节点承担部分服务注册、配置分发及服务发现任务，其可用性直接关联集群服务能力。节点宕机、网络中断等因素易导致RCC节点不可用，核心节点故障可能引发服务请求失败、配置推送延迟等问题，影响分布式应用运行。本演练可验证RCC集群节点故障容错与自动切换能力，以及业务适配恢复能力，优化应急流程，提升分布式系统稳定性。 基本原理 通过调用RCC停止节点OpenAPI，模拟RCC节点故障。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择注册配置中心，然后单击添加资源。 3. 在弹出的对话框中，勾选目标注册配置中心实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择注册配置中心。 添加实例 ：单击添加实例 ，勾选上一步中添加的注册配置中心实例。 添加故障动作 ：单击立即添加 ，在列表中选择停止节点动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 节点：选择目标故障节点

本章节介绍注册配置中心节点不可用故障演练。 背景介绍 注册配置中心（RCC）多采用集群部署，单个节点承担部分服务注册、配置分发及服务发现任务，其可用性直接关联集群服务能力。节点宕机、网络中断等因素易导致RCC节点不可用，核心节点故障可能引发服务请求失败、配置推送延迟等问题，影响分布式应用运行。本演练可验证RCC集群节点故障容错与自动切换能力，以及业务适配恢复能力，优化应急流程，提升分布式系统稳定性。 基本原理 通通过调用RCC停止节点OpenAPI，模拟RCC节点故障。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择注册配置中心，然后单击添加资源。 3. 在弹出的对话框中，勾选目标注册配置中心实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择注册配置中心。 添加实例 ：单击添加实例 ，勾选上一步中添加的注册配置中心实例。 添加故障动作 ：单击立即添加 ，在列表中选择停止节点动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 节点：选择目标故障节点

2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎节点。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎节点实例。 添加故障动作 ：单击立即添加 ，在列表中选择进程终止动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 进程名称：例如nginx。 停止进程的方式：强制结束表示使用 SIGKILL (信号9)，优雅结束表示使用 SIGTERM (信号15) 3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到终止进程动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务请求量、应用提供服务平均响应时间指标。 2、业务应用验证： 如果被终止的是一个由 systemd 管理的服务，执行 systemctl status [服务名]。服务的状态会显示为 inactive (dead) 或 failed，并可能看到其自动重启的记录。

2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎节点。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎节点实例。 添加故障动作 ：单击立即添加 ，在列表中选择进程终止动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 进程名称：例如nginx。 停止进程的方式：强制结束表示使用 SIGKILL (信号9)，优雅结束表示使用 SIGTERM (信号15) 3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到终止进程动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务请求量、应用提供服务平均响应时间指标。 2、业务应用验证： 如果被终止的是一个由 systemd 管理的服务，执行 systemctl status [服务名]。服务的状态会显示为 inactive (dead) 或 failed，并可能看到其自动重启的记录。

本章节介绍故障演练服务中应用配置管理功能。 概述 应用 是故障演练服务 中一组资源的逻辑聚合，是进行演练管理的核心对象。 创建应用 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，选择 故障演练 > 应用列表 ，进入应用列表页面。 3. 单击页面中的创建应用按钮。 4. 根据页面提示，填写应用名称 和描述 ，并选择其所属的环境。 5. 填写完毕后，单击确定按钮完成创建。 6. 返回应用列表，可以看到新创建的应用对象。 修改应用 1. 进入应用列表页面。 2. 在应用列表 中找到需要修改的应用对象，单击其操作列的 更多 > 编辑。 3. 在弹出的对话框中，根据需要修改应用名称 或描述 ，然后单击确定按钮完成修改。 4. 返回应用列表，可以看到应用信息已更新。 删除应用 1. 进入应用列表页面。 2. 在应用列表 中找到需要删除的应用对象，单击其操作列的 更多 > 删除。 3. 在弹出的确认对话框中，按提示完成删除操作。 4. 返回应用列表，确认该应用对象已被成功移除。 注意 若该应用下有正在执行的演练任务，则无法直接删除，必须先结束所有相关演练，才能执行删除操作。 若该应用被其他应用的演练任务关联，也无法直接删除，需要先解除关联演练任务对本应用的引用，然后再进行删除操作。

本文主要介绍云工作流的一些基本概念， 方便在在云工作流使用过程中能够理解对应的术语。 一、云工作流 二、标准工作流 三、快速工作流 四、工作流集成 五、流程定义语言 六、数据传递 七、输入输出 八、错误处理 一、云工作流 云工作流（CloudFlow）是一种用于协调、管理和执行多个分布式任务的服务。在使用时， 可以基于Workflow Studio进行可视化的方式设计、编排工作流程，将不同的服务、API调用或者数据处理步骤组织成有序的工作流程。 二、标准工作流 标准（Standard）工作流具备执行步骤状态的持久化存储，支持运行长时间的工作流执行状态流转，适用于传统意义上的离线业务流程编排执行场景。更多信息，请参见标准工作流和快速工作流。 三、快速工作流 快速（Express）工作流适用于流程结构简单、需要低延迟执行的工作流场景， 适用于常见的在线业务流程编排和准实时业务流程编排场景，例如微服务API编排、流式数据处理等低延迟和大负载业务场景。 更多信息，请参见标准工作流和快速工作流。

服务名称 详细描述 弹性云主机（ECS） 编译构建服务可以自定义ECS的Slave节点，用户可以自定义ECS的构建执行资源。 部署服务支持将用户的应用部署到用户购买的ECS资源上。 详细内容请参见 云容器引擎（CCE） 编译构建服务可以自定义CCE的Slave节点，用户可以自定义CCE的构建执行资源。 部署服务支持将用户的应用部署到用户购买的CCE资源上。 详细内容请参见 应用管理和运维平台（ServiceStage） 部署服务支持ServiceStage的部署，用户可以直接使用ServiceStage的应用托管功能。 详细内容请参见 容器镜像服务（SWR） 编译构建服务拉取和推送镜像。 部署服务获取镜像仓地址。 详细内容请参见

本文主要介绍产品功能 应用指标监控 APM应用指标监控可以度量应用的整体健康状况。APM Agent会采集Java应用的JVM，GC，服务调用，异常，外部调用，数据库访问以及其他中间件的指标数据，帮助用户全面掌握应用的运行情况。 调用链追踪 APM能够针对应用的调用情况，对调用进行全方面的监控，可视化地还原业务的执行路线和状态，协助性能及故障快速定位。 在查询后的调用链列表中，单击待查看的调用链的链接，查看该调用链基本信息。 调用链详情页面可以查看调用链的完整链路信息，包含本地方法堆栈和相关远程调用的调用关系。 应用拓扑 应用拓扑主要分两种： 单组件拓扑：是单个组件下的单个环境的拓扑，同时可以展开直接或间接上下游的组件的拓扑关系。 全局应用拓扑：可以查看这个应用下面全部或者部分组件的全局拓扑关系。 拓扑图展示服务之间一段时间的调用关系，可以是从调用方统计的，也可以是从被调用方统计的，并且可以查看这个调用关系的趋势图。通过拓扑图，一方面可以自动梳理服务之间的调用关系，同时也可以从全局视角查看服务之间调用是否正常，快速定位问题所在。可以清晰地展示应用间关系、调用数据（服务、实例指标）、健康状况等详细内容。

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本章节介绍Kafka Broker CPU高负载故障演练。 背景介绍 分布式系统中作为数据交换和异步解耦核心的 Kafka 集群，其 Broker 节点 CPU 易因高消息吞吐量、过多消费者组、数据复制同步及消息压缩解压缩等因素出现持续高负载，进而引发消息延迟、吞吐量下降等问题，本演练可有效测试系统的应对与恢复能力。 基本原理 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择Broker CPU高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 CPU占用率：指定 CPU 负载百分比，取值在0 100之间

本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

本章节介绍Kafka Broker分区Leader不可用故障演练。 背景介绍 分布式消息服务 Kafka 集群中，分区 Leader 节点宕机、网络分区或资源过载等因素均可能造成分区 Leader 不可用，进而引发对应分区服务中断、客户端请求失败、Leader 重选举导致延迟升高及副本同步紊乱等问题，本演练可帮助验证集群高可用选举机制的有效性、监控告警的及时性，以及业务系统应对此类故障的容错能力与恢复效率。 基本原理 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式消息服务Kafka，然后单击添加资源。 3. 在弹出的对话框中，勾选目标分布式消息服务Kafka实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式消息服务Kafka。 添加实例 ：单击添加实例 ，勾选上一步中添加的分布式消息服务Kafka实例。 添加故障动作 ：单击立即添加 ，在列表中选择分区Leader不可用动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 主题分区：指定需要模拟分区Leader不可用的目标对象。

本节介绍集群联邦概述。 集群联邦 集群联邦基于多云容器编排能力，旨在管理跨云、跨地域场景下的多集群应用，为您提供多集群统一管理、应用部署、服务发现、弹性伸缩、故障迁移等能力。 功能优势 完全兼容Kubernetes原生API，支持从单集群到多集群零改造升级，无缝集成现有Kubernetes工具链生态。 丰富的多集群调度策略：集群亲和性调度、多集群拆分/再平衡调度，多维度的高可用部署，包括多Region、多AZ、多集群、多云供应商 。提供自动化的多集群故障优雅迁移能力，对故障集群实例进行集中式或分散式的迁移，保证服务实例不跌零 多集群流量分发：多集群Service实现跨集群的服务发现和访问。多集群Ingress提供跨集群的负载均衡和流量路由机制，支持自动切流，可自动摘除故障集群上的流量，保障服务的可用性 。 多集群弹性伸缩：基于工作负载的系统指标变动、自定义指标变动或固定的时间周期，实行多集群统一的负载伸缩策略，提升工作负载的可用性和稳定性 。 全域容器智能分析：实时监控应用及资源，采集各项指标及事件等数据以分析应用健康状态，提供多集群统一的全栈监控视图，对业务提供端到端追踪和可视化，提供集群健康诊断能力，缩短问题分析定位时间 。

本章节介绍应用容灾多活的多活切流。 概述 面对各种故障场景时，您都可以通过发起一键切流任务来实现高效的故障逃逸和恢复，保障系统的稳定性和连续性。 在切流过程中，多活系统将自动编排数据检查和数据禁写等步骤，以确保数据一致性。 图 多活切流 流量切换 您可以根据业务需求调整各单元承担的流量比例。 前提条件 已创建应用系统。 已完成系统架构配置以及路由规则配置。 已完成接入层配置。 已完成数据层配置。 已完成消息层配置。 已完成服务层配置。 创建切流任务 1. 登录应用高可用服务控制台。 2. 单击左侧菜单栏应用容灾多活 ，在应用容灾多活菜单下单击数据双活/应用双活 ，进入数据双活/应用双活管理页面。 3. 在应用系统列表中找到需要配置的应用系统，单击应用系统名称 ，进入应用系统概览页面。 4. 在左侧导航栏选择多活切流 ，在多活切流菜单下单击流量切换 ，在流量切换页面单击发起切换。 5. 填写任务名称，选择单元组进行规则调整。 普通服务 ：调整流量比例。 中心服务 ：选择中心单元。 本地服务：选择兜底单元。 6. （可选）选中站点标记为故障 ，代表该站点已全面故障并脱离管控，禁用该站点，并将流量切至其他站点。 7. 单击确定按钮，自动进入流量切换任务列表页面。 8. 选择刚刚创建的任务名称，点击状态列，可以查看任务的各个步骤详情以及任务进度。 9. 在任务处理结果列，点击任务结果 ，可以查看任务详情信息。 注意 若选中站点标记为故障，则在切流过程中不会下发任何规则至该站点下的应用或组件。 故障恢复后，在系统架构配置里可以重新启用被禁用的站点。

本节主要介绍基本概念。 Kubernetes是业界主流的开源容器编排平台。为了让用户可以方便地在云上使用Kubernetes管理容器应用，推出了基于原生Kubernetes的云容器引擎服务。 云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级Kubernetes集群，支持运行Docker容器。借助云容器引擎，您可以在云上轻松部署、管理和扩展容器化应用程序。 云容器引擎整合了天翼云的计算、网络、存储等服务，支持多可用区（Available zone，简称AZ）容灾等技术构建高可用Kubernetes集群，并提供高性能可伸缩的容器应用管理能力，简化集群的搭建和扩容等工作，让您专注于容器化应用的开发与管理。 名词解释 使用云容器引擎服务，会涉及到以下基本概念： 集群：是指容器运行所需云资源的集合，包含了若干台云服务器、负载均衡器等云资源。 实例（Pod）：由相关的一个或多个容器构成一个实例，这些容器共享相同的存储和网络空间。 工作负载：Kubernetes资源对象，用于管理Pod副本的创建、调度以及整个生命周期的自动控制。 Service：由多个相同配置的实例（Pod）和访问这些实例（Pod）的规则组成的微服务。 Ingress：Ingress是用于将外部HTTP（S）流量路由到服务（Service）的规则集合。 Helm应用：Helm是管理Kubernetes应用程序的打包工具，提供了Helm Chart在指定集群内图形化的增删改查。 镜像仓库：用于存放Docker镜像，Docker镜像用于部署容器服务。 您在使用前可以了解更多Kubernetes相关知识，具体请参见

2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎节点。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎节点实例。 添加故障动作 ：单击立即添加 ，在列表中选择进程挂起动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 进程关键词：例如nginx。 3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到挂起进程动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务请求量、应用提供服务平均响应时间指标。 2、业务应用验证： 观察运行在目标节点上的业务 Pod，确认其提供的服务是否已无响应。 核心验证点：检查 Kubernetes 的事件（kubectl get events）或Pod详情（kubectl describe pod），确认 liveness probe 是否因超时而失败，并最终导致 Pod 被重启。

2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎节点。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎节点实例。 添加故障动作 ：单击立即添加 ，在列表中选择进程挂起动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 进程关键词：例如nginx。 3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到挂起进程动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务请求量、应用提供服务平均响应时间指标。 2、业务应用验证： 观察运行在目标节点上的业务 Pod，确认其提供的服务是否已无响应。 核心验证点：检查 Kubernetes 的事件（kubectl get events）或Pod详情（kubectl describe pod），确认 liveness probe 是否因超时而失败，并最终导致 Pod 被重启。

本文主要介绍云日志服务常用术语解释。 术语 说明 日志项目 日志项目是用于管理云日志服务的资源单元，通常可将某个独立项目/业务的日志对应至一个日志项目中。每个日志项目可包含多个日志单元。 日志单元 日志单元是进行日志数据的采集、存储、检索和分析的基本单元，日志数据以日志单元的方式进行管理，通常可将一个应用/服务下的日志采集至一个日志单元中。 日志 日志是应用系统运行过程中产生的记录数据，这些数据包括用户的操作、接口的访问、系统发生的错误等。通常以文本形式存储在应用系统所在的设备上。 采集器 云日志服务提供的日志采集工具。 主机组 主机组是一组需要采集日志的云主机列表，是一个虚拟分组，云日志服务通过主机组来管理所有需要通过采集器采集日志的云主机。 采集配置 采集配置是指采集器执行日志采集时的策略，包括文件采集路径、分词模式等。 查询 通过查询条件指定过滤规则，返回符合条件的日志。目前支持关键字模糊查询、全文查询、字段查询。 分析 在查询的基础上，通过构造各类分析场景，执行分析并返回分析结果。 数据加工 对日志数据进行加工，包括数据的规整、脱敏和过滤的过程，可理解为日志ETL。 加工规则 数据加工脚本，是一组编排好的数据加工逻辑代码的集合。

本章节介绍Redis节点网络丢包故障演练。 背景介绍 当 Redis 节点网络出现拥塞或抖动导致丢包时，数据同步效率下降，主备复制延迟增加，客户端请求可能超时。本演练模拟网络丢包场景，帮助您评估业务对网络抖动的容忍度，并检验应用超时重试逻辑。 基本原理 在节点通过增加TC和Netem规则模拟主机内网络丢包。 注意 只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式缓存服务Redis版 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标Redis 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式缓存服务Redis版。 添加实例 ：单击添加实例 ，勾选上一步中添加的Redis实例。 添加故障动作 ：单击立即添加 ，在列表中选择网络丢包动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点 ：注入故障的目标节点（主节点或备节点）。 丢包率: 网络丢包率（取值 0100）。

本章节介绍Redis节点网络丢包故障演练。 背景介绍 当 Redis 节点网络出现拥塞或抖动导致丢包时，数据同步效率下降，主备复制延迟增加，客户端请求可能超时。本演练模拟网络丢包场景，帮助您评估业务对网络抖动的容忍度，并检验应用超时重试逻辑。 基本原理 在节点通过增加TC和Netem规则模拟主机内网络丢包。 注意 只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式缓存服务Redis版 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标Redis 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式缓存服务Redis版。 添加实例 ：单击添加实例 ，勾选上一步中添加的Redis实例。 添加故障动作 ：单击立即添加 ，在列表中选择网络丢包动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点 ：注入故障的目标节点（主节点或备节点）。 丢包率: 网络丢包率（取值 0100）。

2.4 编排与并行设置 串行编排 ：在一个并行动作 块内，可以单击立即添加多次，以添加多个串行动作。 并行编排： 单击添加并行动作 ，可以在同一个动作组内创建多个并行执行的动作块。 可以创建多个动作组 ，不同的动作组之间同样并行执行。 2.5 配置高级设置 全部注入 ：向动作组内所有选定的实例注入故障。 按比例随机注入：根据设定的百分比，在选定的实例中随机选择目标注入故障。 按数量随机注入：根据设定的数量，在选定的实例中随机选择目标注入故障。 执行方式： 手动推进：手动控制整个演练流程的推进，执行故障注入或恢复节点的时机由您决定。 自动推进：依次执行动作组 内的故障注入节点，到达设定的持续时间后，自动执行故障恢复节点。 说明 自动推进模式下，演练出现异常会切换到手动推进模式，您仍然可以手动执行剩余节点。 3、进行全局配置 单击下一步 进入全局配置页面。 配置监控指标：为本次演练关联的应用添加监控指标，方便在演练时观测。 设置演练超时时间 ：设定一个总体超时时长，系统会自动为当前演练创建一个超时保护策略。 配置完成后，单击完成 按钮，完成演练任务创建。

本文主要介绍产品概述 应用运维遇到挑战 在云时代微服务架构下应用日益丰富，纷杂的应用异常问题接踵而来。应用运维面临巨大挑战： 分布式应用关系错综复杂，应用性能问题分析定位困难，应用运维面临如何保障应用正常、快速完成问题定位、迅速找到性能瓶颈的挑战。 应用体验差导致用户流失。运维人员如果无法实时感知并追踪体验差的业务，不能及时诊断应用异常，将严重影响用户体验。 业务系统的应用多、分布广，跨系统、跨区域、跨应用的调用频繁，如何降低应用的管理和运维成本，提升应用运维的效率是迫切需要解决的问题。 APM帮您解决 应用性能管理服务（Application Performance Management，简称APM）帮助运维人员快速发现应用的性能瓶颈，以及故障根源的快速定位，为用户体验保驾护航。 您无需修改代码，只需为应用安装一个APM Agent，就能够对该应用进行全方位监控，帮助您快速定位出错接口和慢接口、重现调用参数、发现系统瓶颈，从而大幅提升线上问题诊断的效率。目前支持JAVA应用，具体的应用监控能力概览如下表。 表 APM监控能力 场景能力 说明 非侵入的应用性能数据采集 用户无需更改应用代码，只需要部署APM Agent包，修改相应的应用启动参数，就可以实现应用监控。 应用指标监控 无须配置，自动监控应用相关大量监控指标，如JVM、JavaMethod、URL、Exception、Tomcat、httpClient、Mysql、Redis、kafka等。 应用拓扑 通过对RPC调用信息进行动态分析、智能计算，自动生成分布式应用间拓扑关系。 调用链追踪 多个应用接入APM后，自动针对某一些请求进行采样，采集单个请求的服务之间调用关系以及中间调用的健康情况，实现全局调用链路的自动跟踪。 常用诊断场景的指标下钻分析 根据应用响应时间、请求数、错误率等指标下钻分析，按应用、组件、环境、数据库和中间件等多维度查看。 异常URL跟踪和慢URL跟踪捕捉 基于调用URL跟踪的超时和异常分析，并有效自动关联到对应的接口调用，如 SQL、MQ 等。 1. 接入APM：应用通过APM自身的AK/SK鉴权进行接入。 2. 数据采集：APM可以通过非侵入方式采集APM Agent提供的应用数据、基础资源数据、用户体验数据等多项指标。 3. 业务实现：APM支持应用指标监控、应用拓扑、调用链追踪和智能告警功能。 4. 业务拓展： 1. 通过APM的应用拓扑、调用链追踪等快速诊断应用性能异常，并结合AOM（应用运维管理）的应用运维指标进行综合判断。 2. 找到应用性能瓶颈后，可以通过CPTS（云性能测试服务 ）关联分析生成性能报表。 3. 通过智能算法学习历史指标数据，APM多维度关联分析异常指标，提取业务正常与异常时上下文数据特征，通过聚类分析找到问题根因。

本文主要介绍 集群基本信息。 Kubernetes是一个很容易地部署和管理容器化的应用软件系统，使用Kubernetes能够方便对容器进行调度和编排。 对应用开发者而言，可以把Kubernetes看成一个集群操作系统。Kubernetes提供服务发现、伸缩、负载均衡、自愈甚至选举等功能，让开发者从基础设施相关配置等解脱出来。 Kubernetes可以把大量的服务器看做一台巨大的服务器，在一台大服务器上面运行应用程序。无论Kubernetes的集群有多少台服务器，在Kubernetes上部署应用程序的方法永远一样。 Kubernetes集群架构 Kubernetes集群包含Master节点（控制节点）和Node节点（计算节点/工作节点），应用部署在Node节点上，且可以通过配置选择应用部署在某些特定的节点上。 说明 CCE集群的Master节点由云容器引擎服务创建并托管，您只需创建Node节点。 Kubernetes集群的架构如下所示： 图 Kubernetes集群架构 Master节点 Master节点是集群的控制节点，由API Server、Scheduler、Controller Manager和ETCD四个组件构成。 API Server：各组件互相通讯的中转站，接受外部请求，并将信息写到ETCD中。 Controller Manager：执行集群级功能，例如复制组件，跟踪Node节点，处理节点故障等等。 Scheduler：负责应用调度的组件，根据各种条件（如可用的资源、节点的亲和性等）将容器调度到Node上运行。 ETCD：一个分布式数据存储组件，负责存储集群的配置信息。 在生产环境中，为了保障集群的高可用，通常会部署多个Master，如CCE的集群高可用模式就是3个Master节点。

云工作流支持创建标准和快速两种模式的工作流。 本文主要介绍快速工作流和标准工作流的特点和差异， 用户可根据这些内容的介绍针对业务流程选择不同模式的工作流。 基本概念 标准（Standard）工作流具备执行步骤状态的持久化存储，支持运行长时间的工作流执行状态流转，适用于传统意义上的离线业务流程编排执行场景 快速（Express）工作流适用于流程结构简单、需要低延迟执行的工作流场景， 适用于常见的在线业务流程编排和准实时业务流程编排场景，例如微服务API编排、流式数据处理等低延迟和大负载业务场景。 工作流模式对比 执行指标 标准工作流 快速工作流 最长执行时长 365天 5分钟 执行语义 异步执行，遵循至少执行一次（At least once）语义，支持持久化，但是在特殊条件下可能会导致数据被重复处理。 同步执行 执行历史 可通过API查询指定工作流执行历史、工作流执行详情。 可通过API查询指定工作流执行历史、工作流执行详情。 服务集成 云服务集成调用模式支持如下三种集成模式。更多信息，请参见服务集成模式。 请求响应模式（RequestComplete） 等待系统回调（WaitForSystemCallback） 等待任务令牌（WaitForTaskToken） 仅支持请求响应模式（RequestComplete）

本节主要介绍智能视图服务产品的应用场景。 智慧城市 适用于对城市安全、应急管理、交通调度有迫切需求的城市。一方面可以进行实时的智能监管，从而及时发现问题；另一方面，可以快速协同调度资源，进行视频数据、结构化数据等多维度大数据的统一管理和应用，实现高效的城市治理。智能视图服务具备以下优势： 大规模部署推流接入点，就近接入，保证各场合稳定推流。 提供AI内容审核增值服务，如人脸识别，人员聚集检测、车辆牌号检索等。 支持多种播流格式，支持全网加速分发。 整合多渠道数据信息，智能统计与分析，丰富数据资产，助力城市管理数字化转型。 智慧教育 适用于校园内及多校园间多摄像头统一纳管的场景，通过实时预览、录像回溯方便管理校园内视频点位，提供安全隐患识别、人员管理分析等一站式智能管理服务，实现平安智慧校园。智能视图服务具备以下优势： 建设周期短，成本低廉，适合需要快速上云的学校或者教育机构。 支持设备接入、存储和分发一体化解决方案，按需扩容，提升资源利用率。 支持AI算法仓库统一管理，GPU算力智能调度，AI算法统一编排。 教育监管机构、学生家长等多方可便捷的通过 APP和PC客户端实时观看视频。

本文主要介绍什么是云容器引擎 。 Kubernetes是主流的开源容器编排平台。为了让用户可以方便地在云上使用Kubernetes管理容器应用，天翼云推出了基于原生Kubernetes的云容器引擎服务。 云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级Kubernetes集群，支持运行Docker容器。借助云容器引擎，您可以在云上轻松部署、管理和扩展容器化应用程序。 云容器引擎深度整合了高性能的计算（ECS/BMS）、网络（VPC/EIP/ELB）、存储（EVS/OBS/SFS）等服务，并支持CPU、GPU等异构计算架构，支持多可用区（Available zone，简称AZ）、多区域（Region）容灾等技术构建高可用Kubernetes集群，并提供高性能可伸缩的容器应用管理能力，简化集群的搭建和扩容等工作，让您专注于容器化应用的开发与管理。 名词解释 使用云容器引擎服务，会涉及到以下基本概念： 集群： 是指容器运行所需云资源的集合，包含了若干台云主机、负载均衡器等云资源。 实例（Pod）： 由相关的一个或多个容器构成一个实例，这些容器共享相同的存储和网络空间。 工作负载： Kubernetes资源对象，用于管理Pod副本的创建、调度以及整个生命周期的自动控制。 Service： 由多个相同配置的实例（Pod）和访问这些实例（Pod）的规则组成的微服务。 Ingress： Ingress是用于将外部HTTP（S）流量路由到服务（Service）的规则集合。 Helm应用： Helm是管理Kubernetes应用程序的打包工具，提供了Helm Chart在指定集群内图形化的增删改查。 镜像仓库： 用于存放Docker镜像，Docker镜像用于部署容器服务。 您在使用前可以了解更多Kubernetes相关知识，具体请参见

本章节介绍Redis节点内存高负载故障演练。 背景介绍 Redis 性能受节点可用内存限制。当内存异常占用时，Redis 可能触发内存淘汰、拒绝写入，甚至被操作系统终止。本演练模拟高内存占用场景，帮助您验证内存淘汰策略、应用容错能力及监控告警效果。 基本原理 在节点启动自定义程序不断申请内存，模拟主机内存负载升高。 注意 设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 预留资源 ：强烈建议将目标内存占用率设置在90%以下，为操作系统内核和关键系统进程（如SSH服务）预留足够的内存。若内存被完全耗尽，可能导致主机失去响应，需要通过控制台强制重启才能恢复。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式缓存服务Redis版 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标Redis 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式缓存服务Redis版。 添加实例 ：单击添加实例 ，勾选上一步中添加的Redis实例。 添加故障动作 ：单击立即添加 ，在列表中选择内存高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点 ：注入故障的目标节点（主节点或备节点）。 内存占用率：指定内存负载百分比（取值 0100）。

本章节介绍Redis节点内存高负载故障演练。 背景介绍 Redis 性能受节点可用内存限制。当内存异常占用时，Redis 可能触发内存淘汰、拒绝写入，甚至被操作系统终止。本演练模拟高内存占用场景，帮助您验证内存淘汰策略、应用容错能力及监控告警效果。 基本原理 在节点启动自定义程序不断申请内存，模拟主机内存负载升高。 注意 设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 预留资源 ：强烈建议将目标内存占用率设置在90%以下，为操作系统内核和关键系统进程（如SSH服务）预留足够的内存。若内存被完全耗尽，可能导致主机失去响应，需要通过控制台强制重启才能恢复。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择分布式缓存服务Redis版 ，然后单击添加资源。 3. 在弹出的对话框中，勾选目标Redis 实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择分布式缓存服务Redis版。 添加实例 ：单击添加实例 ，勾选上一步中添加的Redis实例。 添加故障动作 ：单击立即添加 ，在列表中选择内存高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点 ：注入故障的目标节点（主节点或备节点）。 内存占用率：指定内存负载百分比（取值 0100）。