本节介绍了云容器引擎的最佳实践:Ingress。 修改自定义端口 1、点击目标容器集群名称，进入集群详情页。 2、在菜单栏【插件】中选择【插件市场】，安装nginxingresscontroller插件。 3、安装插件时指定IngressController插件http及https端口。 4、您也可通过查看插件详情，按需修改端口重新安装插件即可。 配置基础用户名和密码 步骤一：创建用户名和密码 1、使用htpasswd工具创建一个包含用户名和密码的文件auth，例如添加一个名为foo的用户，该用户的密码是123456。 2、输入 cat auth查看文件auth，即可查看htpasswd工具生成的用户名和密码的加密形式。 步骤二：新增secret文件 1、点击目标容器集群名称，进入集群详情页。 2、在菜单栏【配置管理】中选择【保密字典】，点击【新增】。 3、创建一个名为“basicauth”的Secret对象，将auth作为变量名，步骤一htpasswd工具生成的用户名和密码的加密形式作为变量值填入。 4、查看Secret的yaml文件，填入后变量值会自动进行Base64加密。 注：当使用这个Secret对象来进行身份验证时，Ingress控制器会解码这里的Base64字符串，使用其中的用户名和密码来验证用户的身份。如果提供的用户名和密码与这里存储的一致，用户将被允许访问相应的资源。

注册集群类型 集群描述 相关文档 天翼云集群 包含天翼云云容器引擎CCE专有版、托管版、智算版和Serverless版。 本地集群 由CCE提供的运行在您数据中心基础设施之上的Kubernetes集群，以及满足CNCF标准的IDC自建的Kubernetes集群。 三方云集群 三方公有云上提供的Kubernetes集群产品，如：阿里云(ACK)、腾讯云(TKE)、GCP (GKE)、AWS(EKS)等。 AnyWhere集群 由天翼云容器服务提供的，运行在您数据中心基础设施之上的Kubernetes集群。

本节介绍智算容器续费、到期与欠费。 到期前续费 手动续订：对于包年/包月订购的云容器引擎，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 到期处理 到期后，云容器引擎进入保留期，您将不能正常访问及使用天翼云云容器引擎。 若您在到期后15天内续费，自资源续订解冻开始，计算新的服务有效期，按照新的服务有效期计算费用； 若到期15天后您仍未续费，云容器引擎将被删除 欠费原因 在按需计费的模式下帐号的余额不足。 欠费停服说明 欠费后云容器引擎会自动停止。 如果您在15天内充值补足欠款，服务会自动启用。 当欠费超过15天，将视为您主动放弃该服务，云容器引擎将会被销毁，销毁后数据不可恢复。因此请您及时关注账户余额并及时续费以保证您的服务不受到影响。 查看欠费账单 欠费后，可以查看欠费详情或者消费账单，具体请参见文档费用中心账单管理查看消费账单。

本文介绍CCE集群弹性引擎。 插件简介 CCE集群弹性引擎（autoscaler）是Kubernetes中非常重要的一个Controller，它提供了微服务的弹性能力，并且和Serverless密切相关。 弹性伸缩是很好理解的一个概念，当微服务负载高（CPU/内存使用率过高）时水平扩容，增加pod的数量以降低负载，当负载降低时减少pod的数量，减少资源的消耗，通过这种方式使得微服务始终稳定在一个理想的状态。 云容器引擎简化了Kubernetes集群的创建、升级和手动扩缩容，而集群中应用的负载本身是会随着时间动态变化的，为了更好的平衡资源使用率以及性能，Kubernetes引入了autoscaler插件，它可以根据部署的应用所请求的资源量自动的动态的伸缩集群，详情请了解创建节点伸缩策略。 开源社区地址： 插件说明 autoscaler可分成扩容和缩容两个方面： 自动扩容 集群的自动扩容有以下两种方式实现： 当集群中的Pod由于工作节点资源不足而无法调度时，会触发集群扩容，扩容节点与所在节点池资源配额一致。此时需要满足以下条件时才会执行自动扩容： 节点上的资源不足。 Pod的调度配置中不能包含节点亲和的策略（即Pod若已经设置亲和某个节点，则不会自动扩容节点），节点亲和策略设置方法请参见调度策略（亲和与反亲和）。 当集群满足节点伸缩策略时，也会触发集群扩容。 说明 当前该插件使用的是最小浪费策略，即若Pod创建需要3核，此时有4核、8核两种规格，优先创建规格为4核的节点。

本章节介绍在云原生API网关中通过HTTP API访问容器服务中的应用 概述 当您的容器服务中的应用需要通过外部访问时，可以通过创建HTTP API并配置路由，实现应用的互联网访问。本文以容器服务CCE为例，介绍如何通过云原生API网关实现微服务的外部访问。 前提条件 1. 已具备云容器引擎CCE实例，参见创建一个CCE应用集群。 2. 部署微服务demo到云容器引擎CCE实例，参见创建工作负载及服务或者使用容器镜像服务发布容器应用。 方案概览 通过创建云原生API网关实例，将云原生API网关与需要暴露的容器服务进行关联，在网关中设置API的路由规则，确保请求能够正确地路由到对应的容器服务，配置完成后，客户端即可通过API网关访问容器中的应用。 1. 新建云原生API网关实例：根据已有微服务环境，创建云原生API网关实例。 2. 创建服务来源：在云原生API网关中添加服务来源，根据实际情况选择云容器引擎CCE。 3. 添加服务：云原生API网关能够根据云容器引擎CCE来源获取服务的命名空间，将已有的服务添加到云原生API网关，作为备选服务。 4. 创建HTTP API：为网关实例创建HTTP API。 5. 创建路由：为该服务添加路由策略并发布。 6. 路由调试：测试微服务路由功能。

本节介绍了云容器引擎的续费、到期与欠费说明。 到期前续费 手动续订：对于包年/包月订购的云容器引擎，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 到期处理 到期后，云容器引擎进入保留期，您将不能正常访问及使用天翼云云容器引擎。 若您在到期后15天内续费，自资源续订解冻开始，计算新的服务有效期，按照新的服务有效期计算费用； 若到期15天后您仍未续费，云容器引擎将被删除 欠费原因 在按需计费的模式下帐号的余额不足。 欠费停服说明 欠费后云容器引擎会自动停止。 如果您在15天内充值补足欠款，服务会自动启用。 当欠费超过15天，将视为您主动放弃该服务，云容器引擎将会被销毁，销毁后数据不可恢复。因此请您及时关注账户余额并及时续费以保证您的服务不受到影响。

本文介绍如何通过CSI插件为CCSE容器挂载天翼云弹性文件服务作为数据卷。 基础信息 云容器引擎（简称CCSE）提供高度可扩展的、高性能的Kubernetes集群、一站式容器服务；获得信通院可信云《全栈容器云解决方案》认证，其整合了镜像、监控、日志、负载均衡、灰度/蓝绿、多种弹性策略、高效调度、集群插件、模板市场等基础能力，帮助企业快速构建和运行可弹性扩展的应用。本文介绍如何通过CSI插件为CCSE容器挂载天翼云弹性文件服务作为数据卷。 注意事项 CCSE引擎挂载弹性文件系统依赖cstorcsi插件，该插件在创建云容器引擎完成后通过插件市场进行配置。 云容器引擎和弹性文件系统须属于同一个VPC和子网下。 操作步骤 步骤一：创建云容器引擎CCSE 从天翼云官网创建一个云容器引擎CCSE，详细步骤参见云容器引擎CCSE订购集群。 步骤二：安装cstorcsi插件 1. 进入购买的CCSE集群，在“插件>插件市场”中选择“cstorcsi”插件进行安装。 2. 安装时需要在yaml文件中填入用户天翼云的AK、SK信息，并点击底部的“安装”按钮： 注意 安装过程中需提供用户AK/SK，获取方式参考

本章节介绍MSAP操作类常见问题 已经订购了云容器引擎，新增环境选择不到云容器引擎？ 选择不到云容器引擎可能有如下两种情况： 1、云容器引擎正在开通中或者开通失败了，需要到开通界面或云容器引擎控制台检查容器状态是否是已开通或运行中。 2、新增环境时选择的VPC和云容器引擎所属VPC不一致，需要到云容器引擎控制台，找到对应集群，进入集群信息界面查看集群所属VPC。再到新增环境界面选择和集群所属VPC一致的VPC。 删除环境不成功，提示：环境下存在部署单元，请先删除部署单元？ 此提示说明要删除的环境下有应用实例、部署单元、导入资源，需要该环境的对应实例、部署单元和导入资源清理之后才能删除环境。 1. 登录微服务云应用控制台，左侧菜单栏选择“环境规划>环境管理”，点击要删除的环境，进入到环境详情。 2. 选择“资源列表”，依次切换该环境下的资源，如果存在该资源，则点击该资源复选框，点击移除，删除资源。 3. 选择“部署单元>编辑单元”，点击对应部署单元删除。 4. 最后回到“环境管理”，选择对应环境，点击右侧删除。

本节介绍了用户指南: 本地存储概述。 云容器引擎支持使用本地存储卷。当前cstorcsi插件支持通过LVM和LocalPV的方式动态使用容器集群节点上的硬盘或者文件系统。 功能介绍 本地存储卷包含以下几种方式，可以根据业务需求及存储特点进行选择。 类型 存储卷类型 能力供应 特点 LocalPV 动态存储卷 cstorcsi插件 使用节点上已有数据目录，动态创建子路径绑定到PV上，供业务使用。 LocalPV 静态存储卷 Kubernetes原生 通过手动创建PV，指定节点亲和性及本地存储设备的方式使用本地存储。pod无需手动调度指定的节点。 HostPath Kubernetes原生 将主机节点文件系统上指定文件或目录挂载到 Pod 中。 LVM 动态存储卷 cstorcsi插件 基于节点上的数据盘，虚拟化成一个小型存储池，当需要特定份额的存储时，从中划分出对应份额的磁盘跟用户容器使用。 约束与限制 cstorcsi插件本地存储功能需要插件版本>3.3.3； 请勿在节点上手动删除存储池或卸载数据盘，否则会导致数据丢失等异常情况； 请勿对本地存储资源自行执行增删改等操作，否则会导致PVC不可用或者无法达到使用预期。 本地存储资源包括存储池管理的VG，PV，LV，或者基于硬盘构建的文件系统；或者自行申领的文件系统等； 重置或缩容节点会导致与节点关联的本地持久存储卷类型的PVC/PV数据丢失，无法恢复，且PVC/PV无法再正常使用； 本地存储并非高可用存储卷，只适用于一些临时数据的保存及应用自带高可用的场景； LVM本地存储卷，不支持数据的跨节点迁移，不适合在高可用场景中使用。

本章节介绍云容器集群节点磁盘填充故障演练。 背景介绍 失控的日志文件、未经清理的临时数据或异常进程持续写入，都可能导致云容器引擎（CCE）节点的磁盘空间被耗尽。这种情况会直接导致Pod无法写入新数据、服务功能异常，甚至因 ephemeralstorage 压力过大而被kubelet驱逐。本演练模拟磁盘空间被占满的场景，帮助您检验系统的磁盘空间监控告警、日志轮转机制以及应用在无可用存储空间时的处理逻辑。 基本原理 通过dd命令将数据写入文件。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍云容器集群节点磁盘填充故障演练。 背景介绍 失控的日志文件、未经清理的临时数据或异常进程持续写入，都可能导致云容器引擎（CCE）节点的磁盘空间被耗尽。这种情况会直接导致Pod无法写入新数据、服务功能异常，甚至因 ephemeralstorage 压力过大而被kubelet驱逐。本演练模拟磁盘空间被占满的场景，帮助您检验系统的磁盘空间监控告警、日志轮转机制以及应用在无可用存储空间时的处理逻辑。 基本原理 通过dd命令将数据写入文件。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍云容器集群节点节点宕机故障演练。 背景介绍 云容器引擎（CCE）节点是集群的业务承载核心。硬件故障、系统内核异常、资源耗尽等因素，均可能导致通用节点故障。通用节点宕机会造成其上运行的业务 Pod 异常中断或漂移重建，引发业务请求失败、服务响应延迟，甚至局部服务不可用，本演练可测试系统的故障转移与业务自愈能力，提升集群及业务的整体稳定性。 基本原理 通过关闭云容器引擎纳管的节点主机，模拟节点宕机（支持Worker节点或专有版容器Master节点）。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎实例。 添加故障动作 ：单击立即添加 ，在列表中选择节点宕机动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：故障动作的目标节点。

本章节介绍云容器集群Pod进程停止故障演练。 背景介绍 在 CCE 中，Pod 容器内进程若意外终止，可能导致业务中断和 Pod 重建。本演练模拟进程终止，评估系统容错及自愈与告警能力。 基本原理 通过kill 9停止节点上的指定进程。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎Pod。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎Pod实例。 添加故障动作 ：单击立即添加 ，在列表中选择进程停止动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 进程关键词：例如nginx。 停止进程的方式：强制结束表示使用 SIGKILL (信号9)，优雅结束表示使用 SIGTERM (信号15) 容器选择模式：选择攻击pod中容器，可以“按资源定义的首个容器”，也可以“指定容器名称”，当选择指定容器名称时，需要输入容器的名称。 容器名称：填写攻击目标的容器名

内置保留字段 数据格式 说明 tagtopic 字符串 采集配置名称 tagfileName 字符串 采集路径与文件名称 tagpodIp 字符串 云容器引擎接入场景下，pod的IP地址 tagpodName 字符串 云容器引擎接入场景下，pod的名称 tagappName 字符串 工作负载名称 tagcontainerName 字符串 容器名称 taghostIp 字符串 云容器引擎宿主机IP tagnamespace 字符串 工作负载所在命名空间 taghostName 字符串 云容器引擎宿主机名称 ts 整型，Unix时间戳（毫秒） 日志采集时间 message 字符串 日志原文

本文主要介绍CCE容器弹性引擎。 CCE容器弹性引擎（ccehpacontroller）插件是一款CCE自研的插件，能够基于CPU利用率、内存利用率等指标，对无状态工作负载进行弹性扩缩容。 安装本插件后，可在“弹性伸缩”页面的“工作负载伸缩”页签下，创建CustomedHPA策略，具体请参见创建工作负载弹性伸缩（CustomedHPA）。 主要功能 支持按照当前实例数的百分比进行扩缩容。 支持设置一次扩缩容的最小步长。 支持按照实际指标值执行不同的扩缩容动作。 约束与限制 仅支持在v1.15及以上版本的CCE集群中安装本插件。 若ccehpacontroller版本低于1.2.11，则必须安装prometheus插件，若版本大于或等于1.2.11，则需要安装能够提供Metrics API的插件，如metricsserver和Prometheus。若使用Prometheus，需要将Prometheus注册为Metrics API的服务，详见提供资源指标。 安装插件 步骤 1 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件管理”，在右侧找到 ccehpacontroller ，单击“安装”。 步骤 2 该插件可配置“单实例”或“自定义”规格，选择后单击“安装”。 说明 单实例仅用于验证场景，商用场景请根据集群规格使用"自定义"资源配置，ccehpacontroller插件的规格大小主要受集群中总容器数量和伸缩策略数量影响，通常场景下建议每5000容器配置CPU 500m, 内存1000Mi资源，每1000伸缩策略CPU 100m，内存500Mi。

本章节介绍云容器集群Pod内存高负载故障演练。 背景介绍 在 CCE 环境中，Pod 运行在共享资源的节点上。内存高负载常因泄漏、数据膨胀或缓存失控引起，可能触发 Kubernetes 的 OOM 机制，导致 Pod 重启、请求失败，甚至影响同节点其他服务。 基本原理 启动自定义程序不断申请内存，模拟Pod内存负载升高。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎Pod。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎Pod实例。 添加故障动作 ：单击立即添加 ，在列表中选择内存高负载动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 内存占用率：目标占用率（取值 0100）。 容器选择模式：选择攻击pod中容器，可以“按资源定义的首个容器”，也可以“指定容器名称”，当选择指定容器名称时，需要输入容器的名称。 容器名称：填写攻击目标的容器名称

本章节介绍如何管理服务来源 概述 云原生网关无缝对接天翼云注册配置中心和云容器引擎，通过服务发现模块监听服务来源，动态感知后端服务。整体架构如下： 创建云容器引擎服务来源 云原生网关支持云容器引擎作为服务来源，本文介绍添加云容器引擎作为服务来源。 1. 进入微服务引擎MSE控制台 2. 在顶部菜单栏选择资源池 3. 单击左侧导航栏云原生网关 > 网关列表 4. 您可以在网关列表页单击需要查看的网关实例ID或者 实例名称 ，也可以单击操作列中的管理按钮 5. 单击左侧导航栏 服务来源 6. 单击左上角按钮 创建来源 7. 在弹出的页面中，来源类型选择容器服务；在容器集群下拉列表中选择要添加的集群（当前仅支持添加与网关实例同VPC内的容器集群） 8. 根据需要勾选是否监听K8s Ingress选项并配置监听命名空间的标签，详细参考Ingress管理章节 创建注册配置中心服务来源 云原生网关支持MSE注册配置中心作为服务来源，本文介绍添加注册配置中心作为服务来源。 1. 进入微服务引擎MSE控制台 2. 在顶部菜单栏选择资源池 3. 单击左侧导航栏云原生网关 > 网关列表 4. 您可以在网关列表页单击需要查看的网关实例ID或者 实例名称 ，也可以单击操作列中的管理按钮 5. 单击左侧导航栏 服务来源 6. 单击左上角按钮 创建来源 7. 在弹出的页面中，来源类型选择MSE Nacos（当前仅支持Nacos引擎）；在集群下拉列表中选择要添加的集群（当前仅支持添加与网关实例同VPC内的集群）

本章节介绍云容器集群节点进程终止故障演练。 背景介绍 在云容器引擎（CCE）环境中，节点上运行着众多关键进程，包括 kubelet、containerd 等 Kubernetes 核心组件，以及各类系统监控、日志采集的 Agent。当这些关键进程因 OOM、软件缺陷或人工误操作被意外终止时，可能会导致节点功能异常、Pod 管理失控甚至整个节点脱离集群。本演练模拟节点上的任意进程被终止的场景，帮助您评估系统对核心组件故障的容忍度，并检验集群的自愈和告警能力。 基本原理 通过kill 9或kill 15停止节点上的指定进程。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本文介绍了:云容器引擎发布Kubernetes 1.31版本说明。 社区 Kubernetes 版本主要变更 Kubernetes 1.31 版本Changelog 1. StatefulSet 起始序号（GA），允许用户自定义 Pod 的起始序号（默认从 0 开始），例如设置为 100，适用于需要固定编号或特定顺序的应用场景（如分布式数据库）。 2. 弹性索引 Job（GA），支持在索引 Job 创建后动态调整 .spec.completions 和 .spec.parallelism 字段，实现任务弹性伸缩，无需重新创建 Job。 3. Pod 失效策略（GA），可根据 Pod 失效原因（如被抢占、节点删除、kubelet 终止等）分别配置处理逻辑（重试或忽略），避免不必要的 Pod 重启，降低运行成本。 4. Pod 干扰状况（GA），在 Pod 的 Condition 中新增 DisruptionTarget 类型，明确标记 Pod 失效原因（如被高优先级 Pod 抢占），结合 Job 的失效策略实现更精细的任务管理。 5. Job成功策略（Beta），JobSuccessPolicy特性进阶至Beta。该特性允许用户基于成功的Pod个数为Job配置成功策略。 6. 持久卷回收策略（Beta），确保 PV 的回收策略（如 Delete）在 PVC 删除后仍被强制执行，通过添加 Finalizer 防止存储资源泄漏，即使 PV 和 PVC 的删除顺序混乱也能保证一致性。 7. ServiceAccountTokenNodeBinding（Beta），创建绑定到特定节点的 Token，包含节点信息声明，并在 Token 使用时验证节点存在性。若节点被删除，Token 自动失效，降低凭证泄露风险。 8. 容器重启优化，当 Pod 配置变更但镜像未更新时，kubelet 不再强制重启容器，避免因非关键配置更新导致的不必要中断。 9. OCI 镜像卷（Alpha），允许将 OCI 镜像直接挂载为卷，简化 AI/ML 工作负载中模型和数据的访问，例如通过更换镜像快速更新模型权重。 更多信息请参考：Kubernetes 1.31 Changelog

本章节介绍云容器集群Pod DNS篡改故障演练。 背景介绍 DNS 篡改会使域名解析到错误的 IP，从而在 CCE 环境中造成流量劫持、访问异常或数据泄露等风险。本演练模拟 DNS 篡改场景，用于检验 Pod 的安全防护与监控告警有效性，并评估业务在解析被劫持时的表现。 基本原理 通过修改本地DNS解析文件实现。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个Pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎Pod。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎Pod实例。 添加故障动作 ：单击立即添加 ，在列表中选择DNS篡改动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 域名：待篡改的目标域名。 映射IP：将目标域名解析到的IP地址。 容器选择模式：选择攻击pod中容器，可以“按资源定义的首个容器”，也可以“指定容器名称”，当选择指定容器名称时，需要输入容器的名称。 容器名称：填写攻击目标的容器名称

本文介绍了集群安全组规划配置的用户指南。 云容器引擎作为通用的容器平台，需配置适用于 Kubernetes 集群的安全组。创建集群时，支持选择默认新增和使用已有安全组。 选择默认新增会为 Master 节点和 Worker 节点共同创建一个安全组，安全组名称是：securitygroup{vpcID}。用户可以根据安全要求，登录天翼云控制台，点击产品 > 网络 > 虚拟私有云，在控制台左侧点击访问控制 > 安全组，根据名称找到对应安全组规则进行修改。 选择使用已有安全组，请参考集群自动创建的默认安全组规则放通指定端口，以确保集群中的正常网络通信。 安全组规则说明 方向 端口 协议 默认源/目的地址 说明 优先级（取值越小优先级越高） 是否支持修改 入方向规则 全部 TCP + UDP 198.19.128.0/20 VPCE内网地址段 99 不可修改 入方向规则 全部 TCP + UDP 100.64.0.0/10 内网DNS、云存储等云产品网段 99 不可修改 入方向规则 全部 TCP + UDP VPC网段 节点之间互访 99 不可修改 入方向规则 全部 TCP + UDP VPC IPv6网段 节点之间IPv6互访 99 不可修改 入方向规则 全部 TCP + UDP 100::/16 云产品IPv6网段 99 不可修改 出方向规则 全部 TCP 169.254.169.254/32 主机元数据服务地址 99 不可修改 出方向规则 全部 TCP + UDP 100.64.0.0/10 内网DNS、云存储等云产品网段 99 不可修改 出方向规则 全部 TCP + UDP VPC网段 节点之间互访 99 不可修改 出方向规则 全部 TCP + UDP VPC IPv6网段 节点之间IPv6互访 99 不可修改 出方向规则 全部 TCP + UDP 100::/16 云产品IPv6网段 99 不可修改 出方向规则 全部 TCP + UDP 0.0.0.0/0 默认全部放通，不建议修改 100 可修改 出方向规则 全部 TCP + UDP 0:0:0:0:0:0:0:0/0 默认全部放通，不建议修改 100 可修改

本节介绍了用户指南:使用SFS动态存储卷。 云容器引擎支持使用天翼云弹性文件存储持久卷。cstorcsi插件支持使用弹性文件存储动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录下实现数据持久化需求。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 参见 弹性文件概述 通过控制台使用弹性文件动态存储卷 1 、创建存储类（ StorageClass ） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，提供了一些建议参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： vers：表示指定 NFS 协议的版本 wsize：表示指定了 NFS 协议中用于写入的数据块大小（以字节为单位），设置较大的写入块大小可以提高写入性能 rsize：类似于 wsize，但用于读取的数据块大小 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 点击这里 参数 弹性文件存储类型：参数键为type，支持参数值如下： capacity：SFS Turbo标准型 performance：SFS Turbo性能型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有并行文件，再进行选择。 存储加密：选择加密后，需要选择具体的秘钥。用户需要提前创建好秘钥，供ccse控制台调用，当前仅支持默认秘钥和按需秘钥。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

本章节介绍在微服务云应用平台使用中可能会涉及的相关资源 概述 资源管理内容与环境详情里面资源列表类似，展示了已导入环境的资源信息，在导入资源列表点击导入按钮可导入新的资源，点击移除按钮可移除已导入资源，对于导入失败的资源可通过重试按钮进行重试，日志按钮可查看导入过程的详细日志。 云容器引擎 左侧导航栏，选择资源管理 > 云容器引擎。在云容器引擎列表展示了当前环境下已导入的云容器引擎资源。 点击导入按钮，列表会展示与当前环境同VPC的云容器引擎列表，勾选云容器引擎，再选择对应的部署单元，点击保存就可将资源导入。 导入失败可点击日志查看具体失败原因，也可点击重试按钮进行重试。 点击移除按钮，可移除选择的云容器引擎，在移除之前需要删除对应云容器引擎下的容器应用实例。 若云容器引擎进行节点扩容，有节点对应新的可用区，可通过编辑部署单元，修改云容器引擎与部署单元的对应关系。 ECS集群 左侧导航栏，选择资源管理 > ECS集群。在ECS集群列表展示了当前环境已创建的ECS集群资源。 集群列表界面，点击创建集群，输入集群名称后保存即可在当前环境下创建ECS集群。 集群列表界面，点击ECS集群名称，进入ECS集群详情页面，ECS集群详情页面展示了导入到集群的ECS实例列表，以及发布到ECS集群的应用列表。在ECS实例列表，点击上方导入按钮，可导入已订购的ECS实例。点击购买ECS扩容，可跳转到ECS订购界面，进行订购操作。点击操作栏移除按钮，可移除已导入的ECS实例，点击购买相同配置按钮，可跳转到ECS订购界面，自动选择与当前ECS实例同配置机器。 集群列表界面，点击操作栏删除按钮，可删除对应ECS集群，删除集群前需要先删除发布到此集群的ECS应用实例。 注意 一台ECS机器只能部署一个应用，订购ECS时根据部署应用所需资源选择规格订购。目前支持ECS发布的资源池如下：华东1、华北2、华南2、西南1、西安7。

本章节介绍云容器集群节点网络延迟故障演练。 背景介绍 网络延迟是云容器引擎（CCE）集群中微服务架构最常见的微故障之一。跨可用区的Pod间通信、访问外部依赖服务、网络拥塞等都可能导致通信延迟增加。这会直接影响应用的响应时间，降低用户体验，甚至在复杂的调用链中引发雪崩效应。本演练模拟可控的网络延迟，帮助您检验系统的超时设置、熔断机制的有效性，并发现潜在的性能瓶颈。 基本原理 通过增加TC和Netem规则模拟Node内网络延迟。 注意 只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

创建容器服务 前置条件 已开通云原生API网关实例和同VPC下的云容器引擎实例，已添加云容器引擎作为云原生API网关的服务来源 服务已部署到云容器引擎并配置相关Service暴露服务 操作流程 1. 进入云原生API网关控制台。 2. 在顶部菜单栏选择资源池。 3. 单击左侧导航栏实例 > 进入实例概览。 4. 单击左侧导航栏服务 > 服务标签页。 5. 单击左上角按钮 创建服务。 6. 在弹出的页面中选择容器服务来源，选择要添加的服务所在的命名空间。 7. 在服务列表中选择要添加的服务，根据需求做不同的配置。 容器服务配置说明 配置 说明 命名空间 后端服务部署在云容器引擎中的命名空间 servicePort 对应云容器引擎Service中定义的服务端口，每个端口可以定义为一个独立的云原生API网关服务 请求协议 后端服务的协议，支持HTTP、HTTPS、GRPC、GRPCS、DUBBO，默认为HTTP mTLS 是否打开后端服务双向TLS认证（后端服务对网关证书认证） 证书文件 后端服务开启双向TLS认证后，云原生API网关提供的证书文件 私钥文件 后端服务开启双向TLS认证后，云原生API网关提供的私钥文件 创建注册中心服务 前置条件 已开通云原生API网关实例和同VPC下的注册配置中心实例（Nacos引擎），已添加注册配置中心实例作为云原生API网关的服务来源 后端服务已部署并注册到注册配置中心

本节介绍了子账号授权的用户指南。 本节介绍了子账号授权的用户指南，包括授权概述、IAM授权指引、RBAC授权指引。 授权概述 云容器引擎的授权体系包括管控基础云资源和OpenAPI接口的IAM权限体系以及管控K8s资源的RBAC权限体系，可以根据子账号需要访问的资源类型进行授权。 IAM权限控制 IAM权限控制：用户是否可以操作云资源以及OpenAPI接口的权限，具体场景包括： 控制台操作：访问云容器引擎控制台，通过控制台菜单和按钮操作集群。 OpenAPI操作：通过云容器引擎提供的OpenAPI接口（OpenAPI使用可参考 API参考 章节）操作集群。 RBAC权限控制 RBAC权限控制用户是否可以操作K8s集群中的某类资源（如节点、命名空间、工作负载、服务、路由等），具体场景包括： 通过云容器引擎控制台操作K8s资源（如新增或删除一个工作负载、查看节点情况等）。 使用kubeconfig连接到集群，通过kubectl操作K8s资源。 一般来说，通过云容器引擎控制台或OpenAPI操作集群会同时受到IAM权限及RBAC权限的管控，因此需要为子账号同时授予IAM权限及RBAC权限；而通过kubeconfig方式操作集群只会受到RBAC权限的管控，因此只需为子账号授予RBAC权限；需要注意的是，有部分控制台操作不会涉及到集群资源的操作（如查看监控、日志等），那么就只需为子账号授予IAM权限。 IAM授权指引

天翼云专属云（存储独享型）服务协议

本章节介绍云容器集群节点网络包重复故障演练。 背景介绍 在云容器引擎（CCE）集群中，因配置错误、网络插件异常或协议缺陷，可能导致数据包被复制并多次送达目标节点。虽然 TCP 协议能够识别并丢弃重复的数据包，但这个过程会消耗额外的网络带宽和CPU资源。更严重的是，对于应用层协议，如果缺乏幂等性设计，重复的请求可能导致业务逻辑被错误地执行多次（如重复下单、重复扣款）。本演练模拟此场景，帮助您检验系统的处理能力和业务逻辑的幂等性。 基本原理 通过增加TC和Netem规则模拟Node内网络包重复。 注意 只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍云容器集群节点网络包乱序故障演练。 背景介绍 在云容器引擎（CCE）集群中，由于多路径传输、网络插件策略或底层网络设备的差异，数据包可能不会按照其发送顺序到达目标节点。虽然 TCP 协议设计了重排序机制来处理这种情况，但严重的乱序仍然会增加接收端节点的CPU开销、导致有效吞吐量下降和应用层延时增加。本演练模拟节点级别的网络包乱序场景，帮助您评估应用协议的健壮性和系统在非理想网络条件下的性能表现。 基本原理 通过增加TC和Netem规则模拟Node内网络包乱序。 注意 只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍云容器集群Pod网络包乱序故障演练。 背景介绍 在 CCE 集群中，网络乱序会增加节点 CPU 开销，降低吞吐量并增加应用延迟。本演练模拟该场景，评估应用协议健壮性及系统性能。 基本原理 通过增加TC和Netem规则模拟Pod内网络包乱序。 注意 只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍云容器集群Pod CPU高负载故障演练。 背景介绍 在 CCE 环境中，Pod CPU 异常升高不仅影响自身稳定性，还可能与同节点其他服务争抢资源，引发连锁问题。因此，模拟 Pod 的高 CPU 负载可用于验证系统的弹性、容错机制、监控告警能力及自动扩缩容策略。 基本原理 启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍云容器集群Pod CPU高负载故障演练。 背景介绍 在 CCE 环境中，Pod CPU 异常升高不仅影响自身稳定性，还可能与同节点其他服务争抢资源，引发连锁问题。因此，模拟 Pod 的高 CPU 负载可用于验证系统的弹性、容错机制、监控告警能力及自动扩缩容策略。 基本原理 启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。