配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量，最小为1GB。 子目录 输入需要创建的子目录，例如：/ccse或者/ccse/csi。如果用户只填/，那么将会以持久卷名字作为子目录。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。

本节介绍使容器网络限速的用户指南。 在离线应用混部中通过使用容器网络限速，帮助用户为不同应用配置网络带宽限制与优先级，提升集群资源隔离与网络体验。 适用场景 需要对容器的入站/出站网络带宽进行限制，防止单一业务占用过多带宽。 希望为延迟敏感或大带宽业务设置网络优先级，实现更优的流量调度。 功能说明 带宽限制 网络优先级控制 配置方法 启用网络优先级能力（可选） 如需使用网络优先级控制，请确保集群已启用 Cubecni 的优先级功能： 1. 编辑 Cubecni 配置： plaintext kubectl n kubesystem edit cm cubecniconfig 2. 在 10cubecni.conflist 下添加/修改 enablenetworkpriority 为 true： plaintext { "cniVersion": "0.3.1", "name": "cubecni", "plugins": [ { "type": "cubecni", "capabilities": {"bandwidth": true}, "enablenetworkpriority": true } ]} 3. 滚动重启 Cubecni Pod： plaintext kubectl n kubesystem rollout restart ds/cubecni kubectl n kubesystem get po l appcubecni owide w 配置带宽与优先级注解 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加带宽和优先级注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: netperfclient8000 namespace: demospec: replicas: 2 template: metadata: annotations: kubernetes.io/egressbandwidth: 10M kubernetes.io/ingressbandwidth: 20M k8s.ctyun.com/networkpriority: guaranteed spec: containers: name: netperf image: ciliumnetperf:2.0

本节介绍高优先级应用的CPU独占与隔离的用户指南。 为高优先级应用（LSE优先级）配置CPU独占与隔离，可以确保关键业务应用获得独占的CPU资源，避免与其他应用争抢资源，从而保证应用性能的稳定性和可预测性。 适用场景 需要为关键业务应用提供独占CPU资源，确保性能稳定 需要避免高优先级应用与低优先级应用之间的CPU资源争抢 需要验证CPU独占与隔离配置是否生效 功能概览 CPU核级独占：为高优先级应用分配独占的CPU核心 资源隔离：通过cgroup cpuset确保其他应用不会使用已分配的CPU核心 优先级保障：与混部优先级系统集成，支持LSE（LatencySensitiveExclusive）优先级 操作指南 环境准备 确保集群中已安装并配置好koordruntimeproxy组件，并已正确配置kubelet使用该runtime proxy。 1、检查节点状态 plaintext kubectl get node o wide 确认目标节点状态为Ready，并记录节点名称。 2、检查 DaemonSet 状态 plaintext kubectl n koordinatorsystem get ds koordruntimeproxy koordruntimeproxyarm64 确保DaemonSet状态正常。 创建高优先级应用 1、LSE优先级绑定 无需手动创建 ColocationProfile；请参照在离线应用优先级管理文档中的步骤，将应用与 LSE 优先级配置进行绑定。 2、创建高优先级应用 创建以下YAML文件并应用，部署一个高优先级应用： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: nginx namespace: defaultspec: replicas: 2 selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 koordinator.sh/colocationprofile: highest spec: nodeSelector: ccse.ctyun.cn/hostcode: amd643559d 替换为实际节点名称 containers: image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim name: container1 resources: limits: cpu: "1" memory: 512Mi requests: cpu: "1" memory: 512Mi

BE 应用可使用 02 共 3 个核心 2. 增加 LS 应用负载 当 LS 应用 CPU 负载增加时（例如从 10% 增加到 90% ） 系统自动调整 BE 应用的 cpuset 范围 3. 观察 BE 应用 CPU 被压制 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 01 BE 应用被压制，CPU 使用范围减少为 01 共 2 个核心 常见问题 超卖调度相关 为什么开启超卖后，某些 BE 应用仍无法调度？ 1、检查是否正确绑定了 BE 优先级。 2、确认混部调度器已启用并正常运行。 3、节点可能存在其他资源（如内存）限制。 超卖比例如何确定？ 1、统根据历史负载和配置自动计算合理的超卖比例。 2、默认配置已适用于大多数场景，一般无需手动调整。 CPU 压制相关 BE 应用被压制后性能下降严重？ 1、属于正常现象，BE 应用设计为弹性使用剩余资源。 2、可通过调整优先级或增加节点资源来改善。 如何确认 CPU 压制是否生效？ 1、通过观察 BE 应用的 cpuset 范围变化。 2、查看 BE 应用的实际 CPU 使用率是否下降。 3、监控混部系统的事件日志。 注意 资源超卖可能导致节点负载增加，建议合理规划应用部署。 CPU 压制机制会影响 BE 应用性能，不建议将关键业务设置为 BE 优先级。 混部系统会保证 BE 应用最低资源保障，避免完全饿死。

配置项 说明 名称 PV的名称。 持久卷类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 容量 根据业务需求自定义容量。 访问模式 ReadWriteOnce：卷可以被一个节点以读写方式挂载。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 参数 类型：包括NFS、Local，这里选择Local； 方式：包括指定节点、指定节点标签，可以根据业务需求选择； LocalPV的目录：要求指定节点或者指定标签节点中目录存在，否则会出现挂载失败。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 以将 local 卷作为原始块设备暴露出来。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

查看与编辑混部规则详情 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击左上角“编辑”按钮，可修改 QoS 类型及负载感知调度器设置。 绑定与解绑应用 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击“绑定”按钮，弹出批量绑定应用窗口。 3. 可通过命名空间、工作负载类型等筛选待绑定应用。 4. 勾选目标应用，点击“确定”即可批量绑定。 5. 在已绑定应用列表中，点击单个应用末尾的“解绑”按钮，可解除该应用与规则的绑定关系。 常见问题与说明 绑定应用后无效果？ 确认应用已正确选择并绑定，稍等片刻或刷新页面。 规则删除失败？ 检查是否有应用仍绑定该规则，需先解绑所有应用。 编辑规则后部分应用未生效？ 编辑后新配置仅对后续调度生效，已运行的应用需重启或重新调度。 注意 建议为不同业务类型的应用设置合理优先级，避免资源争抢。 编辑或删除规则前，请确认相关应用的运行影响。 批量操作时请谨慎选择目标应用，避免误操作。

使用场景 本地存储适用于对存储I/O性能、海量存储性价比有极高要求的业务场景。

参数 参数类型 是否必填 描述 spec.coolDown Integer 必填 冷却时间，单位为min spec.disable Bool 是 伸缩策略开关，会对策略中的所有规则生效 spec.rules Array 否 伸缩策略中的所有规则 spec.rules[x].action.type String 当spec.rules不为空时必填 规则操作类型，当前支持“ScaleUp”、“ScaleDown” spec.rules[x].action.unit String 当spec.rules不为空时必填 规则操作单位，当前仅支持“Node” spec.rules[x].action.value Integer 当spec.rules不为空时必填 规则操作数值 spec.rules[x].alarmTrigger / 否 可选，仅在告警规则中有效 spec.rules[x].alarmTrigger.evaluationCount Integer 当spec.rules[x].alarmTrigger不为空时必填 告警规则的连续持续n次，防止抖动，最小为1 spec.rules[x].alarmTrigger.fun String 当spec.rules[x].alarmTrigger不为空时必填 avg（平均值）、max（最大值）、min（最小值） spec.rules[x].alarmTrigger.metric String 当spec.rules[x].alarmTrigger不为空时必填 告警规则对应的指标，当前支持 diskreadbytesrate（磁盘读速率）、diskwritebytesrate（磁盘写速率）、memutil（内存使用率）、diskreadrequestsrate（磁盘读请求速率）、diskwriterequestsrate（磁盘写请求速率）、netoutbytesrate（网络流出速率）、netinbytesrate（网络流入速率） spec.rules[x].alarmTrigger.operator String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的比较符，取值范围：eq：等于。gt：大于。ge：大于等于。lt：小于。le：小于等于 spec.rules[x].alarmTrigger.period String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的监控周期，支持5m、20m、1h、4h、12h、24h spec.rules[x].alarmTrigger.value String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].cronTrigger / 否 可选，仅在周期规则中有效 spec.rules[x].cronTrigger.schedule String 当spec.rules[x].cronTrigger不为空时必填 周期规则的cron表达式 spec.rules[x].disable Bool 当spec.rules不为空时必填 规则开关，当前仅支持“false” spec.rules[x].metricTrigger / 否 可选，仅在指标规则中有效 spec.rules[x].metricTrigger.metricName String 当spec.rules[x].metricTrigger不为空时必填 指标规则对应的指标，当前支持“Cpu”和“Memory”两种类型 spec.rules[x].metricTrigger.metricOperation String 当spec.rules[x].metricTrigger不为空时必填 指标规则的比较符，当前仅支持“gt”、“lt” spec.rules[x].metricTrigger.metricValue String 当spec.rules[x].metricTrigger不为空时必填 指标规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].ruleName String 当spec.rules不为空时必填 规则名称，单个策略中唯一 spec.rules[x].type String 当spec.rules不为空时必填 规则类型，当前支持“Cron”、“Metric”、"Alarm"两种类型 spec.targetNodepools Array 必填 伸缩策略关联的节点池 spec.targetNodepools[x] String 必填 伸缩策略关联节点池名称

本节介绍了节点标签的用户指南。 操作场景 查看集群的节点信息，并对节点进行调度、驱逐、污点配置。 前提条件 在查看集群节点前，您需要存在⼀个可⽤集群。若没有可用集群，请参照订购集群 进⾏创建。 操作步骤 点击“ ...” 按钮，查看节点标签。 同时也可点击 设置标签 按钮，给节点配置上自定义标签。 添加完成后的标签，会在 标签列表 这个tab页展示出来，并可以进行删除操作。

集群版本 容器运行时 运行时版本 v1.23.3 containerd 1.6.23 v1.23.3 docker 20.10.12 v1.25.6 containerd 1.6.23 v1.25.6 docker 20.10.12 v1.27.8 containerd 1.6.23 v1.27.8 docker 20.10.12 v1.29.3 containerd 1.6.23 v1.29.3 docker 20.10.12

参数 类型 描述 是否必须 nodeName String 拓扑节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 是 newName String 拓扑节点的新名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 否 description String 节点描述信息。 取值：1~50位字符串。 否 parentName String 父节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 默认为根节点。 否

前提条件 已创建Kubernetes集群。 Kubernetes集群连通性正常。 已在Kubernetes集群中创建节点池。 节点池节点释放规则 删除节点池时，若节点池中存在节点则不允许删除。需要将节点移出节点池再删除。 操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的删除。

配置示例二：normalNodePrefer调度 创建以下Selector，首先kubescheduler默认只会调度pod到标准节点；当标准节点资源不足时导致调度失败时，cubevkprofile会为带有app: nginxnormal Label的Pod添加VNode Toleration，再次由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectornormal.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodenormal spec: objectLabels: matchLabels: app: nginxnormal effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: normalNodePrefer: {} 配置示例三：fair调度 创建以下Selector，cubevkprofile会为带有app: nginxfair Label的Pod添加VNode Toleration，由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectorfair.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodefair spec: objectLabels: matchLabels: app: nginxfair effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: fair: {} 配置示例四：normalNodeOnly调度 不需创建selector，默认情况下kubescheduler只会调度pod到标准节点；也可以创建以下Selector，cubevkprofile会为带有app: nginxecs Label的Pod添加effect中定义的Annotation和Label，由kubescheduler决定调度。 创建selector自定义资源对象，selectorecs.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testnginxecs spec: objectLabels: matchLabels: app: nginxecs effect: annotations: ccse.ctyun.cn/imagecache: "true" labels: ccseecs: "true" policy: normalNodeOnly: {}

本节介绍了 设置节点亲和调度（nodeAffinity）的用户指南。 在Kubernetes中，节点亲和性调度是一种强大的机制，它允许您根据节点的标签将工作负载精确地调度到具有特定属性（如GPU支持）的节点上。以下是如何配置和使用节点亲和性调度策略的简明指南。 配置节点亲和性调度策略 1. 标记节点：首先，确保您的GPU节点已被标记。在本例中，GPU节点被标记为gputrue。 2. 选择调度策略： 不配置：如果不设置节点亲和策略，Kubernetes将按照默认调度策略随机分配Pod。 指定节点调度：直接指定Pod部署的节点，适用于已知确切部署位置的情况。 指定节点池调度：指定Pod部署的节点池，适用于节点池管理策略。 自定义亲和策略：根据节点标签实现灵活调度。 3. 配置自定义亲和策略： 选择规则：在“自定义亲和策略”中，选择“必须满足”或“尽量满足”规则。 必须满足：硬约束，Pod只能调度到满足所有指定条件的节点上。 尽量满足：软约束，调度器会尝试调度到满足条件的节点，但即使不满足也会进行调度。 设置参数： 权重（仅“尽量满足”）：取值1100，作为调度时的附加评分项。 标签名：需要匹配的节点标签。 操作符：六种匹配关系（In、NotIn、Exists、DoesNotExist、Gt、Lt），用于定义标签与值的匹配逻辑。 标签值：与标签名对应的值。 4. 添加策略：在调度策略配置中，点击“添加策略”并填写上述参数。 5. 快速选择（可选）：通过“指定节点调度”或“指定节点池调度”快速选择目标节点或节点池，这些选项本质上也是基于标签实现的便捷操作。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，提供了一些建议参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： vers：表示指定 NFS 协议的版本 wsize：表示指定了 NFS 协议中用于写入的数据块大小（以字节为单位），设置较大的写入块大小可以提高写入性能 rsize：类似于 wsize，但用于读取的数据块大小 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 弹性文件存储类型：参数键为type，支持参数值如下： capacity：SFS Turbo标准型 performance：SFS Turbo性能型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有并行文件，再进行选择。 存储加密：选择加密后，需要选择具体的秘钥。用户需要提前创建好秘钥，供ccse控制台调用，当前仅支持默认秘钥和按需秘钥。

本节介绍了：弹性伸缩概述的用户指南。 弹性伸缩概述 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。本文介绍弹性伸缩的背景信息和弹性伸缩涉及的组件。 背景介绍 弹性伸缩是容器被广泛采用的功能，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。弹性伸缩分为两个维度： 调度层弹性，主要是负责修改负载的调度容量变化。例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。 资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECS等资源的方式进行调度容量的补充。 两层的弹性组件与能力可以分开使用，也可以结合在一起使用，并且两者之间是通过调度层面的容量状态进行解耦。 伸缩组件介绍 调度层弹性组件介绍 组件名称 组件介绍 适用场景 使用限制 HPA Kubernetes内置组件，主要面向在线业务。 在线业务 适用于Deployment、StatefulSet等实现scale接口的对象。 VPA（alpha） 开源社区组件，主要面向大型单体应用。 大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。 Cubescaler CCSE自研插件，主要面向应用资源使用率存在周期性变化的场景。 周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的对象。

本节介绍了模板实例的用户指南。 操作场景 模板实例展示的是用户已经模板的插件，用户可以在此界面中完成模板的更新、升级、删除等操作。 前提条件 在维护模板实例前，您需要存在一个可用集群。 在维护模板实例前，您需要先发布模板。 操作步骤 更新模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“更新”按钮。 步骤 4，在弹窗中编辑“values”内容，点击“确认”按钮完成更新。 升级模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“升级”按钮。 步骤 4，在升级界面中“选择Chart版本”，选择是否“使用原来的参数”，在弹窗中编辑“values”内容（可选），点击“确认”按钮完成升级。

本节介绍了模板市场的用户指南。 模板市场是云容器引擎基于Kubernetes Helm提供的应用模板管理和应用发布的能力，您可以将模板（Chart）上传到模板市场，然后利用模板市场实现模板的快速部署与后期管理，大幅简化Kubernetes资源的配置部署过程。 操作场景 上传模板和发布模板均使用到“模板市场”。上传模板需将模板上到“模板市场”容器镜像服务（CRS）实例命名空间中。发布模板则使用已经上传的模板部署工作负载。 前提条件 上传模板前，您需要存在一个可用集群。 发布模板前，您需要先上传模板。 操作步骤 上传模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，点击“上传模板”按钮。 步骤 3，在上传界面中，选择“镜像服务实例”，如需新增实例请到容器镜像服务控制台。 步骤 4，在上传界面中，选择“命名空间”，如需新增实例请到容器镜像服务控制台。 步骤 5，上传模板包（chart），完成后使用helm package 命令打包。 步骤 6，点击“提交”按钮，完成上传。 发布模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，选择具体的模板包。 步骤 3，在模板版本列表中选择具体的模板包版本。 步骤 4，在模板包版本中点击“发布”按钮。 步骤 5，在右侧的弹窗中填写“实例名称”，选择待发布的“集群名称”和“命名空间”，按需编辑“values”，点击“确认”完成发布。

本节介绍了ETCD备份保存到对象存储的用户指南。 进入云容器引擎的集群，在左侧菜单点击“插件”>“插件市场”，搜索“ccsebackup”插件，点击“安装”。 在弹出界面的参数设置部分，有以下这样的一段配置 本插件支持将备份包保存到对象存储或本地。默认地会使用本地存储，且将保存到“/home/docker/backup”目录下，如需要更替备份目录，可直接修改该字段的内容。 另外如果想把备份包存储到对象存储，则将上述配置修改，oss.provider需要改成 s3，另外OSS相关参数也需要填上，类似下面形式： oss: provider: "s3" accesskeyId: "yourossak" accesskeySecret: "yourosssk" bucket: "yourossbucket" endpoint: "yourossendpoint" local: path: "" 配置完成后，点击“安装”，界面会自动切换到“插件实例”，稍等片刻后，待插件安装完毕，即可开始使用。

本节介绍网络的用户指南：LoadBalancer类型Service 云容器引擎支持将Service通过负载均衡ELB向外暴露， 云容器引擎集群内置CCM（Cloud Controller Manager）插件，当Service的类型为LoadBalancer时，CCM插件会为Service配置负载均衡，并根据Service信息配置好负载均衡的后端服务器组、健康检查和监听规则等，使得用户可以通过负载均衡访问该Service。以下是使用负载均衡的步骤指引。 使用已有负载均衡暴露服务 前提条件 用户已提前在负载均衡控制台创建ELB实例，ELB实例需要与Service所在的容器集群在同一个VPC网络下。 注意事项 不同Service可以同时复用同一个负载均衡实例，复用同一个负载均衡实例需要避免不同Service使用相同的服务端口，否则存在监听配置被覆盖的情况 不能复用由CCM自动创建的或集群ApiServer使用的负载均衡实例 当Service删除时，使用已有的负载均衡不会被删除 集群Master节点不作为负载均衡实例的后端 操作步骤 1. 登录 云容器引擎 控制台，点击进入想要操作的集群，在左侧菜单选择“网络” “服务”； 2. 如下图，点击“新建”按钮新建服务，按照参数说明配置相关的参数； 服务访问方式：选择负载均衡 负载均衡：可根据业务需要选择私网访问或公网访问，集群内或同一VPC内访问建议选择私网访问即可；选择“使用已有负载均衡”；负载均衡实例列表会根据选择的私网/公网访问方式显示出对应的实例，选择想要使用的负载均衡实例即可 标签：根据需要可以为服务配置标签 注解：根据需要可以为服务配置注解 外部流量策略：Cluster或Local。Cluster策略下，集群所有可用工作节点都会挂载到负载均衡实例；Local策略下，只有Service对应的Pod所在节点会挂载到负载均衡实例 端口映射：配置好协议、容器端口及服务端口，其中容器端口为应用本身暴露的端口，服务端口则会作为负载均衡实例的监听端口 工作负载绑定：选择服务要关联的工作负载，也可以配置自定义标签关联 3. 创建服务后，在服务列表可以看到该服务，通过服务的集群外访问地址即可以访问该服务。

本节介绍网络的用户指南：Service概述 Pod地址可变性 Pod销毁重建后，其IP地址也会变化，例如deployment工作负载升级时，新建的pod地址会改变。Kubernetes的Service可提供一个固定的IP地址（来自订购集群时配置的服务网段）和Service域名，结合标签选择器，对一组pod做负载均衡。客户端可通过该地址或域名访问IP地址可变的pod。如下图所示，nginx部署的前端服务，通过service地址访问后端服务. Service类型 Service支持如下类型： 1. ClusterIP：Service默认类型，用于集群内应用间访问，客户端可通过ClusterIP或内部Service域名访问后端Pod； 2. NodePort：用于集群外部访问集群内服务，将Service通过集群节点固定端口暴露，集群外部可通过任一集群节点IP和该固定端口来访问Serivce； 3. LoadBalancer：用于集群外部访问集群内服务，通过LoadBalancer实例访问NodePort或直通Pod，相对于NodePort方式，有更高的可用性和性能； 4. Headless：该类Service没有IP地址，可用于DNS负载均衡场景，客户端访问Service域名时会通过DNS返回该Service所有后端Pod的IP地址； 5. ExternalName：将集群外部域名映射到集群内部Service上，使得集群内可通过Service名访问外部域名。 Service创建 登录云容器引擎控制台，进入指定集群，选择服务（Service）>创建，按需配置信息即可。

名称 说明 名称 必填，还原任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且还原任务是当前集群中唯一 重定义命名空间 选填，可以将备份包中指定命名空间的资源还原到目标命名空间中 数据清洗 选填，此属于高级选项，可对导入资源的Annotation和Lable值进行增删替换操作

本节介绍了云审计的用户指南。 操作场景 本服务现已对接天翼云++云审计++，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考++使用限制云审计++。 操作步骤 1. 开通云审计服务。 参见++开通云审计服务云审计++。 2. 查看云审计事件。 参见++查看审计事件云审计++。 3. 在事件列表中，选择事件来源为“容器”，资源类型选择“云容器引擎”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考++用户指南、++++常见问题++。

本节介绍了设置负载的节点选择器（nodeSelector）的用户指南。 在Kubernetes中，调度Pod到特定节点的最简单方法是通过工作负载配置中的nodeSelector字段。它允许您指定目标节点的标签，Kubernetes将仅把Pod调度到匹配这些标签的节点上。 前提条件 为了使用nodeSelector，您首先需要为目标节点添加自定义标签。添加标签的具体步骤，请参考节点标签指南。 一旦节点被正确标记，您就可以在工作负载的定义中设置nodeSelector字段，指定希望Pod调度的节点标签。这样，Kubernetes调度器就会自动将Pod分配到符合条件的节点上，确保工作负载能够运行在您期望的环境中。 设置负载的节点选择器 进入创建负载的页面，在高级配置中，选择调度策略，在节点选择器中，选择节点标签。

NodeComponent检查 检查项名称 说明 修复方案 检查节点CNI组件状态是否正常 检查节点上CNI组件Pod是否正常。 请检查集群网络组件状态。具体操作，请参见Pod异常问题排查。 检查节点CSI组件状态是否正常 检查节点上CSI组件Pod是否正常。 请检查集群件存储组件状态。具体操作，请参见Pod异常问题排查。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。

本节介绍网络的用户指南：Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍了事件中心的用户指南。 K8S Event是集群中某个事件的报告，它一般表示系统的某些状态变化，通过事件可以查看集群的状态变更，包括创建Pod、运行Pod、删除Pod、组件异常等。事件中心提供集群中最近一小时的所有事件的查询；通过安装日志插件及事件中心插件，可以把集群的事件持久化到日志服务，从而能够查询更长时间的事件。 操作步骤 查询集群最近一小时的事件 可以通过以下两种方式查询集群最近一小时的事件。 方式一：在集群概览页中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【集群信息】中选择【概览】Tab页即可查看集群一小时内的事件。 2、您也可以点击【下载】将事件保存为Excel文件。 方式二：在事件中心中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【运维管理】中选择【事件中心】。 2、选择【事件列表】Tab页即可查看集群一小时内的事件。您也可以选择级别、命名空间、类型、名称对事件列表进行过滤。 将集群事件持久化到日志服务 1、选择指定容器集群，确保已开通云日志服务并安装ctglogoperator插件和cubeeventer插件，插件安装可参考 用户指南 > 插件 章节。 2、在菜单栏【运维管理】中选择【事件中心】。 3、选择【事件查询】，可以通过开始时间、结束时间、关键词过滤事件日志。

操作步骤：为单个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择 服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户 > 查看 > 权限管理 > 新增权限 为用户授予IAM权限。 4、云容器引擎预定义了系统策略，直接选择并点击下一步及确定。 操作步骤：为多个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户组 > 创建用户组 创建用户组。 4、点击 用户组管理 将需要授权的子用户加到用户组。 5、点击 授权 为用户组授予IAM权限。 6、容器引擎预定义了系统策略，直接选择并点击下一步及确定。 RBAC授权指引 前提条件：已创建容器集群，具体操作请参见 用户指南 > 集群管理 > 新建集群 章节。若已有容器集群，无需重复操作。

本节介绍网络的用户指南： CoreDNS介绍。 CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管。 云容器引擎订购的集群使用CoreDNS负责集群的服务发现，可根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 默认配置 在命名空间kubesystem下，有一个名为coreDNS的配置项。CoreDNS会基于该配置项启用和配置插件。不同CoreDNS版本的配置项有略微差异，修改配置前请仔细阅读CoreDNS官方文档。 以下是一个1.6.2版本CoreDNS默认采用的配置文件： Corefile: .:53 { errors log health { lameduck 15s } ready kubernetes {{.ClusterDomain}} inaddr.arpa ip6.arpa { pods verified fallthrough inaddr.arpa ip6.arpa } prometheus :9153 forward . /etc/resolv.conf { preferudp } cache 30 loop reload loadbalance } 配置文件中ClusterDomain代指集群创建过程中填写的集群本地域名，默认值为cluster.local。配置项说明如下： 参数 描述 errors 错误信息到标准输出。 health CoreDNS自身健康状态报告，默认监听端口8080，一般用来做健康检查，可以通过 获取健康状态。 ready CoreDNS插件状态报告，默认监听端口8181，一般用来做可读性检查，可以通过 获取可读状态。当所有插件都运行后，ready状态为200。 kubernetes CoreDNS Kubernetes插件，提供集群内服务解析能力。 prometheus CoreDNS自身metrics数据接口，可以通过 获取prometheus格式的监控数据。 forward（或proxy） 将域名查询请求转到预定义的DNS服务器。默认配置中，当域名不在Kubernetes域时，将请求转发到预定义的解析器（/etc/resolv.conf）中。默认使用宿主机的/etc/resolv.conf配置。 cache DNS缓存。 loop 环路检测，如果检测到环路，则停止CoreDNS。 reload 允许自动重新加载已更改的Corefile。编辑ConfigMap配置后，请等待两分钟以使更改生效。 loadbalance 循环DNS负载均衡器，可以在答案中随机A、AAAA、MX记录的顺序。

合理分配CoreDNS副本运行的位置 建议您在部署CoreDNS副本时，应将CoreDNS副本打散在不同可用区、不同集群节点上，避免单节点、单可用区故障。CoreDNS默认配置了按节点的弱反亲和性，可能会因为节点资源不足导致部分或全部副本部署在同一节点上，如果遇到这种情况，请删除Pod重新触发其调度来调整。 CoreDNS所运行的集群节点应避免CPU、内存用满的情况，否则会影响域名解析的QPS和响应延迟。当集群节点条件允许时，可以考虑使用自定义参数将CoreDNS调度至独立的集群节点上，以提供稳定的域名解析服务。关于CoreDNS调度至独立的集群节点的方式，请参见使用自定义参数完成CoreDNS独占部署。 手动扩容副本数 当集群节点数长时间较为固定时，您可以通过以下命令扩容CoreDNS副本数。 kubectl scale replicas{target} deployment/coredns n kubesystem 基于CPU负载指标自动扩容副本数（HPA） 由于HPA会频繁触发CoreDNS副本缩容，建议您不要使用容器水平扩缩容（HPA），如果您的场景下必须依赖于HPA，请参考以下基于CPU负载的策略配置： apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata: name: corednshpa namespace: kubesystem spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: coredns minReplicas: 2 maxReplicas: 10 metrics: type: Resource resource: name: cpu targetAverageUtilization: 50 合理配置CoreDNS 云容器引擎仅提供CoreDNS的默认配置，您应关注配置中的各个参数、优化其配置，以使CoreDNS可以为您的业务容器正常提供DNS服务。CoreDNS的配置非常灵活。 早期版本随Kubernetes集群部署的CoreDNS默认配置可能存在一些风险，推荐您按以下方式检查和优化： 合理调整CoreDNS的资源Request和Limit 关闭kubedns服务的亲和性配置 配置CoreDNS优雅退出 配置Ready就绪探针插件

步骤二：购买弹性IP 步骤三：购买NAT网关及配置路由 参考：点这里 步骤四：配置SNA规则 进入上一步创建的NAT网关； 选择“添加SNAT”规则； “源网段类型”选择VPC内子网； 子网选择步骤一中确定的子网网段； 弹性ip选择步骤二中新建的弹性ip； 点击“确定”，完成SNAT规则添加。 步骤五：进入指定pod，测试连通性 在步骤一的pod列表中，选择pod，进行“远程登录”： 在命令窗口，执行“ping www.ctyun.com” 能ping通，说明pod内服务可以访问公网。