注意事项 单一规格的ECS库存容量波动较大，建议在伸缩组中配置库存充裕的实例规格，提高节点伸缩成功率。 由于节点标签和污点配置映射到伸缩组Tag后自动伸缩才可识别，并且伸缩组Tag有数目上限限制，开启自动伸缩的节点池配置的ECS标签、污点和节点标签的总数需要控制在一定数量之内。 自动伸缩的节点池避免手动干预，经过弹性伸缩的ECS在移出节点池后，但在伸缩组中还存在，缩容时也会缩该节点。 常见问题 为什么节点自动伸缩组件无法弹出节点？ 请检查是否存在如下几种场景： 1、配置伸缩组的实例规格无法满足Pod的资源申请（Request）。或者实例规则是已售罄的规格，实际运行时请考虑以下资源预留。 在创建实例的过程中因为虚拟化、OS占用掉一部分。 需要占用一定的节点资源来运行相关组件（例如kubelet、kubeproxy、calico、Container Runtime等）。 默认节点会安装系统组件，Pod的申请资源要小于实例的规格。 2、开启自动伸缩的节点池中出现如下异常情况。 实例未加入到集群且超时。 节点未ready且超时。 为保证后续扩缩准确性，弹性插件以阻塞方式处理异常情况，在处理完异常情况节点前，不进行扩缩容。 为什么节点自动伸缩组件无法缩容节点？ 请检查是否存在如下几种场景： 节点Pod的资源申请（Request）阈值高于设置的缩容阈值。 节点上运行kubesystem命名空间的Pod。 节点上的Pod包含强制的调度策略，导致其他节点无法运行此Pod。 节点上的Pod拥有PodDisruptionBudget，且到达了PodDisruptionBudget的最小值。

弹性伸缩策略配置说明 自定义规则 规则类型 参数设置 指标触发 触发条件 当节点池内任一节点的CPU、内存满足设置的阈值 执行动作：达到触发条件后所要执行的动作。 定时触发 触发时间：可选择每天、每周、每月或每年的具体时间点。 执行动作：达到触发时间值后所要执行的动作，为节点池增加或减少指定数量的节点 告警触发 触发时间：当节点池内任一节点的告警指标满足设置的阈值 执行动作：达到触发条件后所要执行的动作，为节点池增加或减少指定数量的节点 冷却时间 冷却时间为节点池级别的配置，当上一次触发扩缩之后在冷却时间内即使弹性伸缩条件满足，也不会触发弹性伸缩 YAML样式 plaintext kind: HorizontalNodeAutoscaler apiVersion: autoscaler.ccse.ctyun.cn/v1 metadata: name: {节点池名称}{集群Id} // defaulta2f1e09a01da444d989f7861a55c1c5e spec: disable: false //禁用状态，false表示开启 rules: action: type: ScaleUp //ScaleDown表示缩容，ScaleUp表示扩容 unit: Node //当前仅支持Node value: 1 //扩缩节点的数量 cronTrigger: //当type为Cron时，传cronTrigger；type为Metric时传metricTrigger；type为Alarm时传alarmTrigger schedule: 8 17 //定时的cron表达式 disable: false ruleName: rule04130 //每一个rule的ruleName唯一即可, type: Cron //策略类型，包括Cron（定时）、Metric（监控）、Alarm（告警） action: type: ScaleUp unit: Node value: 1 disable: false //禁用状态 metricTrigger: //type为Metric时传metricTrigger metricName: cpuutil //指标名称，支持cpuutil、memutil metricOperation: gt //gt大于,lt：小于 metricValue: '80' //阈值 ruleName: rule09974 type: Metric action: type: ScaleUp unit: Node value: 1 disable: false alarmTrigger: evaluationCount: 2 //199 ，连续出现n次 fun: avg //avg（平均值）、max（最大值）、min（最小值） metric: cpuutil //diskreadbytesrate（磁盘读速率）、diskwritebytesrate（磁盘写速率）、memutil（内存使用率）、diskreadrequestsrate（磁盘读请求速率）、diskwriterequestsrate（磁盘写请求速率）、netoutbytesrate（网络流出速率）、netinbytesrate（网络流入速率） operator: ge //取值范围：eq：等于。gt：大于。ge：大于等于。lt：小于。le：小于等于 value: '80' //阈值 period: 5m //监控周期 ruleName: rule42857 type: Alarm targetNodepools: default //节点池的名称 coolDown: 3 //冷却时间，单位为min 关键参数说明 参数 参数类型 是否必填 描述 spec.coolDown Integer 必填 冷却时间，单位为min spec.disable Bool 是 伸缩策略开关，会对策略中的所有规则生效 spec.rules Array 否 伸缩策略中的所有规则 spec.rules[x].action.type String 当spec.rules不为空时必填 规则操作类型，当前支持“ScaleUp”、“ScaleDown” spec.rules[x].action.unit String 当spec.rules不为空时必填 规则操作单位，当前仅支持“Node” spec.rules[x].action.value Integer 当spec.rules不为空时必填 规则操作数值 spec.rules[x].alarmTrigger / 否 可选，仅在告警规则中有效 spec.rules[x].alarmTrigger.evaluationCount Integer 当spec.rules[x].alarmTrigger不为空时必填 告警规则的连续持续n次，防止抖动，最小为1 spec.rules[x].alarmTrigger.fun String 当spec.rules[x].alarmTrigger不为空时必填 avg（平均值）、max（最大值）、min（最小值） spec.rules[x].alarmTrigger.metric String 当spec.rules[x].alarmTrigger不为空时必填 告警规则对应的指标，当前支持 diskreadbytesrate（磁盘读速率）、diskwritebytesrate（磁盘写速率）、memutil（内存使用率）、diskreadrequestsrate（磁盘读请求速率）、diskwriterequestsrate（磁盘写请求速率）、netoutbytesrate（网络流出速率）、netinbytesrate（网络流入速率） spec.rules[x].alarmTrigger.operator String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的比较符，取值范围：eq：等于。gt：大于。ge：大于等于。lt：小于。le：小于等于 spec.rules[x].alarmTrigger.period String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的监控周期，支持5m、20m、1h、4h、12h、24h spec.rules[x].alarmTrigger.value String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].cronTrigger / 否 可选，仅在周期规则中有效 spec.rules[x].cronTrigger.schedule String 当spec.rules[x].cronTrigger不为空时必填 周期规则的cron表达式 spec.rules[x].disable Bool 当spec.rules不为空时必填 规则开关，当前仅支持“false” spec.rules[x].metricTrigger / 否 可选，仅在指标规则中有效 spec.rules[x].metricTrigger.metricName String 当spec.rules[x].metricTrigger不为空时必填 指标规则对应的指标，当前支持“Cpu”和“Memory”两种类型 spec.rules[x].metricTrigger.metricOperation String 当spec.rules[x].metricTrigger不为空时必填 指标规则的比较符，当前仅支持“gt”、“lt” spec.rules[x].metricTrigger.metricValue String 当spec.rules[x].metricTrigger不为空时必填 指标规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].ruleName String 当spec.rules不为空时必填 规则名称，单个策略中唯一 spec.rules[x].type String 当spec.rules不为空时必填 规则类型，当前支持“Cron”、“Metric”、"Alarm"三种类型 spec.targetNodepools Array 必填 伸缩策略关联的节点池 spec.targetNodepools[x] String 必填 伸缩策略关联节点池名称

插件状态名称 插件状态值 插件状态含义 安装中 pendinginstall 插件相关资源已提交到Kubernetes集群中，相关工作负载正在等待安装或安装中 已安装 deployed 插件相关资源已提交到Kubernetes集群中，相关工作负载(除DaemonSet外)的Pod在集群中已正常Running 安装失败 failed 插件相关资源在提交到Kubernetes集群过程中出现异常，导致插件安装失败 卸载中 uninstalling 插件相关资源正在清理中 升级中 pendingupgrade 插件相关资源已提交到Kubernetes集群中，相关工作负载正在等待升级或升级中 回滚中 pendingrollback 插件相关资源已提交到Kubernetes集群中，相关工作负载正在等待回滚或回滚中 部分就绪 available 插件相关资源已提交到Kubernetes集群中，相关工作负载在集群中至少存在一个非Running状态的Pod 不可用 unavailable 插件相关资源已提交到Kubernetes集群中，相关工作负载的所有Pod在集群中均未Running

插件状态名称 插件状态值 插件状态含义 安装中 pendinginstall 插件相关资源已提交到Kubernetes集群中，相关工作负载正在等待安装或安装中 已安装 deployed 插件相关资源已提交到Kubernetes集群中，相关工作负载(除DaemonSet外)的Pod在集群中已正常Running 安装失败 failed 插件相关资源在提交到Kubernetes集群过程中出现异常，导致插件安装失败 卸载中 uninstalling 插件相关资源正在清理中 升级中 pendingupgrade 插件相关资源已提交到Kubernetes集群中，相关工作负载正在等待升级或升级中 回滚中 pendingrollback 插件相关资源已提交到Kubernetes集群中，相关工作负载正在等待回滚或回滚中 部分就绪 available 插件相关资源已提交到Kubernetes集群中，相关工作负载在集群中至少存在一个非Running状态的Pod 不可用 unavailable 插件相关资源已提交到Kubernetes集群中，相关工作负载的所有Pod在集群中均未Running

本节介绍了:使用容器镜像服务发布容器应用。 操作场景 在云容器引擎中使用容器镜像服务中的容器镜像，发布一个容器应用。 前提条件 已开通容器镜像服务实例，如没有容器镜像实例，可参考创建容器镜像服务进行创建。 已开通容器集群，如没有容器集群，可参考创建容器集群进行创建。 操作步骤 准备容器镜像 用户可以根据自身的业务需求，通过Dockerfile构建镜像或者使用其它已经构建好的镜像。本文使用hub上的nginx官方镜像为例。执行以下命令拉取镜像： docker pull nginx:stablealpine 将容器镜像推送到容器镜像服务实例 在容器镜像服务中创建命名空间（可选：也可以直接使用已经创建好的命名空间） 1、登录容器镜像服务控制台。 2、左侧导航栏点击【容器镜像>命名空间】。 3、在命名空间页面点击创建命名空间按钮，创建一个名称为 mydemons 的命名空间。 在容器镜像服务中创建镜像仓库（可选：当命名空间设置为允许自动创建仓库时，可以直接通过推送镜像来创建镜像仓库） 1、登录容器镜像服务控制台。 2、左侧导航栏点击【容器镜像>镜像仓库】。 3、在镜像仓库页面点击创建仓库按钮，创建一个名称为 nginx 的私有镜像仓库。

执行docker tag并推送镜像 plaintext docker tag nginx:stablealpine /mydemons/nginx:stablealpine docker login docker push /mydemons/nginx:stablealpine 推送成功后，可以在创建的nginx镜像仓库看到镜像的版本。 云容器引擎中创建镜像拉取凭证（可选） 如果上一步骤推送的镜像仓库属性为公共的，则不需要进行此操作，否则需要按以下步骤创建镜像拉取凭证： 1、登录云容器引擎控制台。 2、左侧导航栏点击集群，在集群管理页面点击已有集群名称。 3、进入集群信息页面，左侧导航栏点击命名空间，并点击页面的创建按钮创建命名空间（可选：也可以直接使用已经创建好的命名空间）。 4、左侧导航栏点击【配置管理 >镜像拉取凭证】 ，并点击页面中的新增按钮，填写创建镜像拉取凭证的相关信息，点击提交完成创建。 云容器引擎中发布工作负载 1、登录云容器引擎控制台。 2、左侧导航栏点击集群，在集群管理页面点击已有集群名称进入集群信息页面。 3、左侧导航栏点击【工作负载>无状态】 ，并点击页面中的新增按钮，在新建页面实例内容器里点击选择镜像 ，选择之前已推送的镜像。 4、在新建页面里点击显示高级设置 ，在镜像拉取凭证栏点击添加，并选择之前已新建的镜像拉取凭证。 完成其他相关配置后，点击提交即可发布工作负载。

图解：DeepSeek与公有云深度融合 从基础设施到智能中枢：DeepSeek如何重塑公有云服务价值链 高性能GPU云主机助力DeepSeek深度应用 实践指南：DeepSeek驱动高效能云生态 GPU云主机/弹性云主机：零基础搭建DeepSeek云端环境指南 GPU物理机：物理机搭建DeepSeek指南 智算容器：云容器引擎与DeepSeek融合实践 函数计算：天翼云函数计算与DeepSeek大模型 Q&A：典型问题解析与策略应对 常见问题解答

步骤3：实现蓝绿发布 1、为部署的Deployment创建LoadBalancer类型的Service对外暴露服务，指定使用v1版本的服务。YAML示例如下： apiVersion: v1 kind: Service metadata: annotations: service.beta.kubernetes.io/ctyunloadbalancerid: 586c97daa47c467ca615bd25a20de39c ELB实例的ID，请替换为实际取值 name: appservice spec: ports: name: service0 port: 80 protocol: TCP targetPort: 80 selector: selector中指定version为v1 app: myapp version: v1 type: LoadBalancer 类型为LoadBalancer 2、访问若干次，结果均为v1版本的响应。 3、通过控制台或kubectl方式修改Service的selector，使其选中v2版本的服务。 kubectl patch service appservice p '{"spec":{"selector":{"version":"v2"}}}' 4、再次访问若干次，均为v2版本的响应，成功实现了蓝绿发布。

本节介绍了负载调度策略概述。 在Kubernetes体系内，Pod构成了工作负载调度的核心单元。当创建工作负载时，调度系统会自动为Pod分配合理的位置，例如将它们分散到资源充裕的节点上。尽管调度器的默认设置足以应对许多基础需求，但在特定场景下，用户可能希望对Pod的部署位置进行更为精细的控制。为此，Kubernetes提供了在工作负载定义中自定义调度策略的功能。具体示例如下： 将前端与后端应用部署在同一位置，有助于缩减延迟，因为它们可以共享物理资源。 某些应用需部署在特定节点上，以确保关键应用始终运行在最优硬件或配置上。 不同应用部署在不同节点上，有助于实现应用隔离，防止问题扩散。 Kubernetes中Pod调度策略 节点选择（nodeSelector）：这是最简单的调度方式，通过节点标签选择目标节点，仅将Pod调度到拥有特定标签的节点。参考指引：设置负载的节点选择器（nodeSelector） 节点亲和性（nodeAffinity）：节点亲和性不仅具备nodeSelector的功能，而且更为强大。它允许您根据节点标签使用标签选择器筛选亲和节点，支持必须满足和尽量满足的规则。参考指引：设置节点亲和调度（nodeAffinity） 工作负载亲和性/反亲和性（podAffinity/podAntiAffinity）：根据工作负载标签，使用标签选择器筛选亲和/反亲和的Pod，并将新工作负载调度/不调度至目标Pod所在节点（或节点组），同样支持必须满足和尽量满足的规则。参考指引：设置工作负载亲和/反亲和调度（podAffinity/podAntiAffinity） 注意 1. 若同时指定nodeSelector和nodeAffinity，则两者条件均需满足，Pod才能被调度到候选节点。 2. 在大规模集群中，由于工作负载亲和性和反亲和性需要额外计算时间，可能会显著降低调度速度，因此不建议在包含数百个节点的集群中使用工作负载亲和/反亲和调度策略。

本节介绍了用户指南:使用OceanFS动态存储卷(subPath模式)。 云容器引擎支持使用天翼云海量文件存储持久卷。cstorcsi插件支持使用海量文件服务动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录，以满足数据持久化需求。 subPath模式是指将海量文件存储中的指定子目录作为持久卷使用。当用户挂载持久卷声明时，持久卷中记录的子目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 参见海量文件使用限制 通过控制台使用海量文件动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 选择新建子目录模式。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，仅支持Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 参数 海量文件名称：需要选择一个海量文件，后续会基于该海量文件分配子目录 子目录回收策略： 保留：当持久卷被csi删除时，会保留子目录在文件存储中，不做删除。默认为该选项。 删除：当持久卷被csi删除时，会删除文件存储中对应的子目录，数据无法恢复。 注意 删除子目录属于高危操作，请谨慎选择“删除”子目录回收策略。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

本节介绍云容器引擎的最佳实践: 应用高可用部署推荐。 基本原则 可参考如下几点，实现容器应用高可用部署： 1. 集群控制节点高可用，控制节点数大于等于3； 2. 集群需有多个属于不同可用区的节点，业务根据自身需求合理配置调度策略，以实现多可用区部署及资源均匀分配； 3. 创建多个在不同可用区的节点池，通过节点池做节点伸缩； 4. 工作负载实例数需大于等于2； 5. 配置工作负载的亲和性规则，让Pod尽量分布在不同可用区、不同节点上。 操作步骤 假设集群3个控制节点和3个工作节点，工作节点可用区分布如下所示： $ kubectl get node L topology.kubernetes.io/zone grep v master NAME STATUS ROLES AGE VERSION ZONE ccseagent1b54ffbc17 Ready 40m v1.25.6 cnxinan11A ccseagent59ab9e7689 Ready 38m v1.25.6 cnxinan12A ccseagenta7527e3e80 Ready 36m v1.25.6 cnxinan13A 创建工作负载，如下所示，定义两条podAntiAffinity反亲和性规则： 工作负载多实例配置可用区反亲和，参数设置如下： 权重weight：权重值越高会被优先调度，本示例设置为50； 拓扑域topologyKey：为节点标签，用于指定调度时的作用域，下述示例为topology.kubernetes.io/zone，该标签用于识别节点在哪个可用区。 标签选择labelSelector：选择Pod的标签，与工作负载本身反亲和。 工作负载多实例配置节点反亲和，参数设置如下： 权重weight：设置为50； 拓扑域topologyKey：为标签kubernetes.io/hostname，该标签值为节点名； 标签选择labelSelector：即工作负载多个实例Pod的标签，实例间反亲和。 kind: Deployment apiVersion: apps/v1 metadata: name: demo namespace: default spec: replicas: 2 selector: matchLabels: app: demo template: metadata: labels: app: demo spec: containers: name: container0 image: nginx:latest resources: limits: cpu: 500m memory: 512Mi requests: cpu: 400m memory: 512Mi affinity: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: weight: 50 podAffinityTerm: labelSelector:

本节介绍了保密字典的用户指南。 操作场景 保密字典（Secret） 是⼀种包含少量敏感信息例如密码、令牌或密钥的对象。这样的信息可能会被放在 Pod 规约中或者镜像中。 使用 保密字典 意味着你不需要在应用程序代码中包含机密数据。保密字典类似于配置项但专门用于保存机密数据。 前提条件 已创建容器集群，具体操作请详见：订购集群。若已有容器集群，无需重复操作。 操作步骤 创建保密字典 方式1：通过界面创建保密字典 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要创建保密字典的集群，进⼊集群管理页面。 3、在集群管理页面导航栏中选择配置管理 > 保密字典，进入保密字典信息页面。 4、点击新建，进入新建保密字典页面。 5、根据实际需求，设置参数。参数说明可参考下表： 参数 参数说明 名称 新建的保密字典名称，同⼀个命名空间⾥命名必须唯⼀ 类型 包含Opaque、镜像拉取凭证、TLS证书以及其他 标签 标签（Labels）是附加到Kubernetes对象（比如Pod、Service、ConfigMap等）上的键值对。 标签定义了这些对象的可识别属性，用来对它们进行管理和选择 1. 点击标签添加⼀个标签 2. 输⼊标签名（key）和标签值（value） 注解 注解（Annotation）是附加到Kubernetes对象（比如Pod、Service、ConfigMap等）上的键值对 注解定义对象的非标识属性 1. 点击注解添加⼀个注解 2. 输入注解名（key）和注解值（value） 内容 保密字典定义的配置数据，可以挂在到容器中使用，或用来存储配置数据 1. 输入变量名和变量值 2. 也可以导入文件作为保密字典（文件名即变量名，文件内容即变量值） 6、点击提交，完成创建。 方式2：使⽤Yaml创建保密字典 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进⼊集群列表页。 2、在集群列表中点击需要创建保密字典的集群，进⼊集群管理页面。 3、在集群管理页面导航栏中选择配置管理 > 保密字典，进⼊保密字典信息页面。 4、点击新建YAML，进⼊保密字典/新增Yaml页面。 5、Yaml编辑窗口提供⼀个默认的保密字典Yaml模板，可参考模板创建需要的保密字典。

注解 描述 支持的CCM版本 service.beta.kubernetes.io/ctyunloadbalancerconnectiondrain 是否开启连接优雅中断。取值：on、off v1.7.0及以上 service.beta.kubernetes.io/ctyunloadbalancerconnectiondraintimeoutseconds 设置连接优雅中断超时时间。单位：秒。取值范围为[0, 900]。 v1.7.0及以上

查看与编辑混部规则详情 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击左上角“编辑”按钮，可修改 QoS 类型及负载感知调度器设置。 绑定与解绑应用 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击“绑定”按钮，弹出批量绑定应用窗口。 3. 可通过命名空间、工作负载类型等筛选待绑定应用。 4. 勾选目标应用，点击“确定”即可批量绑定。 5. 在已绑定应用列表中，点击单个应用末尾的“解绑”按钮，可解除该应用与规则的绑定关系。 常见问题与说明 绑定应用后无效果？ 确认应用已正确选择并绑定，稍等片刻或刷新页面。 规则删除失败？ 检查是否有应用仍绑定该规则，需先解绑所有应用。 编辑规则后部分应用未生效？ 编辑后新配置仅对后续调度生效，已运行的应用需重启或重新调度。 注意 建议为不同业务类型的应用设置合理优先级，避免资源争抢。 编辑或删除规则前，请确认相关应用的运行影响。 批量操作时请谨慎选择目标应用，避免误操作。

本节介绍使用在离线混部插件安装与卸载的用户指南 通过安装或卸载在离线应用混部插件，您可以顺利开启或关闭混部能力。 适用场景 首次安装混部插件，启用混部能力。 需要卸载混部插件，关闭混部相关功能。 安装插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“安装”按钮进行安装混部插件。 2. 系统将自动开始部署混部插件，过程通常需要数分钟。 3. 部署完成后，页面状态会自动刷新为“已部署”。 卸载插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“卸载”按钮进行卸载混部插件。 2. 系统将自动移除混部插件。 3. 卸载完成后，页面状态会变为“未安装”。

本节介绍高优先级应用的CPU独占与隔离的用户指南。 为高优先级应用（LSE优先级）配置CPU独占与隔离，可以确保关键业务应用获得独占的CPU资源，避免与其他应用争抢资源，从而保证应用性能的稳定性和可预测性。 适用场景 需要为关键业务应用提供独占CPU资源，确保性能稳定 需要避免高优先级应用与低优先级应用之间的CPU资源争抢 需要验证CPU独占与隔离配置是否生效 功能概览 CPU核级独占：为高优先级应用分配独占的CPU核心 资源隔离：通过cgroup cpuset确保其他应用不会使用已分配的CPU核心 优先级保障：与混部优先级系统集成，支持LSE（LatencySensitiveExclusive）优先级 操作指南 环境准备 确保集群中已安装并配置好koordruntimeproxy组件，并已正确配置kubelet使用该runtime proxy。 1、检查节点状态 plaintext kubectl get node o wide 确认目标节点状态为Ready，并记录节点名称。 2、检查 DaemonSet 状态 plaintext kubectl n koordinatorsystem get ds koordruntimeproxy koordruntimeproxyarm64 确保DaemonSet状态正常。 创建高优先级应用 1、LSE优先级绑定 无需手动创建 ColocationProfile；请参照在离线应用优先级管理文档中的步骤，将应用与 LSE 优先级配置进行绑定。 2、创建高优先级应用 创建以下YAML文件并应用，部署一个高优先级应用： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: nginx namespace: defaultspec: replicas: 2 selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 koordinator.sh/colocationprofile: highest spec: nodeSelector: ccse.ctyun.cn/hostcode: amd643559d 替换为实际节点名称 containers: image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim name: container1 resources: limits: cpu: "1" memory: 512Mi requests: cpu: "1" memory: 512Mi

本节介绍使容器网络限速的用户指南。 在离线应用混部中通过使用容器网络限速，帮助用户为不同应用配置网络带宽限制与优先级，提升集群资源隔离与网络体验。 适用场景 需要对容器的入站/出站网络带宽进行限制，防止单一业务占用过多带宽。 希望为延迟敏感或大带宽业务设置网络优先级，实现更优的流量调度。 功能说明 带宽限制 网络优先级控制 配置方法 启用网络优先级能力（可选） 如需使用网络优先级控制，请确保集群已启用 Cubecni 的优先级功能： 1. 编辑 Cubecni 配置： plaintext kubectl n kubesystem edit cm cubecniconfig 2. 在 10cubecni.conflist 下添加/修改 enablenetworkpriority 为 true： plaintext { "cniVersion": "0.3.1", "name": "cubecni", "plugins": [ { "type": "cubecni", "capabilities": {"bandwidth": true}, "enablenetworkpriority": true } ]} 3. 滚动重启 Cubecni Pod： plaintext kubectl n kubesystem rollout restart ds/cubecni kubectl n kubesystem get po l appcubecni owide w 配置带宽与优先级注解 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加带宽和优先级注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: netperfclient8000 namespace: demospec: replicas: 2 template: metadata: annotations: kubernetes.io/egressbandwidth: 10M kubernetes.io/ingressbandwidth: 20M k8s.ctyun.com/networkpriority: guaranteed spec: containers: name: netperf image: ciliumnetperf:2.0

本节介绍高优先级应用的CPU独占与隔离的用户指南。 为高优先级应用（LSE优先级）配置CPU独占与隔离，可以确保关键业务应用获得独占的CPU资源，避免与其他应用争抢资源，从而保证应用性能的稳定性和可预测性。 适用场景 需要为关键业务应用提供独占CPU资源，确保性能稳定 需要避免高优先级应用与低优先级应用之间的CPU资源争抢 需要验证CPU独占与隔离配置是否生效 功能概览 CPU核级独占：为高优先级应用分配独占的CPU核心 资源隔离：通过cgroup cpuset确保其他应用不会使用已分配的CPU核心 优先级保障：与混部优先级系统集成，支持LSE（LatencySensitiveExclusive）优先级 操作指南 环境准备 确保集群中已安装并配置好koordruntimeproxy组件，并已正确配置kubelet使用该runtime proxy。 1、检查节点状态 plaintext kubectl get node o wide 确认目标节点状态为Ready，并记录节点名称。 2、检查 DaemonSet 状态 plaintext kubectl n koordinatorsystem get ds koordruntimeproxy koordruntimeproxyarm64 确保DaemonSet状态正常。 创建高优先级应用 1、LSE优先级绑定 无需手动创建 ColocationProfile；请参照在离线应用优先级管理文档中的步骤，将应用与 LSE 优先级配置进行绑定。 2、创建高优先级应用 创建以下YAML文件并应用，部署一个高优先级应用： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: nginx namespace: defaultspec: replicas: 2 selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 koordinator.sh/colocationprofile: highest spec: nodeSelector: ccse.ctyun.cn/hostcode: amd643559d 替换为实际节点名称 containers: image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim name: container1 resources: limits: cpu: "1" memory: 512Mi requests: cpu: "1" memory: 512Mi

本节介绍使用在离线混部插件安装与卸载的用户指南 通过安装或卸载在离线应用混部插件，您可以顺利开启或关闭混部能力。 适用场景 首次安装混部插件，启用混部能力。 需要卸载混部插件，关闭混部相关功能。 安装插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“安装”按钮进行安装混部插件。 2. 系统将自动开始部署混部插件，过程通常需要数分钟。 3. 部署完成后，页面状态会自动刷新为“已部署”。 卸载插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“卸载”按钮进行卸载混部插件。 2. 系统将自动移除混部插件。 3. 卸载完成后，页面状态会变为“未安装”。

本节介绍使用在离线应用优先级管理的用户指南。 在离线应用的优先级（混部规则）包括规则的创建、编辑、绑定与解绑等操作，帮助您实现资源的灵活调度与隔离。 适用场景 需要为不同类型的离线应用设置资源独占或共享等级。 通过优先级规则提升集群资源利用率与调度灵活性。 功能概览 支持新建、编辑、删除混部规则（优先级）。 支持将应用批量绑定/解绑至指定优先级。 可查看规则详情及已绑定应用列表。 操作步骤 查看混部规则列表 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。 2. 页面展示当前集群已配置的混部规则，包括规则名称、QoS 类型、是否启用负载感知调度器等信息。 3. 可在“更多”下拉菜单中进行规则的绑定应用、删除等操作。 新建混部规则 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单，点击列表左上角“新建规则”按钮，弹出新建窗口。 2. 填写唯一规则名称，选择服务质量（QoS）类型，并决定是否启用负载感知调度器。 3. 提交后，规则即出现在规则列表中。

操作步骤 1. 按需编辑应用 YAML，添加读写带宽或 IOPS 限制注解。 2. 应用 YAML 到集群： plaintext kubectl apply f .yaml 3. 部署后，Pod 启动时自动生效，无需额外操作。 4. 若需调整限速参数，修改注解后重新部署/滚动升级 Pod。 测试与验证流程 1. 部署带磁盘限速注解的测试 Pod（如上 YAML 示例）。 2. 进入 Pod 内部，运行 fio 工具进行磁盘性能测试： plaintext kubectl exec it n demo sh fio namefiotest ioenginelibaio direct1 filename/test/fiotest bs4k rwrandrw rwmixread50 size1G timebased runtime60 iodepth8 numjobs1 groupreporting 3. 观察 fio 输出，确认读写带宽与 IOPS 已被限制在注解设定范围内。 4. 可对比未限速和限速下的 fio 测试结果，验证限速效果。 常见问题与说明 注解配置无效？ 请确认集群和节点已启用磁盘限速能力，且注解拼写正确。 查存储卷类型，部分类型（如 hostPath）受限速支持影响。 限速效果与预期不符？ 实际带宽/IOPS 受节点硬件、存储类型等多因素影响，建议多次测试取均值。 Pod 启动报错或无效？ 检查注解单位和格式，确保符合规范。 注意 建议仅对有实际需求的业务配置磁盘限速，避免资源浪费。 修改限速参数需滚动升级或重建 Pod 以生效。 测试时建议隔离环境，避免影响其他业务。

本节介绍高优先级应用的CPU独占与隔离的用户指南。 为高优先级应用（LSE优先级）配置CPU独占与隔离，可以确保关键业务应用获得独占的CPU资源，避免与其他应用争抢资源，从而保证应用性能的稳定性和可预测性。 适用场景 需要为关键业务应用提供独占CPU资源，确保性能稳定 需要避免高优先级应用与低优先级应用之间的CPU资源争抢 需要验证CPU独占与隔离配置是否生效 功能概览 CPU核级独占：为高优先级应用分配独占的CPU核心 资源隔离：通过cgroup cpuset确保其他应用不会使用已分配的CPU核心 优先级保障：与混部优先级系统集成，支持LSE（LatencySensitiveExclusive）优先级 操作指南 环境准备 确保集群中已安装并配置好koordruntimeproxy组件，并已正确配置kubelet使用该runtime proxy。 1、检查节点状态 plaintext kubectl get node o wide 确认目标节点状态为Ready，并记录节点名称。 2、检查 DaemonSet 状态 plaintext kubectl n koordinatorsystem get ds koordruntimeproxy koordruntimeproxyarm64 确保DaemonSet状态正常。 创建高优先级应用 1、LSE优先级绑定 无需手动创建 ColocationProfile；请参照在离线应用优先级管理文档中的步骤，将应用与 LSE 优先级配置进行绑定。 2、创建高优先级应用 创建以下YAML文件并应用，部署一个高优先级应用： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: nginx namespace: defaultspec: replicas: 2 selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 koordinator.sh/colocationprofile: highest spec: nodeSelector: ccse.ctyun.cn/hostcode: amd643559d 替换为实际节点名称 containers: image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim name: container1 resources: limits: cpu: "1" memory: 512Mi requests: cpu: "1" memory: 512Mi

本节介绍超卖调度与离线应用CPU压制的用户指南。 CPU QoS 功能包括节点资源超卖调度和 BE 离线应用 CPU 压制机制，帮助您实现资源的高效利用与动态调整。 适用场景 集群资源利用率低，需要提高节点资源使用效率。 需要在保证在线应用（LS 优先级）性能的同时，充分利用空闲资源运行离线应用（BE 优先级）。 需要在在线应用负载增加时，自动压制离线应用资源使用，确保在线应用性能。 功能概览 节点资源超卖调度：允许节点接受超过其声明资源总量的应用调度请求，提高资源利用率。 BE 应用 CPU 动态压制：根据在线应用的实际负载，动态调整离线应用可使用的 CPU 资源范围。 优先级差异化服务：确保高优先级应用（LS）获得资源保障，低优先级应用（BE）弹性使用剩余资源。 操作指南 节点资源超卖调度 BE 应用 CPU 动态压制 当节点上的在线应用（LS 优先级）CPU 负载增加时，混部系统会自动压制 BE 优先级应用的 CPU 使用范围，确保在线应用获得足够资源，同时最大化利用节点空闲资源。 压制机制 系统通过动态调整 BE 应用的 cpuset 范围来实现 CPU 压制 压制程度根据 LS 应用的实际负载动态变化 系统确保 BE 应用至少保留最小核心数（默认为 2 核），避免完全饿死 观察压制效果 1. 查看 BE 应用初始 CPU 分配 在节点负载较低时，BE 应用获得较大的 CPU 使用范围 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 02

本节介绍使容器网络限速的用户指南。 在离线应用混部中通过使用容器网络限速，帮助用户为不同应用配置网络带宽限制与优先级，提升集群资源隔离与网络体验。 适用场景 需要对容器的入站/出站网络带宽进行限制，防止单一业务占用过多带宽。 希望为延迟敏感或大带宽业务设置网络优先级，实现更优的流量调度。 功能说明 带宽限制 网络优先级控制 配置方法 启用网络优先级能力（可选） 如需使用网络优先级控制，请确保集群已启用 Cubecni 的优先级功能： 1. 编辑 Cubecni 配置： plaintext kubectl n kubesystem edit cm cubecniconfig 2. 在 10cubecni.conflist 下添加/修改 enablenetworkpriority 为 true： plaintext { "cniVersion": "0.3.1", "name": "cubecni", "plugins": [ { "type": "cubecni", "capabilities": {"bandwidth": true}, "enablenetworkpriority": true } ]} 3. 滚动重启 Cubecni Pod： plaintext kubectl n kubesystem rollout restart ds/cubecni kubectl n kubesystem get po l appcubecni owide w 配置带宽与优先级注解 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加带宽和优先级注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: netperfclient8000 namespace: demospec: replicas: 2 template: metadata: annotations: kubernetes.io/egressbandwidth: 10M kubernetes.io/ingressbandwidth: 20M k8s.ctyun.com/networkpriority: guaranteed spec: containers: name: netperf image: ciliumnetperf:2.0

参数名称 参数说明 污点键 标识节点的污点键。 操作符 Equal：精确匹配指定污点键（必填）及值的节点；Exists：匹配存在指定污点键的节点，此时无需指定污点值。 污点值 当操作符为Equal时，需填写对应的污点值。 污点效果 全部：匹配所有污点效果；NoSchedule、PreferNoSchedule、NoExecute：分别匹配对应的污点效果。 容忍时间 即tolerationSeconds，仅NoExecute效果时支持配置，设定Pod在污点节点上的容忍时长，超时后被移除。

本节介绍了创建无状态负载(Deployment)的用户指南。 基本概念 无状态工作负载：即kubernetes中的“Deployment”，无状态工作负载支持弹性伸缩与滚动升级，适用于实例完全独立、功能相同的场景，如：nginx、wordpress等。 操作场景 在运行中始终不保存任何数据或状态的工作负载称为“无状态负载 Deployment”，例如nginx。您可以通过控制台或kubectl命令行创建无状态负载。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有可用集群 ，请参照集群开通中内容进行创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 步骤 1 登录云容器引擎控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，选择“无状态”，在右上角单击“创建Deployment”。 步骤 3 配置工作负载的信息。 基本信息 负载类型：选择“无状态负载 Deployment”。 负载名称：输入负载的名称，名称长度为1到63个字符，可以包含小写英文字母、数字和中划线（），并以小写英文字母开头，小写英文字母或数字结尾。 命名空间：选择工作负载的命名空间，默认为 default。您可以创建新的命名空间。 实例数量：填写实例的数量，即工作负载 Pod 的数量。 时区同步：选择是否开启时区同步，开启后容器与节点使用相同时区。

配置指标告警 登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警规则 进入告警规则页面，点击按钮创建告警规则 创建告警规则。 目前共提供的告警分组有Kubernetes节点、Kubernetes负载、指标采集上报和黑盒监控，其中节点、负载和指标采集上报均为基础告警，只要安装了ccsemonitor插件即可使用，黑盒监控需要应用接入黑盒监控才可使用，可参考 用户指南 > 运维管理 > 黑盒监控 章节。 选择告警分组和告警指标后会显示告警阈值及当前集群的指标值，部分指标可以通过告警条件调整告警阈值及判断条件；告警触发条件可以选择立即触发或告警条件持续数分钟后才触发。 查看告警事件历史及告警发送历史 登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警事件历史 或 告警发送历史 可分别查看集群告警事件历史及告警发送历史。 告警事件历史页面可以查看告警事件名称、事件描述、事件数量、事件状态等信息，通过右上角事件状态筛选下拉框还可以筛选指定状态的告警事件。 告警发送历史页面可以查看事件告警的告警状态、通知状态等，还可以根据告警的状态、等级等进行筛选。

配置指标告警 登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警规则 进入告警规则页面，点击按钮创建告警规则 创建告警规则。 目前共提供的告警分组有Kubernetes节点、Kubernetes负载、指标采集上报和黑盒监控，其中节点、负载和指标采集上报均为基础告警，只要安装了ccsemonitor插件即可使用，黑盒监控需要应用接入黑盒监控才可使用，可参考 用户指南 > 运维管理 > 黑盒监控 章节。 选择告警分组和告警指标后会显示告警阈值及当前集群的指标值，部分指标可以通过告警条件调整告警阈值及判断条件；告警触发条件可以选择立即触发或告警条件持续数分钟后才触发。 查看告警事件历史及告警发送历史 登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警事件历史 或 告警发送历史 可分别查看集群告警事件历史及告警发送历史。 告警事件历史页面可以查看告警事件名称、事件描述、事件数量、事件状态等信息，通过右上角事件状态筛选下拉框还可以筛选指定状态的告警事件。 告警发送历史页面可以查看事件告警的告警状态、通知状态等，还可以根据告警的状态、等级等进行筛选。

注解 描述 支持的CCM版本 service.beta.kubernetes.io/ctyunloadbalancerconnectiondrain 是否开启连接优雅中断。取值：on、off v1.7.0及以上 service.beta.kubernetes.io/ctyunloadbalancerconnectiondraintimeoutseconds 设置连接优雅中断超时时间。单位：秒。取值范围为[0, 900]。 v1.7.0及以上

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动 计费模式 可以选择按需计费或者包年包月 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1. 向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2. 查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext lost+found test.log 登录pod所在节点，进入StorageClass配置挂载目录下以PV名称命名的子目录，可以看到容器内文件： 退出pod的“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，数据仍然存在，说明数据可持久化保存。

1 、创建存储类（ StorageClass ） 注意 1. 以下配置仅支持CSI版本4.0及其以上，您可以先在插件市场对CSI插件升级，再按照以下配置编写yaml。 2. 以下参数为建议配置，您可在存储产品的支持范围内，根据自身实际情况进行调整。 3. 部分参数由于不常用，示例中以 开头，未放开该参数，如有需求，请您根据实际需求使用。 4. 部分 开头的中文内容为内容解释，并非参数。 使用kubectl连接集群，创建示例yaml文件scexample.yaml： plaintext apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: cstorcsinasperformancesc provisioner: nas.csi.cstor.com parameters: type: performance kms的uuid，当配置了这个uuid后，意味着会使用加密功能。不配置或者配置为空，则均不使用加密。默认不使用加密功能。 kmsUUID: 111d979e5f304dd6a167c8c8cdd8aa7c 包年包月的类型，当为year表示以年为单位，为month表示以月为单位，只能填写year或者month 如果没有这个字段，则默认为按需计费 cycleType: year 包年包月的周期数，例如当cycleType为year，那么cycleCount为2则表示2年，只能填写正整数 当配置了cycleType，那么cycleCount才会生效 cycleCount: "2" 选择拓扑区域，如果是天翼云iaas的存储产品，就是对应选择可用区，value填写存储openapi里的可用区的azName 当storageClass配置了volumeBindingMode: WaitForFirstConsume或者配置了allowedTopologies时，