本文介绍了创建高可用集群的用户指南。 天翼云云容器引擎具备多可用区（AZ）的能力。容器集群的控制节点与工作节点可以分别设置是否使用多可用区。 设置方法 1.创建高可用集群的方式与普通集群基本一致，仅在master配置与节点池配置处有区别。创建集群的其它操作可参考 快速入门 >​ 创建一个应用集群 ​>​ 订购集群 2.在master配置>已选规格>自定义各可用区的master数量，建议master分布到多可用区达到高可用目的。见下图 3.在节点池配置>已选规格>自定义各可用区的工作节点数量，建议将节点池内的节点部署在多个可用区。见下图

配置名 示例值 选择器 namespaceSelector 命名空间 demo 标签 kubernetes.io/metadata.name: demo

方向 端口 协议 默认源/目的地址 说明 优先级（取值越小优先级越高） 是否支持修改 入方向规则 全部 TCP + UDP 198.19.128.0/20 VPCE内网地址段 99 不可修改 入方向规则 全部 TCP + UDP 100.64.0.0/10 内网DNS、云存储等云产品网段 99 不可修改 入方向规则 全部 TCP + UDP VPC网段 节点之间互访 99 不可修改 入方向规则 全部 TCP + UDP VPC IPv6网段 节点之间IPv6互访 99 不可修改 入方向规则 全部 TCP + UDP 100::/16 云产品IPv6网段 99 不可修改 出方向规则 全部 TCP 169.254.169.254/32 主机元数据服务地址 99 不可修改 出方向规则 全部 TCP + UDP 100.64.0.0/10 内网DNS、云存储等云产品网段 99 不可修改 出方向规则 全部 TCP + UDP VPC网段 节点之间互访 99 不可修改 出方向规则 全部 TCP + UDP VPC IPv6网段 节点之间IPv6互访 99 不可修改 出方向规则 全部 TCP + UDP 100::/16 云产品IPv6网段 99 不可修改 出方向规则 全部 TCP + UDP 0.0.0.0/0 默认全部放通，不建议修改 100 可修改 出方向规则 全部 TCP + UDP 0:0:0:0:0:0:0:0/0 默认全部放通，不建议修改 100 可修改

参数名 说明 action 值固定为override，默认为override，即子网/安全组配置会覆盖cubecniconfig的配置 iaassubnets 值为VPC子网ID列表。若配置多个子网，优先使用可用IP最多的子网；如无需修改，则无需配置iaassubnets，或值配置为null securitygroups 值为安全组ID列表。用于配置新建的Pod共享ENI，最多可配置5个；若无需修改，则无需配置securitygroups，或值配置为null

kubectl get eni e94e1cad753d4da6a3b254eb10a3 oyaml apiVersion: network.ccse.ctyun.cn/v1 kind: ElasticNetworkInterface metadata: name: e94e1cad753d4da6a3b2xxxx spec: idleTimeout: 36000 mode: binding nodeName: ccseagentjgzxxxxx podName: demo768fcfc9b8xxxx podNamespace: default resID: 64c2a49d2b01496bxxxxxxx securityGroupIDs: sg342bxxxxx subnetID: subnete5vaxxxxx status: eniInfo: instanceID: affe3664xxxxd1e7607ced186dxxxxx instanceType: "3" mac: fa:16:3e:5f:xx:xx mainIPv4: 192.168.x.x name: ccsecnixxxxa2bf4b6bxxxx networkInterfaceID: portqkqksxxxx securityGroupIDs: sg342bxxxx subnetID: subnete5vaexxxx subnetIPv4CIDR: 192.168.x.x/19 subnetIPv4Gateway: 192.168.x.x subnetIPv6Gateway: fe80::f816:3eff:xxxx:xxxx vpcID: vpcmpawzxxxxx message: resource prepare success nodeName: ccseagentjgzrxxxxx phase: Bound podLastSeen: "2025xxxxT08:46:24Z" Pod创建后为什么没有使用EniCfg中的网络配置？ 1. 请确保EniCfg资源状态为Ready； 2. 请确保Pod标签和EniCfg中的podSelector标签匹配，且（或）Pod所在命名空间的标签与EniCfg中的namespaceSelector标签匹配； 3. 请检查EniCfg的spec.type值是否正确，值binding表示该EniCfg只作用于新建的使用独占ENI的Pod，值fixed表示该EniCfg仅作用于新建的使用固定ENI的有状态集。

本节介绍了云容器引擎的高危操作及解决方案。 用户在使用容器集群进行业务的部署过程中，可能会执行一些潜在风险较高的操作，触发不同程度的业务故障。为更好地帮助用户预估和避免潜在的操作风险，本文从集群节点层面展示一些高危操作可能导致的后果，并提供相应的解决方案，以防止误操作。 节点类型 高危操作 后果 解决方案 master节点 节点到期或销毁 该master节点不可用若只有一个master节点，则集群不可用 不可恢复 master节点 自行改动master或etcd版本 可能引发集群不可用 master或etcd恢复原始版本 master节点 删除或者格式化/etc/kubernetes或/data/containerd等核心数据目录 该master节点不可用若只有一个master节点，则集群不可用 不可恢复 master节点 重装操作系统 master组件被删除，不可用若只有一个master节点，则集群不可用 不可恢复 master节点 删除或者卸载关键内核模块或内核文件 该master节点不可用若只有一个master节点，则集群不可用 不可恢复 master节点 修改操作系统配置 可能导致该master节点不可用若只有一个master节点，则集群不可用 请自行还原配置 master节点 自行修改核心组件参数 可能导致该master节点不可用 核心组件参数恢复配置 master节点 自行修改/etc/resolv.conf等配置文件原始内容 可能引发网络不通或拉取镜像失败 请自行还原配置文件原始内容 master节点 自行更换master或者etcd证书 可能引发集群不可用 不可恢复 master节点 更改节点IP master节点不可用 修改回原IP master节点 业务应用占用资源过高 核心组件或者主机节点不可用 请自行进行资源清理并进行合理资源配额限制 master节点 修改节点的主机名称 master节点不可用 修改回原主机名称 node节点 节点删除或到期 该节点不可用 不可恢复 node节点 重装操作系统 该节点不可用 不可恢复 node节点 删除或者卸载关键内核模块或内核文件 该节点不可用 不可恢复 node节点 修改操作系统配置 可能导致该节点不可用 尝试还原配置 node节点 自行修改核心组件参数 可能导致该节点不可用 核心组件参数恢复配置 node节点 删除或修改关键数据目录、删除数据盘 该节点不可用 不可恢复 node节点 修改节点内目录权限或者容器目录权限 权限异常 不建议修改，请自行恢复 node节点 更改节点IP 该节点不可用 修改回原IP node节点 业务应用占用资源过高 核心组件或者主机节点不可用 请自行进行资源清理并进行合理资源配额限制 node节点 修改节点的主机名称 该节点不可用 修改回原主机名称 容器集群开通节点时会创建以下互通的不可见安全组规则，请勿轻易更改安全组。 入方向/出方向规则 授权策略 IP版本 优先级 协议 网段 端口范围 解决方案 入方向 允许 IPV4 99 Any vpc网段 全部端口 不能更改该安全组规则 入方向 允许 IPV6 99 Any vpc网段 全部端口 不能更改该安全组规则 入方向 允许 IPV6 99 Any 100::/16 全部端口 不能更改该安全组规则 出方向 允许 IPV4 99 Any 所有网段 0.0.0.0/0 全部端口 不能更改该安全组规则 出方向 允许 IPV6 99 Any 所有网段 0:0:0:0:0:0:0:0/0 全部端口 不能更改该安全组规则

配置优化 根据实际需求，可以调整Cluster Autoscaler的配置以优化节点伸缩性能。 1.调整扩容和缩容的延迟时间 scaleDownDelayAfterAdd：新增节点后等待的时间。 scaleDownUnneededTime：节点在被认为不需要前等待的时间。 2.调整资源利用率阈值： scaleDownUtilizationThreshold：低于该阈值的节点将被移除。

多个伸缩组在弹性伸缩的时候是如何被选择的？ 在Pod处在无法调度时，会触发弹性伸缩组件的模拟调度逻辑，会根据伸缩组配置的标签和污点以及实例规格等信息进行判断。当配置的伸缩组可以模拟调度Pod的时候，就会被选择进行节点弹出。当同时有多个伸缩组满足模拟调度条件的时候，根据配置的策略选择。默认采用的是最少浪费原则，即根据模拟弹出后节点上剩余的资源最小为原则进行抉择。

本节介绍了节点伸缩原理。 工作原理 在Kubernetes中，节点自动伸缩的工作原理与传统意义上基于使用率阈值的模型有所差别，这也是很多开发者在从传统的IDC或者其他编排系统迁移到Kubernetes后最难理解的地方。 传统的弹性伸缩模型是基于使用率的，例如：一个集群中有3个节点，当集群中的节点CPU、内存使用率超过特定的阈值时，此时弹出新的节点。但当深入思考时会发现以下几个问题： 阈值是如何选择与判断的？ 在一个集群中，部分热点节点的利用率会较高，而另外一个节点的利用率会很低。如果选择平均利用率的话可能会造成弹性伸缩的不及时。如果使用最低的节点的利用率，那么也会造成弹出资源的浪费。 弹出实例后是如何缓解压力的？ 在Kubernetes中，应用是以Pod为最小单元，部署在集群的不同节点上的。当一个Pod资源利用率较高的时候，即便此时所在的节点或者集群的总量触发了弹性扩容，但是该应用的Pod数目，以及Pod对应的Limit没有任何变换，那么负载的压力是无法转移到新扩容出的节点上的。 如何判断以及执行实例的缩容？ 如果基于资源利用率的方式判断节点是否缩容，那么很有可能出现，Request很大，但是Usage很小的Pod被驱逐，当集群中这种类型的Pod较多时，会导致集群的调度资源被占满，部分Pod无法调度。 Kubernetes节点伸缩是怎么解决以上问题的呢？Kubernetes是通过调度与资源解耦的两层弹性模型来解决的。 基于资源的使用率来触发应用副本的变化，也就是调度单元的变化。而当集群的调度水位达到100%的时候会触发资源层的弹性扩容，当资源弹出后，无法调度的单元会自动调度到新弹出的节点上，从而降低整个应用的负载状况。以下介绍Kubernetes弹性伸缩的技术细节： 如何判断节点的弹出？ clusterautoscaler是通过对处在Pending的Pod进行监听而触发的。当Pod处在Pending的原因是调度资源不足的时候，会触发clusterautoscaler的模拟调度，模拟调度器会计算在配置的伸缩组中哪个伸缩组弹出节点后可以调度这些Pending的Pod。如果有伸缩组可以满足，那么就弹出相应的节点。 模拟调度就是将一个伸缩组当成一个抽象的Node，伸缩组中配置的机型规格对应会成为Node的CPU/内存/GPU的容量，然后设置伸缩组上面的Label、Taint，也就是Node的Label与Taint。模拟调度器会在调度模拟的时候，将该抽象的Node纳入调度参考。如果Pending的Pod可以调度到抽象的Node，那么就会计算所需的Node的数目，驱动伸缩组弹出节点。 如何判断节点的缩容？ 首先只有弹性伸缩弹出的节点会被缩容，静态的节点是无法被clusterautoscaler接管的。缩容的判断是通过每个节点单独判断的。当任意一个节点的调度利用率低于所设置的调度阈值时，会触发节点的缩容判断。此时clusterautoscaler会尝试模拟驱逐节点上面的负载，判断当前节点是否可以排水彻底。有些特殊的Pod（kubesystem命名空间的非DaemonSet Pod、PDB控制的Pod等），则会跳过该节点而选择其他的候选节点。当节点发生驱逐时，会先进行排水，将节点上的Pod驱逐到其他的节点，然后再下线该节点。 多个分组之间如何选择？ 不同分组之间，实际上相当于不同的虚拟的Node之间的选择，和调度策略一样，这里也存在一个打分的机制。首先符合调度策略的Node会先过滤出来，在符合调度策略的Node中，会根据affinity等亲和性的策略进行选择。如果上述的策略都不存在，默认情况下clusterautoscaler会通过leastwaste的策略来进行抉择。leastwaste的策略的核心就是模拟弹出节点后，剩余的资源最少。此外，有一个特别的场景，当有一个GPU的伸缩组和CPU的伸缩组同时可以弹出生效时，默认CPU会优先于GPU弹出。 如何提高弹性伸缩的成功率？ 弹性伸缩的成功率主要取决如下两个因素： 1、调度策略是否满足 首先在配置好伸缩组后，开发者需要先确认下该伸缩组可以承载的Pod的调度策略范围。如果无法直接判断，最简单的方式是通过nodeSelector直接选择伸缩组的Label进行预弹模拟。 2、资源配置是否充分 当模拟调度通过后，会选择伸缩组进行弹出，但是伸缩组中配置的ECS规格是否有库存会直接决定是否可以成功弹出实例。因此配置多个节点池选择不同的规格可以大大提高弹出成功率。

本文介绍了:云容器引擎发布Kubernetes 1.31版本说明。 社区 Kubernetes 版本主要变更 Kubernetes 1.31 版本Changelog 1. StatefulSet 起始序号（GA），允许用户自定义 Pod 的起始序号（默认从 0 开始），例如设置为 100，适用于需要固定编号或特定顺序的应用场景（如分布式数据库）。 2. 弹性索引 Job（GA），支持在索引 Job 创建后动态调整 .spec.completions 和 .spec.parallelism 字段，实现任务弹性伸缩，无需重新创建 Job。 3. Pod 失效策略（GA），可根据 Pod 失效原因（如被抢占、节点删除、kubelet 终止等）分别配置处理逻辑（重试或忽略），避免不必要的 Pod 重启，降低运行成本。 4. Pod 干扰状况（GA），在 Pod 的 Condition 中新增 DisruptionTarget 类型，明确标记 Pod 失效原因（如被高优先级 Pod 抢占），结合 Job 的失效策略实现更精细的任务管理。 5. Job成功策略（Beta），JobSuccessPolicy特性进阶至Beta。该特性允许用户基于成功的Pod个数为Job配置成功策略。 6. 持久卷回收策略（Beta），确保 PV 的回收策略（如 Delete）在 PVC 删除后仍被强制执行，通过添加 Finalizer 防止存储资源泄漏，即使 PV 和 PVC 的删除顺序混乱也能保证一致性。 7. ServiceAccountTokenNodeBinding（Beta），创建绑定到特定节点的 Token，包含节点信息声明，并在 Token 使用时验证节点存在性。若节点被删除，Token 自动失效，降低凭证泄露风险。 8. 容器重启优化，当 Pod 配置变更但镜像未更新时，kubelet 不再强制重启容器，避免因非关键配置更新导致的不必要中断。 9. OCI 镜像卷（Alpha），允许将 OCI 镜像直接挂载为卷，简化 AI/ML 工作负载中模型和数据的访问，例如通过更换镜像快速更新模型权重。 更多信息请参考：Kubernetes 1.31 Changelog

本节介绍了:节点容器运行时的用户指南。 容器运行时介绍 容器运行时是负责管理节点上容器的生命周期。Kubernetes通过 Kubelet 的 Container Runtime Interface（CRI）与容器运行时交互，控制容器的创建与管理。 基于 Containerd性能更好、更稳定、占用资源更少等优点，云容器引擎选择 Containerd作为容器运行时的解决方案。 云容器引擎早期在 Kubernetes v1.23上还支持选择 Docker，当前则需提工单申请，未来会移除对 Docker的支持，强烈建议您使用 Containerd或迁移到 Containerd。 云容器引擎选择 Containerd作为容器运行时的解决方案，对比 Docker，Containerd的优点如下： 1. 调用链更短 Containerd： Kubelet > CRI plugin（在 Containerd中）> Containerd Docker： K8s v1.23及以下版本：Kubelet > Dockershim（在 Kubelet中）> Docker > Containerd K8s v1.24及以上版本：Kubelet > cridockerd > Docker > Containerd 2. CPU和内存占用更少 3. 稳定性和安全性更好 4. Pod 启动更快 Containerd 和 Docker的常用命令对比 Containerd 支持两种命令行工具：ctr和 crictl。其中，ctr是 Containerd 的客户端工具，crictl是兼容 CRI 的容器运行时的命令行工具。crictl 可以用来检查和调试 Kubernetes节点上容器运行时和应用程序。 操作 Docker crictl ctr 上传镜像 docker push crictl push ctr n k8s.io i push 拉取镜像 docker pull crictl pull ctr n k8s.io i pull 查看镜像详情 docker inspect crictl inspecti 无 列出本地镜像列表 docker images crictl images ctr n k8s.io i ls 删除本地镜像 docker rmi crictl rmi ctr n k8s.io i rm 创建容器 docker create crictl create crt n k8s.io c create 启动容器 docker start crictl start crt n k8s.io run 连接容器 docker attach crictl attach 无 进入容器 docker exec crictl exec 无 查看容器详情 docker inspect crictl inspect crt n k8s.io c info 查看容器日志 docker logs crictl logs 无 查看容器资源使用情况 docker stats crictl stats 无 更新容器资源限制 docker update crictl update 无 停止容器 docker stop crictl stop 无 列出容器列表 docker ps crictl ps crt n k8s.io c ls 删除容器 docker rm crictl rm crt n k8s.io c del 启动 Pod 无 crictl start 无 运行 Pod 无 crictl runp 无 查看 Pod详情 无 crictl inspectp 无 停止 Pod 无 crictl stopp 无 列出 Pod列表 无 crictl pods 无 删除 Pod 无 crictl rmp 无

操作步骤 1. 按需编辑应用 YAML，添加读写带宽或 IOPS 限制注解。 2. 应用 YAML 到集群： plaintext kubectl apply f .yaml 3. 部署后，Pod 启动时自动生效，无需额外操作。 4. 若需调整限速参数，修改注解后重新部署/滚动升级 Pod。 测试与验证流程 1. 部署带磁盘限速注解的测试 Pod（如上 YAML 示例）。 2. 进入 Pod 内部，运行 fio 工具进行磁盘性能测试： plaintext kubectl exec it n demo sh fio namefiotest ioenginelibaio direct1 filename/test/fiotest bs4k rwrandrw rwmixread50 size1G timebased runtime60 iodepth8 numjobs1 groupreporting 3. 观察 fio 输出，确认读写带宽与 IOPS 已被限制在注解设定范围内。 4. 可对比未限速和限速下的 fio 测试结果，验证限速效果。 常见问题与说明 注解配置无效？ 请确认集群和节点已启用磁盘限速能力，且注解拼写正确。 查存储卷类型，部分类型（如 hostPath）受限速支持影响。 限速效果与预期不符？ 实际带宽/IOPS 受节点硬件、存储类型等多因素影响，建议多次测试取均值。 Pod 启动报错或无效？ 检查注解单位和格式，确保符合规范。 注意 建议仅对有实际需求的业务配置磁盘限速，避免资源浪费。 修改限速参数需滚动升级或重建 Pod 以生效。 测试时建议隔离环境，避免影响其他业务。

本节介绍在离线混部概述。 在离线混部是在多维资源调度与管控方面的核心能力，包括节点资源超卖调度与 BE 离线应用 CPU 压制、高优先级应用 CPU 独占与隔离、容器磁盘读写限速、容器网络限速等，帮助用户在保障关键业务性能的同时，实现资源的高效利用。 适用场景 资源利用率低，需提升集群资源使用效率。 在线关键业务（高优先级）需要稳定的性能保障。 离线批量任务（低优先级）需充分利用空闲资源。 需要自动调度和压制离线应用，兼顾在线与离线业务。 需对磁盘 IO 或网络带宽进行限速，防止单一业务占用过多。 功能概览 节点资源超卖调度与 BE 离线应用 CPU 压制：允许节点超卖资源，并根据在线负载动态压制离线应用 CPU 使用，提升资源利用并保证在线应用性能。 高优先级应用 CPU 独占与隔离：为高优先级应用分配独占 CPU 核心，通过 cgroup 隔离其他应用，确保关键业务性能稳定。 容器磁盘读写限速：通过注解为容器配置磁盘带宽与 IOPS 限制，防止单一容器影响整体磁盘性能。 容器网络限速：通过注解为容器配置入站/出站带宽及优先级，保障关键流量的网络体验。

配置示例二：normalNodePrefer调度 创建以下Selector，首先kubescheduler默认只会调度pod到标准节点；当标准节点资源不足时导致调度失败时，cubevkprofile会为带有app: nginxnormal Label的Pod添加VNode Toleration，再次由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectornormal.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodenormal spec: objectLabels: matchLabels: app: nginxnormal effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: normalNodePrefer: {} 配置示例三：fair调度 创建以下Selector，cubevkprofile会为带有app: nginxfair Label的Pod添加VNode Toleration，由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectorfair.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodefair spec: objectLabels: matchLabels: app: nginxfair effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: fair: {} 配置示例四：normalNodeOnly调度 不需创建selector，默认情况下kubescheduler只会调度pod到标准节点；也可以创建以下Selector，cubevkprofile会为带有app: nginxecs Label的Pod添加effect中定义的Annotation和Label，由kubescheduler决定调度。 创建selector自定义资源对象，selectorecs.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testnginxecs spec: objectLabels: matchLabels: app: nginxecs effect: annotations: ccse.ctyun.cn/imagecache: "true" labels: ccseecs: "true" policy: normalNodeOnly: {}

状态 说明 已激活 成功创建节点池。 扩容中 扩容或添加节点池节点中。 缩容中 移除节点池节点中。 已删除（该状态用户不可见） 成功删除节点池。

容器运行时升级 1. 置节点为不可调度 2. 执行节点排水操作 3. 运行时原地升级 4. 恢复节点调度

本节介绍了扩缩容节点池的用户指南。 云容器引擎集群通过调整节点池的期望节点数实现节点池扩缩容，将节点数目维持在期望数量。扩容节点池功能可以保证节点数量足够支撑业务运行，缩容可以节省成本。 前提条件 1、容器集群连通性正常。 2、已在容器集群中创建节点池。 通过控制台扩缩容节点池 1、 登录云容器引擎管理控制台，订购一个高可用集群。 2、 在左侧导航栏选择集群。 3、 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 4、 在节点池列表页面中，单击目标节点池更多选项的扩容/缩容。 5、扩容填写扩容节点数量。 6、缩容则跳转到节点池的节点列表中勾选所选缩容节点，点击移除。

解决方案 1、通过节点的监控查看磁盘增长曲线，确认异常出现时间点，检查节点上的进程是否存在占用磁盘空间过多的现象。 2、若有大量文件在磁盘上未清理，请清理文件。 3、根据自身业务情况，限制Pod的ephemeralstorage资源配置。 4、建议使用云存储产品，尽量避免使用HostPath数据卷。 5、节点磁盘扩容。 6、降低节点的负载。 节点PID不足NodePIDPressure 问题原因 通常是节点上的容器占用PID过多导致节点的PID不足。 问题现象 当节点的可用PID低于pid.available配置项时，则节点状态中NodePIDPressure为True，同时该节点上的容器被驱逐。 解决方案 1、执行如下命令，查看节点的最大PID数和节点当前的最大PID。 plaintext sysctl kernel.pidmax 查看最大PID数。 ps eLfawk '{print $2}' sort rn head n 1 查看当前的最大PID。 2、执行如下命令，查看占用PID最多的前5个进程。 plaintext ps elT awk '{print $4}' sort uniq c sort k1 g tail 5 3、根据进程号找到对应进程和所属的Pod，分析占用PID过多的原因并优化对应代码。 4、降低节点的负载。 5、如需重启节点，可尝试重启异常节点。

本节介绍了监控节点的用户指南。 监控节点 云容器引擎集群集成了Prometheus监控服务，可查看对应节点实例的基本监控信息。本文介绍如何查看Kubernetes集群下节点的监控信息。 操作步骤 登录云容器引擎控制台在左侧导航栏选择 集群 。 在集群列表 页面，单击目标集群名称，然后在左侧导航栏，选择 节点管理 > 节点 。 在节点 页面，单击目标节点右侧左操作 列的 监控 。

本节介绍了负载调度策略概述。 在Kubernetes体系内，Pod构成了工作负载调度的核心单元。当创建工作负载时，调度系统会自动为Pod分配合理的位置，例如将它们分散到资源充裕的节点上。尽管调度器的默认设置足以应对许多基础需求，但在特定场景下，用户可能希望对Pod的部署位置进行更为精细的控制。为此，Kubernetes提供了在工作负载定义中自定义调度策略的功能。具体示例如下： 将前端与后端应用部署在同一位置，有助于缩减延迟，因为它们可以共享物理资源。 某些应用需部署在特定节点上，以确保关键应用始终运行在最优硬件或配置上。 不同应用部署在不同节点上，有助于实现应用隔离，防止问题扩散。 Kubernetes中Pod调度策略 节点选择（nodeSelector）：这是最简单的调度方式，通过节点标签选择目标节点，仅将Pod调度到拥有特定标签的节点。参考指引：设置负载的节点选择器（nodeSelector） 节点亲和性（nodeAffinity）：节点亲和性不仅具备nodeSelector的功能，而且更为强大。它允许您根据节点标签使用标签选择器筛选亲和节点，支持必须满足和尽量满足的规则。参考指引：设置节点亲和调度（nodeAffinity） 工作负载亲和性/反亲和性（podAffinity/podAntiAffinity）：根据工作负载标签，使用标签选择器筛选亲和/反亲和的Pod，并将新工作负载调度/不调度至目标Pod所在节点（或节点组），同样支持必须满足和尽量满足的规则。参考指引：设置工作负载亲和/反亲和调度（podAffinity/podAntiAffinity） 注意 1. 若同时指定nodeSelector和nodeAffinity，则两者条件均需满足，Pod才能被调度到候选节点。 2. 在大规模集群中，由于工作负载亲和性和反亲和性需要额外计算时间，可能会显著降低调度速度，因此不建议在包含数百个节点的集群中使用节点亲和性调度策略。

本节介绍了 设置节点亲和调度(nodeAffinity)的用户指南。 在Kubernetes中，节点亲和性调度是一种强大的机制，它允许您根据节点的标签将工作负载精确地调度到具有特定属性（如GPU支持）的节点上。以下是如何配置和使用节点亲和性调度策略的简明指南。 配置节点亲和性调度策略 1. 标记节点：首先，确保您的GPU节点已被标记。在本例中，GPU节点被标记为gputrue。 2. 选择调度策略： 不配置：如果不设置节点亲和策略，Kubernetes将按照默认调度策略随机分配Pod。 指定节点调度：直接指定Pod部署的节点，适用于已知确切部署位置的情况。 指定节点池调度：指定Pod部署的节点池，适用于节点池管理策略。 自定义亲和策略：根据节点标签实现灵活调度。 3. 配置自定义亲和策略： 选择规则：在“自定义亲和策略”中，选择“必须满足”或“尽量满足”规则。 必须满足：硬约束，Pod只能调度到满足所有指定条件的节点上。 尽量满足：软约束，调度器会尝试调度到满足条件的节点，但即使不满足也会进行调度。 设置参数： 权重（仅“尽量满足”）：取值1100，作为调度时的附加评分项。 标签名：需要匹配的节点标签。 操作符：六种匹配关系（In、NotIn、Exists、DoesNotExist、Gt、Lt），用于定义标签与值的匹配逻辑。 标签值：与标签名对应的值。 4. 添加策略：在调度策略配置中，点击“添加策略”并填写上述参数。 5. 快速选择（可选）：通过“指定节点调度”或“指定节点池调度”快速选择目标节点或节点池，这些选项本质上也是基于标签实现的便捷操作。

实例间发现服务配置 Headless Service用于解决StatefulSet内Pod互相访问的问题，Headless Service给每个Pod提供固定的访问域名。具体请参见Headless Service。 服务配置 服务（Service）是用来解决Pod访问问题的。每个Service有一个固定IP地址，Service将访问流量转发给Pod，而且Service可以给这些Pod做负载均衡。您也可以在创建完工作负载之后再创建Service，Service的概念和使用方法请参见Service概述。 高级配置 设置升级策略、调度策略、标签与注解、DNS 配置、性能管理配置、网络配置等。单击右下角“创建工作负载”完成创建。

Pod状态为Evicted 问题现象：Pod的状态为Evicted。 问题原因：当节点的内存、磁盘空间、文件系统的inode和操作系统可分配的PID等资源中的一个或者多个达到特定的消耗水平，节点的kubelet进程就会主动地驱逐一到多个Pod，以回收节点资源。 解决方案： 1、执行以下命令，查看Pod的status.message字段，来确定Pod被驱逐的原因。 kubectl get pod o yaml n 2、执行以下命令，删除被驱逐的Pod。 kubectl get pods n grep Evicted awk '{print $1}' xargs kubectl delete pod n Pod OOM异常问题处理 问题现象：容器异常重启，并重启次数较多 问题原因：Pod使用超过其限制的内存 解决方案： 1、确定发生OOM异常的Pod所在的节点 2、登录Pod所在的Node，查看系统日志文件/var/log/message，搜索out of memory关键字，确认具体被OOM终止时间点和进程名称 3、根据Pod的内存监控数据，排查Pod内应用进程否存在内存泄漏。若应用进程存在内存泄漏导致需客户自行修正程序漏洞。若进程运行状态正常，则根据实际运行需要，适当增大Pod的内存限制

步骤 2 创建集群 登录CCE控制台，在右上角选择“创建集群”。 网络配置请按如下设置，其余配置可参考 新建集群 虚拟私有云：选择已开启IPV6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPV6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点和工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求：Service CIDRV6网段需属于fc00::/8网段内。IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个。 步骤 3 购买和加入共享带宽 默认IPv6地址只具备私网通信能力，如果您需要通过IPv6地址访问Internet或被Internet上的IPv6客户端访问，您需要购买和绑定共享带宽。如您已有共享带宽，可以不用重新购买，直接将IPv6地址加入共享带宽即可。 在虚拟私有云 VPC中左侧导航栏，选择“弹性公网IP和带宽 > 共享带宽”。 在共享带宽列表页，单击操作列的“添加公网IP”。 将IPv6地址加入共享带宽。 结果验证：登录到ECS实例，ping一个公网上的IPv6服务，验证连通性。例如：ping6 ipv6.ctyun.cn。

组件名称 组件介绍 适用场景 cubeclusterautoscaler CCSE自研插件，节点水平伸缩组件，提供了调度、弹性优化、成本优化的功能。 全场景支持，适合在线业务、深度学习、大规模成本算力交付等。

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

Node检查 检查项名称 说明 修复方案 检查节点是否存在 检查集群中是否存在该节点。 请检查Node在集群中是否存在。 检查节点状态是否Ready 检查节点在集群中的状态是否为Ready。 请登录到节点上执行systemctl status kubelet或journalctl exu kubelet查看节点上kubelet进程异常日志并尝试修复。 检查ECS实例是否存在 检查ECS实例是否存在。 请检查ECS实例状态。 检查ECS实例状态正常 检查ECS实例状态，实例状态异常时会影响Pod的正常运行。 请检查ECS实例状态。 检查节点状态是否不可调度 检查节点是否不可调度，不可调度的节点会影响Pod的正常运行。 节点不可调度，请检查节点调度设置。 检查节点Chronyd进程状态是否正常 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart chronyd重启节点Chronyd进程。 检查节点Ntpd进程状态是否正常 检查节点Ntpd进程是否异常，该进程异常时可能会影响系统时钟同步。 节点Ntpd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart ntpd重启节点Ntpd进程。 检查节点Containerd状态是否正常 检查节点Containerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Containerd状态异常，请收集节点日志并提交工单处理。 检查节点Containerd镜像拉取是否正常 检查节点Containerd进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Docker状态是否正常 检查节点Dockerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Docker状态异常，请收集节点日志并提交工单处理。 检查节点Docker镜像拉取是否正常 检查节点Docker进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Kubelet状态是否正常 检查节点Kubelet服务的状态，该进程可能会影响Pod的正常运行。 请检查节点kubelet日志。 检查节点Kubelet启动时间 检查节点Kubelet进程启动时间。 无 节点OS版本 检查节点操作系统版本。 无 节点内核版本 检查节点内核版本是否过低，内核版本过低可能造成系统异常。 请尝试更换节点升级内核。 节点Systemd版本 检查节点systemd版本。 无 节点runc版本 检查节点runc版本，runc版本过低可能造成系统异常。 无 节点系统时间 检查节点系统时间。 无 节点硬件时间 检查节点硬件时间。 无 节点硬件时间漂移 检查节点硬件时钟与系统时间是否一致，时间相差超过2分钟可能引起组件异常。 请尝试登录节点，通过命令hwclock systohc将节点系统时间同步到硬件时间。 检查节点内存交换区开启情况 检查节点内存交换区 (Memory Swap) 功能是否开启，K8s默认要求关闭内存交换区。 当前节点内存交换区 (Memory Swap) 功能不支持开启，请登录节点关闭该功能。 检查Conntrack表使用情况 检查节点Conntrack表是否满，Conntrack表满可能影响网络性能。 请检查nfconntrackbuckets和nfconntrackmax内核参数。 检查节点访问集群API Server是否正常 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 节点DNS服务地址 检查节点能否正常使用主机DNS服务，通过主机DNS服务解析集群外域名。 请检查主机DNS服务是否正常。更多信息，请参见DNS解析异常问题排查。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS服务是否正常 检查节点能否正常访问集群kubedns服务的Cluster IP，通过集群的DNS服务解析集群内域名。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS后端端点是否正常 检查节点能否正常访问集群CoreDNS的Pod IP地址，通过CoreDNS进行域名解析。 请检查节点能否正常访问CoreDNS的Pod IP地址。更多信息，请参见DNS解析异常问题排查。 检查节点内网IP是否存在 检查节点内网IP是否存在。 节点内网IP不存在，请尝试移除节点后重新导入，移除时需保留ECS。 检查节点能否访问公网 检查节点能否正常访问公网，无法访问公网可能影响公网镜像拉取。 请检查集群是否开启SNAT公网访问。 节点CPU使用率 检查节点CPU负载是否过高，CPU负载过高可能影响系统性能。 无 节点内存使用率 检查节点内存负载是否过高，内存过高可能影响系统性能。 无

本节介绍了云容器引擎的最佳实践:容器化Web访问MySQL。 本篇以实际场景介绍如何发布无状态工作负载，并连接有状态数据库，并配合使用持久存储，在本片教程中，我们使用Local PV作为持久存储介质，在生产使用中建议使用Ceph存储。 创建持久存储类 选择Local存储，如下： 创建持久存储卷：在新建存储卷界面，选择第一步中创建的持久存储类 选择LocalPV所在节点以及LocalPV的目录，这里LocalPV所在节点即想要把容器数据持久化到哪一个k8s节点上，LocalPV的目录即是我们所选节点上的指定目录。 注意 此目录需要在我们所选择节点上存在，若不存在需要手动在改节点上创建目录。 创建MySQL有状态服务并使用持久存储卷： 出现新建存储卷界面，我们创建MySQL的流程如下： 点击新建PVC后，我们需要格外注意下图中的注意点。 StorageClasss名称：必须和第二步中创建的持久存储卷使用同一个StorageClass。 所需容量：这里选择的容量不能超过第二步中创建的持久存储卷的容量。 然后开始设置MySQL容器的参数，依次输入MySQL容器名称、选择MySQL镜像及版本号，需要格外注意挂载点的名称和容器路径。 其中数据卷选择刚刚添加的数据卷。 MySQL容器的数据目录为/Var/lib/mysql，所以容器路径输入这个目录。 设置容器的资源参数及环境变量，MySQL容器正常运行我们必须要设置MYSQLROOTPASSWORD这个环境变量，设置root用户密码，同时如果需要在MySQL容器启动后帮我们创建一个database，我们可以使用MYSQLDATABASE这个环境变量。 最后一步，我们为MySQL容器配置集群内访问方式，所以我们选择类型为ClusterIP。 注意 服务端口可以直接与容器端口相同。 创建web无状态工作负载并连接数据库 1、web工作负载配置 我们使用的web工作负载使用的配置文件如下： spring: jpa: showsql: false openinview: true datasource: driverclassname:"com.mysql.cj.jdbc.Driver" jdbcurl: "jdbc:mysql://{MYSQLHOST}:MYSQLHOST:{MYSQLPORT}/test?autoReconnecttrue&useUnicodetrue&characterEncodingUTF8&allowMultiQueriestrue&useSSLfalse" username: "${MYSQLUSERNAME}" password:"${MYSQLPASSWORD}" 在上述配置中，我们通过读取环境变量来设置应用所需的MySQL主机IP、端口、用户名、密码。 2、创建无状态工作负载 这里我们只介绍无状态工作负载的环境变量怎么设置，其他的参数配置与MySQL的类似：

本节介绍了设置调度策略的用户指南。 在Kubernetes中，调度策略是指如何将Pod调度到节点上的规则。亲和性（Affinity）和反亲和性（AntiAffinity）是两种常见的调度策略，它们可以帮助您控制Pod的分布，以提高应用的性能和可靠性。 亲和性和反亲和性策略 节点亲和性（Node Affinity）：控制Pod应该调度到哪些节点。 节点反亲和性（Node AntiAffinity）：控制Pod不应该调度到哪些节点。 Pod亲和性（Pod Affinity）：控制Pod应该与哪些Pod共同调度到同一节a点。 Pod反亲和性（Pod AntiAffinity）：控制Pod不应该与哪些Pod共同调度到同一节点。 通过控制台配置负载亲和/反亲和调度策略 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载"，切换至“无状态”页签，点击"创建Deployment"。 3、在创建deployment中，点击显示高级设置，选择负载亲和性调度的策略类型。 4、配置亲和性调度规则，亲和性调度规则又分为必须满足（强制pod调度到某些节点上）和尽量满足（优先pod调度到某些节点上）。 5、待一切配置完成后，单机"提交"，创建完成。 6、查看亲和状态调度到相同节点。 7、删除亲和性规则，添加反亲和性规则。反亲和性规则也分为强制分散调度（强制pod调度在不同节点上）和优先分散调度（优先pod调度在不同节点上）。 8、查看反亲和性分配在不同的节点上。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。

本节介绍云容器引擎的最佳实践:集群规格推荐规划。 集群规格规划 Kubernetes集群的稳定性受到两方面因素的影响，一方面是资源对象的数量，另一方面是节点的规格和数量。对于后者而言，选择小数量、大规格的ECS搭建集群或者大数量、小规格的ECS搭建集群都可能存在较大的隐患。因此对集群规格进行合理规划显得尤为重要。 在考虑ECS规格时，需要考虑以下因素： 网络带宽：大规格ECS的网络带宽优于小规格，适用于对带宽需求较大的应用。 网络通信：容器在同一大规格ECS内部建立链路的比例增大，可以避免跨ECS访问，减少网络开销。 容量：ECS系统需要预留一部分CPU、内存、磁盘等节点资源，用于集群管理和基础设施组件的运行。小规格ECS由于抢占资源等因素，使得集群的稳定性和可靠性降低的概率大增。 碎片化：节点资源分配时，小规格ECS更容易被少数甚至一个容器独占，导致不一致或不连续的资源需求难以有效组合，进而造成资源浪费。 镜像拉取：大规格ECS更能有效地利用容器镜像的分层机制，提升拉取镜像的效率。 ECS数量的考量因素： 小数量的ECS，在节点故障时，由于资源冗余不足，可能导致无法及时处理故障节点外排的业务。 大数量的ECS极大地考验Master的性能和稳定性。

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。