本节介绍网络的用户指南:Ingress。 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 关于Ingress详细配置和管理，请参见Ingress管理。

本节介绍了使用云容器引擎与自建K8S的对比,有利于用户选择云容器引擎产品。 功能 云容器引擎 自建Kubernetes 集群管理 通过控制台一键创建集群，支持创建跨AZ高可用的集群 提供容器优化的OS镜像，提供稳定测试和安全加固的Kubernetes和Docker版本 支持多集群管理，支持跨AZ高可用集群，支持集群联邦管理 用户手动部署集群并自行开发 用户自行探索和开发 应用管理 支持灰度发布，支持蓝绿发布 支持应用监控、应用弹性伸缩 内置模板市场，支持Helm应用一键部署；支持服务目录，简化云服务集成 用户自行探索和开发 网络管理 提供针对天翼云优化的高性能VPC/ENI网络插件，性能优于普通网络方案 支持容器访问策略和容器带宽限制 需要挑选社区网络插件进行适配 用户自行探索和开发 存储管理 支持天翼云盘挂载，提供标准的CSI、FlexVolume驱动 支持存储卷自动创建、迁移 用户自行探索和开发 运维管理 支持Kubernetes新版本一键升级，支持集群组件生命周期管理 支持集群手动和自动弹性伸缩 提供高性能日志采集Agent，自动实现日志服务集成 用户手动运维控制面 服务保障 天翼云专业容器团队作为技术支持，为集群提供及时的稳定性和安全响应 需要组建专门团队 安全管理 支持镜像扫描/镜像签名 支持容器运行时安全检测 用户自行构建安全能力

使用配置凭证 把上述config文件配置到home的下面目录： [docker@10 ~]$ mkdir p $HOME/.kube [docker@10 ~]$ mv config $HOME/.kube 使用kubectl命令切换集群上下文： [docker@10 ~]$ kubectl config usecontext clusteracontext Switched to context "clusteracontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at KubeDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'. [docker@10 ~]$ kubectl config usecontext clusterbcontext Switched to context "clusterbcontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at CoreDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'.

名称 说明 名称 必填，备份任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且备份任务是当前集群中唯一 命名空间 非必填，选择备份资源的命名空间，可多选 资源 非必填，选择所备份资源的类型，可多选，也可以手动输入 持久卷 选择是否备份pod所使用的持久卷，备份内容中有pod资源，此项才生效。不能备份临时卷及hostPath

本节介绍了无状态服务的用户指南。 基本概念 无状态工作负载：即kubernetes中的“Deployment”，无状态工作负载支持弹性伸缩与滚动升级，适用于实例完全独立、功能相同的场景，如：nginx、wordpress等。 操作场景 在运行中始终不保存任何数据或状态的工作负载称为“无状态负载 Deployment”，例如nginx。您可以通过控制台或kubectl命令行创建无状态负载。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有可用集群 ，请参照集群开通中内容进行创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建Deployment的参数较多，下面将分模块来介绍创建Deployment的参数，请务必留意这里的参数解释，其他四种类型的工作负载的参数与Deployment的参数相似 创建一个Deployment的参数最小配置（tomcat为例） 如上图的配置即可成功启动一个tomcat 备注：镜像凭证请在高级设置中配置。 参数解释 数据卷 Deployment的数据卷共6种类型，总结如下表： 数据卷类型 对应k8s中的类型 用途 解释 临时目录 emptyDir 主要用于某些应用程序无需永久保存的临时目录，多个容器的共享目录 当Pod分配到Node上时，将会创建emptyDir，当Pod（不管任何原因）从Node上被删除时，emptyDir也同时会删除，存储的数据也将永久删除。 主机目录 hostPath hostPath允许挂载Node上的文件系统到Pod里面去。如果Pod需要使用Node上的文件，可以使用hostPath。 在使用hostPath volume卷时，即便pod已经被删除了，volume卷中的数据仍在。但是Pod调度到其他节点之后就无法使用这个目录了。 secret secret 用于将敏感信息（如密码）传递给pod 将k8s中的Secret资源对象挂载到Pod中 configMap configMap 用于挂载配置文件到Pod中 将k8s中的ConfigMap资源对象挂载到Pod中 使用已有PVC persistentVolumeClaim 用来挂载持久化磁盘 需要提前创建持久卷声明（PVC） downwardAPI downwardAPI 将Pod的信息挂载到容器中（如上图中将Pod的标签挂载到容器中，并且用”labels”这个文件存储Pod的标签），pod版本号要么不填要么填’v1’ Downward API提供了两种方式用于将POD的信息注入到容器内部，一是此处介绍的Volume挂载，二是下面我们将介绍的环境变量

本节介绍了用户指南:云硬盘概述。 云容器引擎支持使用天翼云云硬盘存储卷。当前 cstorcsi 插件可提供云盘动态存储卷和静态存储卷功能，通过将云硬盘挂载至容器指定目录，实现数据持久化需求。 云硬盘挂载支持容器在同一可用区内迁移时，所挂载的云硬盘随之自动迁移。 通过挂载云硬盘，可将远端存储系统中的数据直接映射到容器内部。即使容器被删除，存储卷中的数据仍会保留在云硬盘中，确保数据的安全性与持久性。 使用限制 共享存储 非共享盘存储：仅支持单节点挂载，访问模式不可设置为 ReadWriteMany。 共享盘存储：支持多节点同时挂载，但卷模式仅限块设备（Block），不支持文件系统（Filesystem）。 卷模式与访问模式 卷模式 访问模式 Block ReadWriteOnce ReadWriteMany ReadOnlyMany Filesystem ReadWriteOnce 跨可用区 云硬盘不支持跨可用区挂载。当Pod重建时，会重新挂载原云盘。若由于其他限制无法调度到原可用区，则Pod将会处于Pending状态。 容量 单个数据盘最小容量10GB，最大容量为32TB，最小扩容容量为1GB，扩容步长为1GB。 挂载数量 单个节点允许挂载的数量受底层存储的限制，如有需要，请参照云硬盘产品文档。 节点类型 昇腾裸金属节点不支持挂载云盘。 磁盘模式 当前仅支持云硬盘磁盘模式为VBD。 云盘加密 暂不支持使用加密盘。 挂载应用类型 推荐使用有状态应用通过PVC模版方式挂载使用云盘。 无状态应用挂载使用云盘有诸多限制，比如当选择卷模式为Filesystem的存储卷时，无法为每个Pod配置独立的存储卷，所以要求Replica需要配置为1或者保证Pod均调度到同一节点上。此外，由于Deployment的升级策略，重启Pod时新的Pod可能一直无法挂载，故不推荐使用。 应用参数配置 创建工作负载时，如果配置了securityContext.fsgroup参数，kubelet在存储卷挂载完成后会执行chmod和chown操作，导致挂载时间延长。

高级设置升级方式 StatefulSet的另外一个差异点就是升级方式和Deployment不同，（升级方式需要点开工作负载的高级设置）： 1、删除升级：如果设置StatefulSet的升级方式为删除升级，那么我们全量替换升级StatefulSet时，全量替换更新的内容在我们重新部署Pods前是不会生效的。 2、滚动升级（不推荐这种升级方式）：如果设置StatefulSet的升级方式为滚动升级，那么我们全量替换升级StatefulSet时，k8s会自动帮我们删除重建StatefulSet的每一个Pod，此时有一个可选的参数Partition。一般建议不设置Partition。 以下场景可以设置Partition：执行预发布 执行金丝雀更新 执行按阶段的更新。 Partition含义：只有序号大于或等于partition值时， Pod 将被删除重建，即序号小于partition值，Pod会维持原状不更新。 partition默认值为0，意味着所有的Pod都会被删除重建（序号的含义：假设StatefulSet有3个副本，即对应三个Pod，那么StatefulSet的这三个Pod会依次命名为0, 1, 2号，这里的编号即是序号）。 序号小于partition的Pod不会被升级，即使手动删除该Pod，重新创建出来的也是旧版本的Pod。 服务名称 强烈建议创建有状态工作负载的同时创建Headless服务，同时创建有状态工作负载和服务时可以忽略这个参数 。这个参数仅对于分开创建有状态工作负载和服务的用户有效 如果分开创建有状态工作负载和服务，那么请务必设置这个参数，并且后续创建服务时，服务名称必须和这个参数保持一致。

配置项 说明 名称 StorageClass的名称。 存储类型 这里选择“通用” 存储驱动 对应StorageClass yaml中provisioner，配置为自行安装CSI对应的存储驱动名称 回收策略 回收策略，默认为Deleted。 1、Retained（保留）：用户可以手动回收资源。当PVC对象被删除时，PV卷仍然存在，对应的数据卷被视为"已释放（released）"。 2、Deleted（删除）：对于支持Delete回收策略的卷插件，删除动作会将PV对象从Kubernetes中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 1、Immediate模式：表示一旦创建了PVC，也就完成了卷绑定和动态供应。对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道Pod调度要求的情况下绑定或者制备。 2、WaitForFirstConsumer模式：该模式将延迟PV的绑定和制备，直到使用该PVC的Pod被创建。PV会根据Pod调度约束指定的拓扑来选择或供应。 支持扩展 由自行安装CSI支持情况决定 参数 根据自行安装CSI支持情况及业务需求配置 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

本节介绍了:CSI的常见问题。 存储FAQCSI 本文主要介绍天翼云存储插件cstorcsi，其安装及使用过程中常见的问题及分析流程。 安装失败 失败原因查看 在“插件”——“插件市场”——选择“cstorcsi”插件安装，完成相关参数配置后点击“安装”；安装详情可以在“插件”——“插件实例”中看到cstorcsi实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 常见问题 查阅日志报 “no matches for kind “PodSecurityPolicy” in version“policy/v1beta1” 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。该问题解决方案为： 1、将cstorcsi升级至3.2.0，按原参数安装即可； 2、如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 使用cstorcsi创建存储卷错误 通用分析流程 1、在“插件”——“插件实例”查看cstorcsi实例，运行是否异常； 2、进入“工作负载”——“无状态”，切换命名空间为“cstor”，查看名称为“cstorcsiprovisioner”的pod日志，切换容器名称为“csiprovisioner”和“cstorcsiplugin”，查看是否有错误日志输出。 常见问题 1、Can not get AK 该报错是由于cstorcsi安装过程中，未进行AK、SK配置。解决方案为：在”账号中心”——”安全设置”——”用户AccessKey”中查看AK、SK。 卸载cstorcsi后，选择重新安装该插件，在安装配置窗口中根据获得的 AK、SK值，分别填入AuthConfig.AK和AuthConfig.SK字段中，点击安装即可完成插件部署。 2、用户不允许订购按需类订单。 该报错是由于cstorcsi插件开通的云硬盘为按需付费方式，需要账户余额在100元以上才可正常开通。 解决方案：请检查天翼云“账户余额”是否在100元以上。 2、can not support RWX in filesystem mode for disk 当使用cstorcsi安装生成的storageclass，创建持久卷声明（PVC）。正常情况下，创建持久卷声明后，在“存储”——”持久卷”，列表栏会看到相应持久卷（PV）创建，并且状态为“已绑定”。 如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为 can not support RWX in filesystem mode for disk，表示当前创建的持久卷声明，不支持访问模式为多机读写。 目前，cstorcsi插件安装，默认创建的云硬盘类型的storageclass，其访问模式与是否是共享盘有关，只有在使用共享盘的情况下，支持多机读写，其他情况仅支持单机读写。 解决方案：修改持久卷声明访问模式为“单机读写”。 3、failed to create disk volume, message: disk size should be in range [10G ,32T] 目前，当使用cstorcsi插件安装的storageclass，云硬盘类型要求容量为 [10G ,32T]，文件存储要求容量500G以上。如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为： failed to create disk volume, message: disk size should be in range [10G ,32T]，表示当前创建的存储卷声明，其容量需要调整为合理范围大小。

先上传镜像至容器镜像服务仓库，然后才能做manifest docker push registrycrshuadong1.ctyun.cn/library/nginx:1.5amd64 docker push registrycrshuadong1.ctyun.cn/library/nginx:1.5arm64 创建双架构manifest文件并上传。 创建镜像manifest文件 docker manifest create amend insecure registrycrshuadong1.ctyun.cn/library/nginx:1.5 registrycrshuadong1.ctyun.cn/library/nginx:1.5amd64 registrycrshuadong1.ctyun.cn/library/nginx:1.5arm64 如果镜像在之前制作中没有添加架构信息，需要给镜像manifest文件添加arch信息 docker manifest annotate registrycrshuadong1.ctyun.cn/library/nginx:1.5 registrycrshuadong1.ctyun.cn/library/nginx:1.5amd64 arch amd64 docker manifest annotate registrycrshuadong1.ctyun.cn/library/nginx:1.5 registrycrshuadong1.ctyun.cn/library/nginx:1.5arm64 arch arm64 向容器镜像服务仓库推送镜像manifest docker manifest push p insecure registrycrshuadong1.ctyun.cn/library/nginx:1.5 用户在使用时只需要image中填写registrycrshuadong1.ctyun.cn/library/nginx:1.5这个镜像地址， 当Pod调度到 x86 架构的节点时，会拉取registrycrshuadong1.ctyun.cn/library/nginx:1.5amd64这个镜像； 当Pod调度到ARM架构的节点时，会拉取registrycrshuadong1.ctyun.cn/library/nginx:1.5arm64这个镜像。

声明使用独占ENI或固定IP的Pod卡在pending状态为什么没创建出来？ 可查看工作负载或Pod的事件，通常是ENI配额不够导致Pod无法调度： plaintext Events: Type Reason Age From Message Warning FailedScheduling defaultscheduler 0/5 nodes are available: 5 Insufficient network.ccse.ctyun.cn/eni.

Service 与 kubeproxy Service是Kubernetes抽象出来的网络组件，它对外提供统一的IP，屏蔽后端 Pod 的变化，将请求负载到后端的容器 Pod。 kubeproxy是 Kubernetes 的核心组件之一，负责维护节点上 Service 到 Pod 的网络规则。云容器引擎的 kubeproxy 支持 iptables 和 IPVS 两种模式。 iptables iptables 是 Linux 用于过滤和处理数据包的内核功能，其原理是通过 Hook 机制挂载的一系列规则对路径上的数据包进行处理。在使用 iptables 模式时，kubeproxy 会为每一个 Service 添加一条 iptables 规则。通过这些规则流向 Service 的数据包将被随机转发到后端的容器 Pod上。适用的场景： 成熟稳定的kubeproxy代理模式，性能一般，适用于Service数量较少（小于3000）的场景 随机平等的负载均衡算法能满足需求的场景 IPVS IPVS（IP Virtual Server）是构建在传输层上的负载均衡，其原理是将客户端的 TCP 和 UDP 请求根据预设的调度算法分配到后端的真实服务器上，从而实现服务器集群的负载均衡。采用 IPVS 模式时，kubeproxy 会使用 IPVS 提供的高效查找算法将请求转发到后端的容器 Pod上，且处理效率与集群规模无关。适用的场景： 高性能的kubeproxy代理模式，适用于集群规模较大或Service数量较多的场景 有轮询、最短期望延迟、最少连接以及各种哈希方法等负载均衡算法需求的场景

配置项 说明 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 说明：如果使用非共享盘存储，访问模式不能为ReadWriteMany或者ReadOnlyMany。仅PVC为块设备模式（Block）时，才可以使用共享盘，访问模式才可以为ReadWriteMany或者ReadOnlyMany。 挂载类型 当前支持ext4、xfs。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 说明：如果使用共享盘存储，卷模式仅支持块设备（Block）。 名称 PV的名称，以pvc开头。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 云盘ID 选择已有云盘实例。单击会弹出选择云盘会话，会话中会展示可使用的云盘信息，可使用条件包括： 云盘所在可用区与集群节点可用区相同。 磁盘模式为VBD、磁盘为非加密盘。 磁盘为非系统盘 及非云主机成套资源 。 磁盘状态可用。 如磁盘为非共享盘，磁盘需未被挂载。 注意 同一个云硬盘不能导入到两个持久卷中使用，这样会造成一些K8S的使用问题。用户需要辨别哪些云硬盘已经被pv使用，需要避免出现两个持久卷指向同一个云硬盘的情况。

本节介绍了云容器引擎的计费类常见问题。 容器计费项和计费方式是什么？ 支持包年包月和按需计费2种方式，详情可查：点这里 容器如何定价？ 收费项包括：集群管理费、IaaS资源费等, 详情可查：点这里 容器创建的节点是否支持按需转包周期？ 目前不支持按需与包周期互转。 如何为购买的容器实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长容器实例的有效期，也可以设置到期自动续费的相关操作。 开通的容器实例资源何时生效？ 天翼云容器资源在客户支付成功之后，系统经过初始化完成后即可生效使用。 包周期集群到期可以直接删除吗？ 按天翼云规则，到期实例有15天冻结期，期间用户可以发起续订，集群实例会恢复。超过15天冻结期，实例会注销。 如何退订我的容器集群？ 进入控制台，从集群管理列表，可以发起退订。详细可查看：删除集群

升级流程、方式及所需时间 升级流程 1. 准备工作：当前云容器引擎一次只能往前升级一个次要版本，升级至下一个云容器引擎支持的次要版本时需要执行两次升级操作。升级前请先参考上文注意事项相关描述。 2. 前置检查：执行前置检查，若有检测到风险项，请按控制台提示进行操作。 3. 集群升级：前置检查通过后，可开始集群升级，云容器引擎会依次升级控制节点和节点池节点。 4. 集群升级后：核验集群、检查节点池运行是否正常，检查集群业务是否运行正常。 升级方式 云容器引擎专有集群是采用原地升级方式，首先升级Master节点，Master节点升级是串行的，一次只升级一个Master节点。升级Master组件，包括kubeapiserver、kubecontrollermanager、kubescheduler、Kubeproxy、Etcd、Kubelet等。 云容器引擎当前尚不支持按节点池升级Worker节点，Master节点升级完毕后自动开始升级Worker节点，Worker节点升级可并发执行，并发数通过每批次最大并行数进行配置，每批次最大并行数最大值不能超过Worker节点数量的1/2。 升级所需时间 云容器引擎专有集群的Master节点需逐个、串行升级，每个Master节点升级时间约为8分钟，Worker节点根据用户配置的并发数量进行升级，单个worker节点升级时间约为1分钟。 操作步骤 同时升级控制面和所有节点池 1、登录云容器引擎控制台，在左侧导航栏选择集群进入集群列表页面。 2、在集群列表页面，选择待升级的集群实例，在右侧功能区选择更多 > 升级进入集群升级页面。若页面提示安装cubesystemupgradecontroller和nodeproblemdetector插件，则点击安装插件按钮安装这两个插件。 3、在集群升级设置每批次的最大并行数，然后单击前置检查，前置检查约需要执行1分钟。 若提示前置检查为正常时，则可以继续进行集群升级操作。 若提示前置检查未通过，可点击查看详情，然后按照页面提示进行修复。修复完成后可再次执行前置检查，确认故障已排查后单击开始升级。 4、升级完成后，您可以在集群列表查看集群版本，确认升级是否成功。 注意 1、升级过程中，请勿添加或删除节点。 2、集群升级过程发生错误时，系统将暂停集群升级进程，集群可能处于部分节点已完成升级的中间状态，可通过工单待工程师排除问题后再继续尝试升级。 3、集群升级过程中，请勿修改systemupgrade命名空间下的相关资源。

kubectl get po l appnginxdemo owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginxdemo748fb499d78f2t5 1/1 Running 0 24s 192.168.0.37 ccseagentvmBccb1ffn nginxdemo748fb499d7dxflp 1/1 Running 0 21s 192.168.0.5 ccseagentvmAcba142 在集群内部节点或Pod内，都能直接访问Pod。如下所示，节点直接访问Pod: 如下所示，Pod直接访问Pod: VPC内集群外网络资源，例如云主机，也能直接访问pod IP。 带宽限制和优先级 可使用以下Pod注解指定Pod出、入方向的带宽： 注解 含义 kubernetes.io/ingressbandwidth: 10M Pod入站带宽限制 kubernetes.io/egressbandwidth: 10M Pod出站带宽限制 Cubecni支持通过配置共享ENI的网络队列，实现高优先级Pod的流量优先发送，从而改善延迟。默认情况下，优先级控制未启用。通过以下Pod注解指定Pod使用的优先级： 注解 含义 k8s.ctyun.com/networkpriority: besteffort 适用于大宽带业务 k8s.ctyun.com/networkpriority: burstable 默认值，适用于普通业务 k8s.ctyun.com/networkpriority: guaranteed 适用于延迟敏感业务 可通过如下方式启用： 1. 执行以下命令，打开和修改Cubecni的配置文件； plaintext kubectl nkubesystem edit cm cubecniconfig 2. 在10cubecni.conflist下，增加enablenetworkpriority开启优先级控制； plaintext 10cubecni.conflist: { "cniVersion": "0.3.1", "name": "cubecni", "plugins": [ { "type": "cubecni", "capabilities": {"bandwidth": true}, "enablenetworkpriority": true,

本节介绍配置AK/SK。 智算集群订购时需要用户设置您的 AccessKey 和 SecurityKey，用户可以通过“账号中心”>“安全设置”>“用户AccessKey”中查看您的AccessKey、SecurityKey信息。 注意 1. 该AccessKey和SecurityKey用于CSI插件程序自动开通hpfs并行文件存储。 2. 如果AccessKey和SecurityKey输入错误，订购页并不会校验此正确性。后续可参考: 存储FAQCSI排查说明

本节介绍了:节点异常问题排查的用户指南。 Kubelet异常处理 问题原因 通常是Kubelet进程异常、运行时异常、Kubelet配置有误等原因导致。 问题现象 Kubelet状态为inactive。 解决方案 1、执行 systemctl restart kubelet 命令重启Kubelet。重启Kubelet不会影响运行中的容器。 2、Kubelet重启后，登录节点执行 systemctl status kubelet命令，再次查看kubelet状态是否恢复正常。 3、若Kubelet重启后状态仍异常，请登录节点执行 journalctl u kubelet 命令查看Kubelet日志。 若日志中有明确的异常信息，请根据异常关键字进行排查。 若确认是Kubelet配置异常，请执行如下命令修改Kubelet配置。 plaintext vi /etc/systemd/system/kubelet.service.d/10kubeadm.conf 修改Kubelet配置。 systemctl daemonreload;systemctl restart kubelet 重新加载配置并重启Kubelet。 Dockerd异常处理RuntimeOffline 问题原因 通常是Dockerd配置异常、进程负载异常、节点负载异常等原因导致。 问题现象 1、Dockerd状态为inactive。 2、Dockerd状态为active(running)，但未正常工作，导致节点异常。通常有docker ps、docker exec等命令执行失败的现象。 3、节点状态中RuntimeOffline为True。 解决方案 1、执行如下命令重启Dockerd。 plaintext systemctl restart docker 2、Dockerd重启后，登录节点执行以下命令，再次查看Dockerd状态是否恢复正常。 plaintext systemctl status docker 3、若Dockerd重启后状态仍异常，请登录节点执行以下命令查看Dockerd日志。 plaintext journalctl u docker Containerd异常处理RuntimeOffline

配置优化 根据实际需求，可以调整Cluster Autoscaler的配置以优化节点伸缩性能。 1.调整扩容和缩容的延迟时间 scaleDownDelayAfterAdd：新增节点后等待的时间。 scaleDownUnneededTime：节点在被认为不需要前等待的时间。 2.调整资源利用率阈值： scaleDownUtilizationThreshold：低于该阈值的节点将被移除。

有没有vLLM部署指导？ 请参考：在天翼云使用Ollama运行DeepSeek的最佳实践7B等版本。 返回DeepSeek专题导航。

本节介绍了云容器引擎的网络插件常见问题。 容器集群节点为什么会自动添加网卡？ 如下图所示，容器集群主机除了主网卡外，额外绑定了多张网卡，这是因为使用了Cubecni网络插件。 Cubecni网络插件会为集群内每个节点动态添加弹性网卡，用于构建Underlay容器网络。如下图所示，eth1是该插件动态绑定到云主机的弹性网卡。 注意 请勿删除这类网卡。若删除，可能导致部分Pod的访问异常。 容器集群的Pod如何访问公网？ 1. 使用Cubecni网络插件，Pod访问外网流量默认不会经过主机主网卡，所以为主机主网卡绑定EIP后，Pod依旧无法访问外网。在该网络模式下，建议通过配置公网NAT网关，将Pod IP所属子网加入NAT网关SNAT规则，以实现Pod访问外网。 2. 使用Calico网络插件，配置集群主机能够访问外网，Pod便能访问外网，如配置EIP或公网NAT网关。 已创建的容器集群能否切换容器网络插件？ 容器网络插件仅支持在集群创建时选择，集群创建后不支持修改。如需切换，请重新创建集群。 使用Cubecni网络插件，增加Pod子网后，部分新建的Pod无法访问公网，如何解决？

本节介绍了云容器引擎的退订说明。 如果您有退订的需求，可以进行登录天翼云管理中心或云容器引擎控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

设置Pod反亲和性 Pod反亲和性允许您基于其他Pod的标签来避免Pod被调度到相同的节点。以下是一个示例： apiVersion: apps/v1 kind: Deployment metadata: name: mydeployment spec: replicas: 5 selector: matchLabels: app: myapp template: metadata: labels: app: myapp spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: labelSelector: matchLabels: app: myapp topologyKey: "kubernetes.io/hostname" containers: name: mycontainer image: myrepo/myimage:latest 注意 在上述示例中，新创建的Pod将避免与具有标签appmyapp的Pod调度到相同的节点上。 应用配置并验证 应用配置 使用以下命令应用配置文件： kubectl apply f mydeployment.yaml 验证Pod分布 使用以下命令查看Pod的分布情况： kubectl get pods o wide 确认Pod被调度到了期望的节点上。 常见问题和解决方法 Pod未按预期调度 确保节点和Pod的标签正确无误。 检查调度器事件日志，找出调度失败的原因。 调度失败 确保集群中有符合条件的节点。 调整亲和性和反亲和性的规则，确保其合理且不冲突。

Node检查 检查项名称 说明 修复方案 检查节点是否存在 检查集群中是否存在该节点。 请检查Node在集群中是否存在。 检查节点状态是否Ready 检查节点在集群中的状态是否为Ready。 请登录到节点上执行systemctl status kubelet或journalctl exu kubelet查看节点上kubelet进程异常日志并尝试修复。 检查ECS实例是否存在 检查ECS实例是否存在。 请检查ECS实例状态。 检查ECS实例状态正常 检查ECS实例状态，实例状态异常时会影响Pod的正常运行。 请检查ECS实例状态。 检查节点状态是否不可调度 检查节点是否不可调度，不可调度的节点会影响Pod的正常运行。 节点不可调度，请检查节点调度设置。 检查节点Chronyd进程状态是否正常 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart chronyd重启节点Chronyd进程。 检查节点Ntpd进程状态是否正常 检查节点Ntpd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Ntpd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart ntpd重启节点Ntpd进程。 检查节点Containerd状态是否正常 检查节点Containerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Containerd状态异常，请收集节点日志并提交工单处理。 检查节点Containerd镜像拉取是否正常 检查节点Containerd进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Docker状态是否正常 检查节点Dockerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Docker状态异常，请收集节点日志并提交工单处理。 检查节点Docker镜像拉取是否正常 检查节点Docker进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Kubelet状态是否正常 检查节点Kubelet服务的状态，该进程可能会影响Pod的正常运行。 请检查节点Kubelet日志。 检查节点Kubelet启动时间 检查节点Kubelet进程启动时间。 无 节点OS版本 检查节点操作系统版本。 无 节点内核版本 检查节点内核版本是否过低，内核版本过低可能造成系统异常。 请尝试更换节点升级内核。 节点Systemd版本 检查节点systemd版本。 无 节点runc版本 检查节点runc版本，runc版本过低可能造成系统异常。 无 节点系统时间 检查节点系统时间。 无 节点硬件时间 检查节点硬件时间。 无 节点硬件时间漂移 检查节点硬件时钟与系统时间是否一致，时间相差超过2分钟可能引起组件异常。 请尝试登录节点，通过命令hwclock systohc将节点系统时间同步到硬件时间。 检查节点内存交换区开启情况 检查节点内存交换区 (Memory Swap) 功能是否开启，K8s默认要求关闭内存交换区。 当前节点内存交换区 (Memory Swap) 功能不支持开启，请登录节点关闭该功能。 检查Conntrack表使用情况 检查节点Conntrack表是否满，Conntrack表满可能影响网络性能。 请检查nfconntrackbuckets和nfconntrackmax内核参数。 检查节点访问集群API Server是否正常 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 节点DNS服务地址 检查节点能否正常使用主机DNS服务，通过主机DNS服务解析集群外域名。 请检查主机DNS服务是否正常。更多信息，请参见DNS解析异常问题排查。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS服务是否正常 检查节点能否正常访问集群kubedns服务的Cluster IP，通过集群的DNS服务解析集群内域名。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS后端端点是否正常 检查节点能否正常访问集群CoreDNS的Pod IP地址，通过CoreDNS进行域名解析。 请检查节点能否正常访问CoreDNS的Pod IP地址。更多信息，请参见DNS解析异常问题排查。 检查节点内网IP是否存在 检查节点内网IP是否存在。 节点内网IP不存在，请尝试移除节点后重新导入，移除时需保留ECS。 检查节点能否访问公网 检查节点能否正常访问公网，无法访问公网可能影响公网镜像拉取。 请检查集群是否开启SNAT公网访问。 节点CPU使用率 检查节点CPU负载是否过高，CPU负载过高可能影响系统性能。 无 节点内存使用率 检查节点内存负载是否过高，内存过高可能影响系统性能。 无

本节介绍了节点池概述的用户指南。 节点池概述 节点池是集群中一个或一组节点的逻辑集合，可以帮助您高效管理集群中的节点。一个集群中可以创建多个不同配置的节点池。节点池的配置包含节点的属性，例如节点规格、标签、污点等。这些属性可以在创建节点池时指定，也可以在创建完成后进行编辑修改。 您可以通过节点池扩缩容，弹出一个或多个具有相同配置的ECS节点。 通过节点池，您可以更方便地对集群节点进行分组管理和运维等。 通过节点池，您可以在同一个集群中实现不同类型的节点混合部署管理。 同一个集群中，允许创建不同节点规格的节点池。 同一个集群中，允许创建多个开启自动弹性伸缩的节点池。 节点池功能 节点池目前支持以下功能。 功能 说明 创建节点池 创建节点池，需要指定节点池的配置。 编辑节点池 重要编辑节点池时，如无特殊说明（如同步更新存量节点标签及污点），不会修改节点池已有存量节点的配置，仅作用于新增节点。 扩缩容节点池 扩容会根据节点池的配置弹出节点。 · 缩容可以选择移出节点池，也可以选择释放节点池内的节点。 弹性伸缩 弹性伸缩可以根据业务负载和策略，按需弹出不同规格节点，满足不同的节点伸缩场景，进行成本优化。

本节介绍 设置工作负载亲和/反亲和调度(podAffinity/podAntiAffinity)的用户指南。 工作负载亲和/反亲和调度概述 在Kubernetes中，工作负载亲和/反亲和调度允许您根据现有Pod的标签和拓扑域（如节点、可用区等）来调度新的Pod。这有助于优化资源利用、减少网络延迟和提高应用性能。 拓扑域 拓扑域是通过节点的标签（topologyKey）来定义的。例如，kubernetes.io/hostname可以将每个节点视为一个独立的拓扑域，而failuredomain.beta.kubernetes.io/zone则可以将每个可用区视为一个拓扑域。 调度策略类型 1. 负载亲和： 不配置：默认行为，不进行特殊调度。 优先多可用区部署：通过Pod反亲和策略，尽量将Pod分散到不同的可用区。 强制多可用区部署：强制将Pod分散到不同的可用区，如果无法满足，则Pod无法调度。 自定义亲和策略：根据Pod标签实现灵活的调度策略。 2. 自定义亲和策略： 工作负载亲和性： 1. 必须满足（硬约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod必须调度到该拓扑域。 2. 尽量满足（软约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod优先调度到该拓扑域，但不是必须的。 工作负载反亲和性： 1. 必须满足（硬约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod不能调度到该拓扑域。 2. 尽量满足（软约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod尽量不调度到该拓扑域，但不是必须的。 3. 策略设置参数说明 参数 用途 说明 权重（Weight） 在“尽量满足”（Preferred）策略中，权重用于评估节点对Pod的适合程度。 取值范围：1100 调度器会计算每个节点的总评分，该评分由节点的其他优先级函数评分和此权重附加的评分相加得出。Pod将被调度到总评分最高的节点上。 命名空间（Namespace） 指定调度策略生效的命名空间。 调度策略将仅应用于指定命名空间内的Pod和节点。 拓扑域（Topology Domain） 通过节点的标签和标签值定义调度的节点范围。 使用topologyKey（如kubernetes.io/hostname或kubernetes.io/os）来划分拓扑域。 kubernetes.io/hostname：每个节点是一个独立的拓扑域，适用于单个节点级别的亲和性调度。 kubernetes.io/os：具有相同操作系统的节点属于同一拓扑域，适用于将多个节点作为一个整体进行调度。 标签名（Label Name） 设置工作负载亲和/反亲和性时，指定需要匹配的Pod标签。 调度器将查找具有指定标签名的Pod，并根据亲和/反亲和规则进行调度。 操作符（Operator） 定义标签匹配关系。 取值范围： In：Pod的标签值在指定的标签值列表中。 NotIn：Pod的标签值不在指定的标签值列表中。 Exists：Pod存在指定的标签名。 DoesNotExist：Pod不存在指定的标签名。 标签值（Label Value） 设置工作负载亲和/反亲和性时，指定Pod标签对应的值。 与标签名和操作符一起使用，用于确定Pod是否符合亲和/反亲和规则。

验证CPU独占与隔离 注意 FullPCPUs策略 使用FullPCPUs策略可以确保分配完整的物理CPU核心，避免跨物理核心的线程干扰 当节点剩余的逻辑CPU数量足够但完整的物理核心不足时，会继续分配 性能影响 CPU独占会减少节点上可用的CPU资源，可能影响整体资源利用率 建议只为真正需要稳定性能的关键业务应用配置CPU独占 监控与调优 定期监控CPU使用情况，根据实际负载调整资源分配 使用节点监控工具（如top、htop等）验证CPU隔离效果 兼容性 确保所有节点都正确配置了koordruntimeproxy 不同版本的Kubernetes和容器运行时可能需要不同的配置 常见问题 如何确认CPU独占是否生效？ 可以通过以下方式验证： 1. 检查Pod的注解中是否包含scheduling.koordinator.sh/resourcestatus字段。 2. 在节点上查看容器的cpuset配置是否与调度器分配一致。 3. 使用性能监控工具观察CPU使用情况。 为什么BE应用无法使用某些CPU核心？ 这是预期的行为。高优先级应用（LSE）独占的CPU核心会被排除在BE应用的cpuset之外，确保资源隔离。 如何修改已部署应用的CPU独占配置？ 需要更新应用的ColocationProfile配置，并重启相关Pod使配置生效。 CPU独占会影响节点调度吗？ 是的，调度器会考虑节点的可用CPU核心数量进行调度决策。当所有CPU核心都被独占时，新的高优先级应用将无法调度到该节点。

本节介绍了云容器引擎的最佳实践:有状态工作负载配置存储实践。 对于有状态应用实例需要持久化状态，每个实例有其独特的身份和持久化的数据存储。有状态应用的存储使用跟其他的工作负载存在差异。 使用方法 有状态应用PVC使用方法选择包括:已有存储卷申明（PVC）和存储卷申明模版（VolumeClaimTemplate）。 已有存储卷声明（PVC）方式较少使用，适用于有状态工作负载的多个副本共享同一PVC的场景。但实际需求中，要求每个副本具备独立存储的情况并不常见。 存储卷声明模板（VolumeClaimTemplate）是有状态工作负载特有的配置项。通过在该工作负载中定义模板，K8S会在创建每个副本时自动生成一个与之对应的PVC，命名规则为{存储声明模板名称}{有状态工作负载名称}{序号}。本文将重点阐述此方法。 注意 有状态工作负载删除后，其关联的PVC会保留。若用户确认不再需要，需手动删除这些PVC。（可通过启用K8S特性门控StatefulSetAutoDeletePVC为true，实现有状态工作负载删除后自动清理PVC）。 若不删除PVC，后续在同一命名空间内创建同名有状态工作负载并使用同名存储卷声明模板时，新工作负载将自动复用原有的PVC。 1. 点击“创建存储卷申明模版”. 2. 定义模版的存储申明类型、已有存储类、容量、卷模式、访问模式. 存储申明类型： 天翼云各类型的产品，用户根据需要自行选择对应的产品。 已有存储类： 用户需要提前创建好产品对应的存储类，用于动态分配。 容量： 存储容量大小 卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能 访问模式： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 3. 创建了一个有状态负载test，存储卷申明模版如下： 4. 有状态工作负载成功启动。 5. 查看pod的yaml，可以看到test1的pod，使用了disktest1这个PVC。 6. PVC列表中，两个PVC均被创建出来并且bound。

本节介绍了用户指南: 用LocalPV动态存储卷。 使用LocalPV动态存储卷时，无需预先手动创建PV，只需在创建PVC时指定本地存储类（StorageClass），存储插件cstorcsi即会自动以子目录形式创建对应的PV资源。 此模式为推荐方案，您可专注于工作负载的存储需求，无需提前手动创建和配置存储资源，从而降低底层基础设施的复杂度。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 cstorcsi插件安装版本要求3.4.0及以上； 本地存储卷取决于底层节点的可用性，如果节点变得不健康，那么存储卷也将变得不可被 Pod 访问，影响Pod运行； 如果需要指定节点使用本地存储卷，可以通过以下两种方式： 1、创建持久卷声明PVC时，通过设置节点亲和来指定本地存储使用节点； 2、StorageClass创建时指定绑定策略WaitForFirstConsumer模式，创建工作负载指定节点亲和或者NodeSelector，通过pod调度决定存储使用节点。 通过控制台使用LocalPV动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

接口功能介绍 查询节点详情 接口约束 1、不支持Serverless集群 URI GET /v2/cce/clusters//nodes/ 路径参数 参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群ID，获取方式请参见如何获取接口URI中参数。 47281b02f87757478f20b1827c97cadf nodeName 是 String 节点名称 defaultsdaqs Query参数 无 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID，您可以查看地域和可用区来了解资源池 获取： 查 资源池列表查询 bb9fdb42056f11eda1610242ac110002 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码 500 requestId String 请求ID message String 提示信息 returnObj Object 返回参数 返回对象 returnObj error String 错误码 CCSE500 表 returnObj 参数 参数类型 说明 示例 下级对象 nodeName String 集群节点名称 ccsedemo123 nodeType Integer 节点类型，取值： 1：master 2：slave 2 nodeStatus String 节点状态，取值： normal：健康 abnormal：异常 expulsion：驱逐中 normal isSchedule Integer 是否调度，取值： 1：是 0：否 1 isEvict Integer 是否驱逐，取值： 1：是 0：否 0 createdTime String 创建时间 20230101 01:01:01 hostIp String 主机管理ip 10.10.10.10 hostExtraIpv6 String 主机业务ipv6 kubeletVersion String Kubelet 版本 1.23.3 podCidr String Pod CIDR kernelVersion String 内核版本 4.19 osImageVersion String OS 镜像 kubeProxyVersion String KubeProxy 版本 1.23.3 ecsId String 云主机ID hostType String host类型 zoneName String 可用区名称 zoneCode String 可用区编码 createUserId String 用户ID osVersion String OS 版本

节点类型 高危操作 后果 解决方案 master节点 节点到期或销毁 该master节点不可用若只有一个master节点，则集群不可用 不可恢复 master节点 自行改动master或etcd版本 可能引发集群不可用 master或etcd恢复原始版本 master节点 删除或者格式化/etc/kubernetes或/data/containerd等核心数据目录 该master节点不可用若只有一个master节点，则集群不可用 不可恢复 master节点 重装操作系统 master组件被删除，不可用若只有一个master节点，则集群不可用 不可恢复 master节点 删除或者卸载关键内核模块或内核文件 该master节点不可用若只有一个master节点，则集群不可用 不可恢复 master节点 修改操作系统配置 可能导致该master节点不可用若只有一个master节点，则集群不可用 请自行还原配置 master节点 自行修改核心组件参数 可能导致该master节点不可用 核心组件参数恢复配置 master节点 自行修改/etc/resolv.conf等配置文件原始内容 可能引发网络不通或拉取镜像失败 请自行还原配置文件原始内容 master节点 自行更换master或者etcd证书 可能引发集群不可用 不可恢复 master节点 更改节点IP master节点不可用 修改回原IP master节点 业务应用占用资源过高 核心组件或者主机节点不可用 请自行进行资源清理并进行合理资源配额限制 master节点 修改节点的主机名称 master节点不可用 修改回原主机名称 node节点 节点删除或到期 该节点不可用 不可恢复 node节点 重装操作系统 该节点不可用 不可恢复 node节点 删除或者卸载关键内核模块或内核文件 该节点不可用 不可恢复 node节点 修改操作系统配置 可能导致该节点不可用 尝试还原配置 node节点 自行修改核心组件参数 可能导致该节点不可用 核心组件参数恢复配置 node节点 删除或修改关键数据目录、删除数据盘 该节点不可用 不可恢复 node节点 修改节点内目录权限或者容器目录权限 权限异常 不建议修改，请自行恢复 node节点 更改节点IP 该节点不可用 修改回原IP node节点 业务应用占用资源过高 核心组件或者主机节点不可用 请自行进行资源清理并进行合理资源配额限制 node节点 修改节点的主机名称 该节点不可用 修改回原主机名称

本节介绍了节点伸缩原理。 工作原理 在Kubernetes中，节点自动伸缩的工作原理与传统意义上基于使用率阈值的模型有所差别，这也是很多开发者在从传统的IDC或者其他编排系统迁移到Kubernetes后最难理解的地方。 传统的弹性伸缩模型是基于使用率的，例如：一个集群中有3个节点，当集群中的节点CPU、内存使用率超过特定的阈值时，此时弹出新的节点。但当深入思考时会发现以下几个问题： 阈值是如何选择与判断的？ 在一个集群中，部分热点节点的利用率会较高，而另外一个节点的利用率会很低。如果选择平均利用率的话可能会造成弹性伸缩的不及时。如果使用最低的节点的利用率，那么也会造成弹出资源的浪费。 弹出实例后是如何缓解压力的？ 在Kubernetes中，应用是以Pod为最小单元，部署在集群的不同节点上的。当一个Pod资源利用率较高的时候，即便此时所在的节点或者集群的总量触发了弹性扩容，但是该应用的Pod数目，以及Pod对应的Limit没有任何变换，那么负载的压力是无法转移到新扩容出的节点上的。 如何判断以及执行实例的缩容？ 如果基于资源利用率的方式判断节点是否缩容，那么很有可能出现，Request很大，但是Usage很小的Pod被驱逐，当集群中这种类型的Pod较多时，会导致集群的调度资源被占满，部分Pod无法调度。 Kubernetes节点伸缩是怎么解决以上问题的呢？Kubernetes是通过调度与资源解耦的两层弹性模型来解决的。 基于资源的使用率来触发应用副本的变化，也就是调度单元的变化。而当集群的调度水位达到100%的时候会触发资源层的弹性扩容，当资源弹出后，无法调度的单元会自动调度到新弹出的节点上，从而降低整个应用的负载状况。以下介绍Kubernetes弹性伸缩的技术细节： 如何判断节点的弹出？ clusterautoscaler是通过对处在Pending的Pod进行监听而触发的。当Pod处在Pending的原因是调度资源不足的时候，会触发clusterautoscaler的模拟调度，模拟调度器会计算在配置的伸缩组中哪个伸缩组弹出节点后可以调度这些Pending的Pod。如果有伸缩组可以满足，那么就弹出相应的节点。 模拟调度就是将一个伸缩组当成一个抽象的Node，伸缩组中配置的机型规格对应会成为Node的CPU/内存/GPU的容量，然后设置伸缩组上面的Label、Taint，也就是Node的Label与Taint。模拟调度器会在调度模拟的时候，将该抽象的Node纳入调度参考。如果Pending的Pod可以调度到抽象的Node，那么就会计算所需的Node的数目，驱动伸缩组弹出节点。 如何判断节点的缩容？ 首先只有弹性伸缩弹出的节点会被缩容，静态的节点是无法被clusterautoscaler接管的。缩容的判断是通过每个节点单独判断的。当任意一个节点的调度利用率低于所设置的调度阈值时，会触发节点的缩容判断。此时clusterautoscaler会尝试模拟驱逐节点上面的负载，判断当前节点是否可以排水彻底。有些特殊的Pod（kubesystem命名空间的非DaemonSet Pod、PDB控制的Pod等），则会跳过该节点而选择其他的候选节点。当节点发生驱逐时，会先进行排水，将节点上的Pod驱逐到其他的节点，然后再下线该节点。 多个分组之间如何选择？ 不同分组之间，实际上相当于不同的虚拟的Node之间的选择，和调度策略一样，这里也存在一个打分的机制。首先符合调度策略的Node会先过滤出来，在符合调度策略的Node中，会根据affinity等亲和性的策略进行选择。如果上述的策略都不存在，默认情况下clusterautoscaler会通过leastwaste的策略来进行抉择。leastwaste的策略的核心就是模拟弹出节点后，剩余的资源最少。此外，有一个特别的场景，当有一个GPU的伸缩组和CPU的伸缩组同时可以弹出生效时，默认CPU会优先于GPU弹出。 如何提高弹性伸缩的成功率？ 弹性伸缩的成功率主要取决如下两个因素： 1、调度策略是否满足 首先在配置好伸缩组后，开发者需要先确认下该伸缩组可以承载的Pod的调度策略范围。如果无法直接判断，最简单的方式是通过nodeSelector直接选择伸缩组的Label进行预弹模拟。 2、资源配置是否充分 当模拟调度通过后，会选择伸缩组进行弹出，但是伸缩组中配置的ECS规格是否有库存会直接决定是否可以成功弹出实例。因此配置多个节点池选择不同的规格可以大大提高弹出成功率。