选择合适的容器镜像 如果在云容器引擎集群中部署的应用容器使用了Alpine作为基础镜像，可能会因为下述musl libc特性导致无法正常解析域名，此时建议尝试更换基础镜像，如Debian、CentOS等。Alpine容器镜像内置的musl libc库与标准的glibc存在以下差异： 3.3版本及更早版本的Alpine不支持search参数，不支持搜索域，无法完成服务发现。 并发请求 /etc/resolv.conf中配置的多个DNS服务器，导致节点DNS缓存的优化失效。 并发使用同一Socket请求A和AAAA记录，在旧版本内核上会触发Conntrack源端口冲突导致丢包问题。 避免IPVS缺陷导致的DNS概率性解析超时问题 当集群的kubeproxy负载均衡模式为IPVS时，缩容或重启CoreDNS可能会遇到DNS概率性解析超时的问题。该问题由社区Linux内核缺陷导致，具体信息请查看社区。 您可以通过使用节点DNS缓存（NodeLocal DNSCache），降低IPVS缺陷的影响，具体操作请参见：NodeLocal DNSCache加速。 使用节点DNS缓存（NodeLocal DNSCache） 节点DNS缓存（NodeLocal DNSCache）可以提升服务发现的稳定性和性能，详情请参见：NodeLocal DNSCache加速。 谨慎调整节点的DNS配置 CoreDNS启动时会默认获取实例所在节点 /etc/resolve.conf中的DNS配置，而且在CoreDNS重启之前不会再重新加载该节点上的resolve.conf配置。建议保持集群中各个节点的resolve.conf配置一致，并在修改CoreDNS实例所在节点resolve.conf文件后及时重启CoreDNS。

预置角色 集群内RBAC权限 管理员 对集群所有命名空间下 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的读写权限 运维人员 对集群所有命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的只读权限 开发人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限 受限人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 只读权限 自定义 权限由您所选择的 ClusterRole 决定，请在确定所选 ClusterRole 对各类资源的操作权限后再进行授权，以免子账号获得不符合预期的权限

选择Master节点规格 Master节点运行着etcd、kubeapiserver、kubescheduler、kubecontrollermanager等核心组件，Master节点的稳定性直接决定整个Kubernetes的稳定性。集群规模与所需的Master规格成正比，即集群规模越大，所需Master规格越高。 在个人开发和学习环境中，可以选择小规格的ECS进行体验。然而，在生产环境中，建议用户在综合考虑节点数量、Pod数量、部署频度以及apiserver访问量的基础上评估集群规模。以下是从节点数量单个维度出发给出的Master节点规格的推荐配置。 Master节点推荐规格 节点规模 4核 8GB（不推荐使用 4核 8GB 以下规格） 1～5个节点 4核 16GB 6～20个节点 8核 32GB 21～100个节点 16核 64GB 101～200个节点 64核 128GB 201～500个节点（请评估爆炸半径风险） 选择Worker节点规格 1、ECS规格要求，要求CPU大于等于4核，内存大于等于8GB。 2、确定集群可用性的容忍度。 计算集群总核数，例如320核。 确定容忍度，例如容忍10%的故障。那么最小选择10台32核ECS，并保证高峰运行负荷不超过320 90% 288核。在这个容忍度下，即使一台ECS故障，剩余ECS仍能支撑业务运行 3、根据Pod的CPU和内存配比选择规格，天翼云支持1:2、1:4、1:8的配比。 4、根据网络需求选择ECS类型，例如，对于网络密集型应用，推荐选择网络增强型ECS。ECS规格参考：点这里

配置多个集群的kubectl访问凭证 下面用2个集群为例演示如何修改config文件访问多个集群。 获取集群A的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16261" name: 1626117120288662000021 currentcontext: 1626117120288662000021 kind: Config preferences: {} users: name: "16261" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clustera，用户名修改成clusterauser： apiVersion: v1 clusters: cluster: server: name: clustera contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 获取集群B的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16262" name: 1626217120288662000022 currentcontext: 1626217120288662000022 kind: Config preferences: {} users: name: "16262" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clusterb，用户名修改成clusterbuser： apiVersion: v1 clusters: cluster: server: name: clusterb contexts: context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusterbcontext kind: Config preferences: {} users: name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把两份凭证合并到同个config文件，把两份文件中的cluster、user、context合并到同一父路径下： apiVersion: v1 clusters: cluster: server: name: clustera cluster: server: name: clusterb contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2...

Master节点推荐规格 节点规模 4核 8GB（不推荐使用 4核 8GB 以下规格） 1～5个节点 4核 16GB 6～20个节点 8核 32GB 21～100个节点 16核 64GB 101～200个节点 64核 128GB 201～500个节点（请评估爆炸半径风险）

弃用API apidiscovery.k8s.io/v2beta1 API 组已废弃。此 API 用于客户端查询集群中所有已注册的 API 资源信息，建议迁移至 v2 稳定版本。 v1版本的Endpoints API正式废弃，推荐使用EndpointsSlice API代替。EndpointSlice API自1.21起已进入稳定状态，引入了双栈网络支持等特性。但v1版本的Endpoints API目前不会删除。 EndpointSlice的annotation service.kubernetes.io/topologymode在 1.33 版本中已弃用，保持向后兼容，由spec.trafficDistribution替换。 Pod status.resize 字段在 1.33 版本中已弃用，将不再设置。Pod 调整大小的状态将在两个新 condition 下暴露：PodResizeInProgress 和 PodResizePending。 WatchFromStorageWithoutResourceVersion 特性在 1.33 版本中已被弃用，无法再启用。 更多信息请参考：Kubernetes 1.33 Changelog Kubernetes 1.32 版本Changelog 功能特性 1. CustomResourceFieldSelectors (GA)，CustomResourceFieldSelectors 特性门控在 1.32 进入 GA，默认启用。该特性支持在 CustomResourceDefinition（CRD）中启用 selectableFields，包括 list、watch 和 deletecollection，以更加高效、更精确地过滤 CRD 资源。 2. StatefulSetAutoDeletePVC (GA)，StatefulSetAutoDeletePVC 特性门控在 1.32 进入 GA，默认启用。该特性提供对 StatefulSet 中 PVC 删除的精细控制，允许在 StatefulSet 明确不需要 PVC 时自动清理 PVC，降低孤立 PVC 对 StatefulSet 的影响。 3. SizeMemoryBackedVolumes (GA)，SizeMemoryBackedVolumes 特性门控在 1.32 进入 GA，默认启用。该特性支持对基于内存的卷（如 emptyDir）指定大小限制，防止 Pod 过度占用节点内存。 4. PodLifecycleSleepAction (GA)，PodLifecycleSleepAction 特性门控在 1.32 进入 GA。该特性支持在容器生命周期回调中通过 Sleep 字段直接使用 sleep 命令，将容器暂停一段指定的时间。 5. Memory Manager (GA)，Memory Manager 特性门控在 1.32 进入 GA。作为 kubelet 工作负载准入过程的一部分，Memory Manager 提供拓扑提示来优化内存分配和对齐，使用户能够为 Guaranteed QoS 类别的 Pod 分配独占内存。 6. CronJobsScheduledAnnotation (GA)，CronJobsScheduledAnnotation 特性门控在 1.32 进入 GA，默认启用。该特性会将 CronJob 被调度的时间写到 Job 的注解 batch.kubernetes.io/cronjobscheduledtimestamp 中。 7. PodIndexLabel (GA)，PodIndexLabel 特性门控在 1.32 进入 GA，默认启用。该特性会将 Index Job 的完成顺序写到 Pod 的标签 batch.kubernetes.io/jobcompletionindex 中。 8. WatchList (Beta)，WatchList 特性门控进阶至 Beta，默认启用。对于使用 clientgo 的用户，在开启 clientgo 的 WatchListClient 特性后，使用流式请求而不是全量 List 访问 kubeapiserver，降低控制面资源消耗。 9. RelaxedEnvironmentVariableValidation (Beta)，RelaxedEnvironmentVariableValidation 特性门控进阶至 Beta，默认开启。该特性支持在环境变量名中使用所有可打印的 ASCII 字符（""除外），增加了环境变量使用的灵活性。 10. JobManagedBy (Beta)，JobManagedBy 特性门控进阶至 Beta，默认启用。该特性支持通过 Job 的 spec.managedBy 字段自定义 Job 的 controller，使外部控制器（如 Kueue）能够管理 Job 同步。 11. QueueingHint (Beta)，调度器的每个插件都集成 QueueingHint 回调函数，方便调度器获取 Pod 重新入队的建议，快速判断 Pod 是否需要重新入队，以减少不必要的调度重试，从而提升调度吞吐量。 12. RecoverVolumeExpansionFailure (Beta)，RecoverVolumeExpansionFailure 特性门控进阶至 Beta，默认启用。该特性允许用户通过重试较小的大小从卷扩展失败中恢复，确保卷扩展更具弹性和可靠性。 13. AuthorizeWithSelectors / AuthorizeNodeWithSelectors (Beta)，AuthorizeWithSelectors 和 AuthorizeNodeWithSelectors 特性门控进阶至 Beta，后者需要搭配前者使用。启用后，AuthorizeNodeWithSelectors 允许节点鉴权器使用更细粒度的选择算符（例如 fieldSelector 和 labelSelector）进行鉴权，提高了 Kubernetes 授权系统的灵活性。kubelet 仅有最小权限，只能读取自己的节点对象和绑定到自己节点的 Pod。 14. 优化 JobController，极大提升 Job 的更新和删除效率，尤其是在大量使用 Job 的场景下。 15. 优化 kubeproxy，Service 更新时使用 fieldSelector: clusterIP!None，以避免监听 Headless Service，减少不必要的带宽占用。 16. 优化 Pod 状态显示信息。当镜像拉取失败后，Pod 的 status.containerStatuses[].state.waiting 字段会记录镜像拉取失败的原因（ImagePullBackOff）和具体失败信息。

操作系统 已知缺陷 原因 解决方法 CentOS7.9 运行时为containerd时，偶尔可见pod长期处于Terminating状态，无法正常终止 使用的3.10.01160内核版本缺陷所致 echo fs.maydetachmounts1 >> /etc/sysctl.conf sysctl p CentOS7.9 os在cpu/内存资源富裕的情况下无法派生线程/协程 低版本内核的os kernel.pidmax使用了较小的默认值32768 echo kernel.pidmax4194304 >> /etc/sysctl.conf sysctl p Ubuntu 18.04 os在cpu/内存资源富裕的情况下无法派生线程/协程 低版本内核的os kernel.pidmax使用了较小的默认值32768 echo kernel.pidmax4194304 >> /etc/sysctl.conf sysctl p

弹性裸金属 操作系统 最新内核信息 支持x86主机 支持ARM主机 支持GPU主机 集群版本 CubeCNI PolicyRoute（默认） CubeCNI IPVlan（订购时选择） CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.31 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.29 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.27 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.25 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.23 √ √ CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.31 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.29 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.27 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.25 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.23 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.31 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.29 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.27 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.25 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.23 √ ×

声明使用独占ENI或固定IP的Pod卡在pending状态为什么没创建出来？ 可查看工作负载或Pod的事件，通常是ENI配额不够导致Pod无法调度： plaintext Events: Type Reason Age From Message Warning FailedScheduling defaultscheduler 0/5 nodes are available: 5 Insufficient network.ccse.ctyun.cn/eni.

Cubecni多种模式对比 对比项 共享ENI策略路由 共享ENIIPVLAN 独占ENI Pod部署密度 Pod部署密度较高，单个节点可支持数百个Pod Pod部署密度较高，单个节点可支持数百个Pod Pod部署密度较低，支持个位数的Pod，取决于主机的ENI配额 带宽优先级 支持配置网卡队列发送数据包时的优先级 支持配置网卡队列发送数据包时的优先级 不支持 NetworkPolicy支持 支持Kubernetes原生NetworkPolicy，提供了基于策略的访问控制能力 支持Kubernetes原生NetworkPolicy，提供了基于策略的访问控制能力。 不支持 适用场景 常用Kubernetes使用场景 常用Kubernetes使用场景，网络性能优于策略路由模式 此模式下网络性能更接近主机，适用对网络性能有较高要求的场景，例如需要高网络吞吐量或低延迟的应用 ENI分配方式 多个Pod共享一个ENI 多个Pod共享一个ENI 每个Pod独占一个ENI OS要求 无 要求使用CtyunOS3 无 Pod粒度网络配置 不支持 不支持 支持为Pod配置固定IP、安全组和子网 带宽限制 支持Egress/Ingress带宽限制 支持Egress，不支持Ingress带宽限制 支持Egress/Ingress带宽限制

本节介绍了纳管节点的用户指南。 操作场景 纳管节点是指将已有的弹性云主机/裸金属加入到云容器集群中，所纳管节点的计费模式支持“按需计费”和“包年/包月”两种类型。 注意 纳管节点将对节点进行重装操作系统，节点的系统盘会被清理，请操作纳管节点前进行数据备份。 纳管节点将清除/etc/fstab中的数据盘挂载记录，若需要保存磁盘挂载记录请将/etc/fstab备份至数据盘。 纳管节点将弹性云主机控制台云盘列表中的首块数据盘(系统盘除外)预设为容器数据盘，若该云盘已经被分区或格式化则将系统盘作为容器数据盘。 纳管节点将重置节点密码，原密码将失效。 纳管节点过程中，请勿在弹性云主机或者物理机控制台对所选节点进行任何操作。 前提条件 待纳管的弹性云主机或裸金属需要满足以下前提条件： 待纳管节点必须状态为“运行中”，未被该集群以及其他集群所使用。 待纳管节点需与集群在同一虚拟私有云内。 待纳管节点的系统组件使用独立磁盘存储时需挂载数据盘。 待纳管节点规格要求：CPU必须4核及以上，内存必须8GiB及以上，网卡有且仅能有一个。 待纳管的节点，主机名称只能使用小写字母、数字和连字符（），必须以小写字母开头，不能以连字符（）开头或结尾，并且长度不得超过63个字符。 批量纳管仅支持添加相同规格、相同可用区、相同数据盘配置的云主机或裸金属。

操作系统与容器运行时的对应关系 节点类型 操作系统 内核版本 容器运行时 容器存储Rootfs OCI 运行时 弹性云主机 CTyunOS 23.01 5.10 Containerd OverlayFS runC 弹性云主机 CentOS 7.9 5.4 Containerd OverlayFS runC 弹性裸金属 CTyunOS 23.01 5.10 Containerd OverlayFS runC 弹性裸金属 CentOS 7.9 5.4 Containerd OverlayFS runC 集群版本与容器运行时对应关系 集群版本 容器运行时 运行时版本 v1.23.3 containerd 1.6.23 v1.23.3 docker 20.10.12 v1.25.6 containerd 1.6.23 v1.25.6 docker 20.10.12 v1.27.8 containerd 1.6.23 v1.27.8 docker 20.10.12 v1.29.3 containerd 1.6.23 v1.29.3 docker 20.10.12

Node检查 检查项名称 说明 修复方案 检查节点是否存在 检查集群中是否存在该节点。 请检查Node在集群中是否存在。 检查节点状态是否Ready 检查节点在集群中的状态是否为Ready。 请登录到节点上执行systemctl status kubelet或journalctl exu kubelet查看节点上kubelet进程异常日志并尝试修复。 检查ECS实例是否存在 检查ECS实例是否存在。 请检查ECS实例状态。 检查ECS实例状态正常 检查ECS实例状态，实例状态异常时会影响Pod的正常运行。 请检查ECS实例状态。 检查节点状态是否不可调度 检查节点是否不可调度，不可调度的节点会影响Pod的正常运行。 节点不可调度，请检查节点调度设置。 检查节点Chronyd进程状态是否正常 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart chronyd重启节点Chronyd进程。 检查节点Ntpd进程状态是否正常 检查节点Ntpd进程是否异常，该进程异常时可能会影响系统时钟同步。 节点Ntpd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart ntpd重启节点Ntpd进程。 检查节点Containerd状态是否正常 检查节点Containerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Containerd状态异常，请收集节点日志并提交工单处理。 检查节点Containerd镜像拉取是否正常 检查节点Containerd进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Docker状态是否正常 检查节点Dockerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Docker状态异常，请收集节点日志并提交工单处理。 检查节点Docker镜像拉取是否正常 检查节点Docker进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Kubelet状态是否正常 检查节点Kubelet服务的状态，该进程可能会影响Pod的正常运行。 请检查节点kubelet日志。 检查节点Kubelet启动时间 检查节点Kubelet进程启动时间。 无 节点OS版本 检查节点操作系统版本。 无 节点内核版本 检查节点内核版本是否过低，内核版本过低可能造成系统异常。 请尝试更换节点升级内核。 节点Systemd版本 检查节点systemd版本。 无 节点runc版本 检查节点runc版本，runc版本过低可能造成系统异常。 无 节点系统时间 检查节点系统时间。 无 节点硬件时间 检查节点硬件时间。 无 节点硬件时间漂移 检查节点硬件时钟与系统时间是否一致，时间相差超过2分钟可能引起组件异常。 请尝试登录节点，通过命令hwclock systohc将节点系统时间同步到硬件时间。 检查节点内存交换区开启情况 检查节点内存交换区 (Memory Swap) 功能是否开启，K8s默认要求关闭内存交换区。 当前节点内存交换区 (Memory Swap) 功能不支持开启，请登录节点关闭该功能。 检查Conntrack表使用情况 检查节点Conntrack表是否满，Conntrack表满可能影响网络性能。 请检查nfconntrackbuckets和nfconntrackmax内核参数。 检查节点访问集群API Server是否正常 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 节点DNS服务地址 检查节点能否正常使用主机DNS服务，通过主机DNS服务解析集群外域名。 请检查主机DNS服务是否正常。更多信息，请参见DNS解析异常问题排查。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS服务是否正常 检查节点能否正常访问集群kubedns服务的Cluster IP，通过集群的DNS服务解析集群内域名。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS后端端点是否正常 检查节点能否正常访问集群CoreDNS的Pod IP地址，通过CoreDNS进行域名解析。 请检查节点能否正常访问CoreDNS的Pod IP地址。更多信息，请参见DNS解析异常问题排查。 检查节点内网IP是否存在 检查节点内网IP是否存在。 节点内网IP不存在，请尝试移除节点后重新导入，移除时需保留ECS。 检查节点能否访问公网 检查节点能否正常访问公网，无法访问公网可能影响公网镜像拉取。 请检查集群是否开启SNAT公网访问。 节点CPU使用率 检查节点CPU负载是否过高，CPU负载过高可能影响系统性能。 无 节点内存使用率 检查节点内存负载是否过高，内存过高可能影响系统性能。 无

NodeComponent检查 检查项名称 说明 修复方案 检查节点CNI组件状态是否正常 检查节点上CNI组件Pod是否正常。 请检查集群网络组件状态。具体操作，请参见Pod异常问题排查。 检查节点CSI组件状态是否正常 检查节点上CSI组件Pod是否正常。 请检查集群件存储组件状态。具体操作，请参见Pod异常问题排查。

关键操作列表 事件名称 级别 创建用户委托 normal 删除用户委托 warning 授权企业项目 normal 创建集群 normal 节点扩容 normal 节点缩容 warning 节点升规格 normal 节点重置 warning 节点磁盘扩容 normal 节点磁盘缩容 warning 集群退订 warning 集群销毁 warning 集群复机 normal 更新集群描述 normal 升级集群 normal 暂停升级集群 normal 取消升级集群 warning 恢复升级集群 normal 删除集群 warning 获取kubeconfig warning 获取临时kubeconfig warning 吊销用户证书 warning 集群API Server绑定/解绑eip warning 集群节点绑定eip normal 集群节点解绑eip warning 创建节点池 normal 更新节点池 normal 删除节点池 warning 批量删除节点池 warning 发布插件实例 normal 升级插件实例 normal 重新发布插件实例 normal 回滚插件实例 warning 删除插件实例 warning 创建工作负载 normal 工作负载扩缩容 normal 全量替换工作负载 warning 克隆工作负载 normal 删除工作负载 warning 快速重新部署工作负载 warning 滚动重新部署工作负载 warning 停止工作负载 warning 启动工作负载 normal 回滚工作负载到上一版本 warning 回滚工作负载到指定版本 warning 重启工作负载指定Pod warning 设置工作负载自动伸缩 normal 关闭工作负载自动伸缩 normal 批量删除工作负载 warning 批量启动工作负载 warning 批量停止工作负载 warning 批量快速重新部署工作负载 warning 批量滚动部署工作负载 warning 批量水平伸缩工作负载 warning 创建ConfigMap normal 删除ConfigMap warning 批量删除ConfigMap warning 新增ConfigMap Item normal 删除ConfigMap Item warning 更新ConfigMap Item normal 创建Secret normal 删除Secret warning 批量删除Secret warning 新增Secret Item normal 删除Secret Item warning 更新Secret Item normal 创建TLS凭证 normal 更新TLS凭证 normal 创建Ingress normal 删除Ingress warning 批量删除Ingress warning 全量替换Ingress warning 创建Service normal 删除Service warning 批量删除Service warning 全量替换Service warning 创建namespace normal 删除namespace warning 设置 namespace 资源配额 normal 更新 namespace 资源配额 normal 取消设置 namespace 资源配额 warning 创建PVC normal PVC扩容 normal 删除PVC warning 批量删除PVC warning 新增存储池 normal 更新存储池 normal 删除存储池 warning 删除Role warning 批量删除Role warning 删除ClusterRole warning 批量删除ClusterRole warning 子账号RBAC授权 warning 创建策略实例 normal 更新策略实例 normal 删除策略实例 warning 创建/配置巡检任务 normal 执行巡检检查 normal 删除巡检任务 warning 删除巡检报告 warning 创建ETCD备份任务 normal 删除ETCD备份任务 warning 更新ETCD备份任务 normal 触发ETCD备份 normal ETCD备份还原 normal 下载ETCD备份文件 normal 创建备份任务 normal 下载集群备份文件 normal 上传集群备份文件 normal 删除集群备份任务 warning 集群备份还原 warning 删除集群还原任务 warning 创建集群定时备份任务 normal 更新集群定时备份任务 normal 删除集群定时备份任务 warning 立即执行集群定时备份任务 normal 下发命名空间级别Resource normal 下发集群级别Resource normal 更新命名空间级别Resource normal 更新集群级别Resource normal 删除命名空间级别Resource warning 删除集群级别Resource warning 上传模板 normal 删除模板 warning 删除模板版本 warning 批量删除模板版本 warning 修改模板 normal 发布模板实例 normal 删除模板实例 warning 更新模板实例 normal 升级模板实例 normal 回滚模板实例 warning

操作步骤 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“节点管理”——“节点池”； 选择指定节点池，在操作”更多“列选择”升级“ 升级界面将展示节点池当前版本和可升级版本，选择需要升级的对象（操作系统、Kubelet），选择目标升级版本，点击”开始升级“ 说明 plaintext 1、同一节点池中，节点升级将以串行方式执行。期间一个节点升级失败，云容器引擎将停止对该节点池其余节点进行升级。 2、多个节点池之间可以并行进行升级。 3、异常节点不进行升级，建议升级前将节点恢复正常 升级事件 各节点的升级采用任务形式执行，期间会形成任务事件，查看升级进度。可以在控制台节点池升级窗口查看恢复事件。事件类型包括： 事件 详细描述 NODEPOOLUPGRADESTART 节点升级开始 NODEPOOLUPGRADEIGNORE 跳过该节点升级，比如当前Kubelet已是最新版本 NODEPOOLUPGRADEACTION 执行节点升级操作 NODEPOOLUPGRADEFAILED 节点升级失败，可以提交工单进行排查 NODEPOOLUPGRADESUCCEED 节点升级成功 升级逻辑 操作系统升级 1. 置节点为不可调度 2. 执行节点排水操作 3. 集群移除节点 4. 根据目标版本和操作系统类型重置节点 5. 节点加入集群 Kubelet升级 1. 置节点为不可调度 2. Kubelet原地升级 3. 恢复节点调度

事件 详细描述 NODEREPAIRSTART 故障恢复开始 NODEREPAIRDIAGNOSEISSUE 故障诊断确认 NODEREPAIRIGNORE 故障恢复跳过，比如主机实例异常、故障未达到阈值时间 NODEREPAIRACTION 执行故障恢复操作 NODEREPAIRFAILED 故障恢复失败，可以提交工单进行手动修复 NODEREPAIRSUCCEED 故障恢复成功

本节介绍了升级节点池的用户指南。 节点池升级指允许指定节点池中的全部节点，进行操作系统升级、kubelet升级，也可以根据需要组合升级。 使用须知 操作系统升级采用节点重置方式，关于节点重置注意事项参见节点重置 ，建议在业务低峰期操作； 运行时升级、Kubelet升级采用原地升级方式，期间节点不可调度，升级完成后恢复调度； 更换操作系统、容器运行时升级将首先进行节点排水操作，将容器优雅驱逐至其他可用节点，建议在业务低峰期操作；如果应用使用本地存储，可能引起调度失败或者数据丢失，请谨慎操作。节点排水的默认超时时间为30分钟，如果在超时时间内未能完成Pod迁移，CCE将终止本次升级以确保业务稳定性。 约束与限制 私有镜像节点暂不支持升级操作 运行时升级当前仅支持containerd 功能说明 节点池升级功能目前支持操作系统及kubelet，可以根据需要组合选择： 升级类型 说明 操作方式 最新版本 操作系统 支持升级场景： 操作系统版本升级 操作系统类型变更 该操作会通过重置节点的方式升级操作系统，关于节点重置详情参见节点重置 参见节点操作系统说明 章节“主机规格最新操作系统镜像名称” Kubelet 当对应版本的集群，kubelet发布了新的版本，可以将该节点池内节点的kubelet升级到最新版本 采取原地升级的方式升级kubelet组件 参见下文“集群版本与Kubelet对应关系” 容器运行时 当对应版本的集群，容器运行时发布了新的版本，可以将该节点池内节点的运行时升级到最新版本 采取原地升级的方式升级容器运行时 参见节点容器运行时说明章节“集群版本与容器运行时对应关系”

2、自动调度 cubevkprofile支持的调度策略如下： 策略 说明 fair 公平调度，由kubescheduler决定调度到标准Node或VNode。 normalNodeOnlyPod 只会调度到标准Node。 normalNodePrefer 优先调度到标准Node，标准Node资源不足时允许调度到VNode。 virtualNodeOnlyPod 只会调度到VNode。 创建Selector来配置Pod的调度策略 创建Pod时，系统会按照Selector配置去匹配Pod，Selector Label能够匹配上的Pod，会自动调度到ECI，并自动添加相应的Annotation和Label，Selector的YAML配置模板如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnode spec: objectLabels: matchLabels: app: nginx effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: virtualNodeOnly: {} priority: 99 spec中的相关参数说明如下： 名称 描述 objectLabels.matchLabels 要匹配的Pod Label。 namespaceLabels.matchLabels 要匹配的Namespace Label。 effect.annotations 要添加的Annotation。 effect.labels 要添加的Label。 policy 调度策略。支持以下几种：fair、normalNodeOnly、normalNodePrefer、virtualNodeOnly。 priority 优先级。存在多个Selector且发生冲突时，优先级高的Selector会生效。数值越大，表示该Selector优先级越高。 说明 objectLabels和namespaceLabels中，至少要选择一个配置。如果同时配置了两者，则Pod需要同时匹配两者。

解决方案 当节点调度资源不足时，需降低节点负载，方法如下： 1、删除或减少不必要的Pod，降低节点的负载。 2、根据自身业务情况，限制Pod的资源配置。 3、在集群中添加新的节点。 4、为节点进行升配。 节点CPU不足 问题原因 通常是节点上的容器占用CPU过多导致节点的CPU不足。 问题现象 当节点CPU不足时，可能会导致节点状态异常。 解决方案 1、通过节点的监控查看CPU增长曲线，确认异常出现时间点，检查节点上的进程是否存在CPU占用过高的现象。 2、降低节点的负载。 3、如需重启节点，可尝试重启异常节点。 节点内存不足MemoryPressure 问题原因 通常是节点上的容器占用内存过多导致节点的内存不足。 问题现象 1、当节点的可用内存低于memory.available配置项时，则节点状态中MemoryPressure为True，同时该节点上的容器被驱逐。 2、当节点内存不足时，会有以下常见错误信息： 2.1 节点状态中MemoryPressure为True。 2.2 当节点上的容器被驱逐时： 2.2.1 在被驱逐的容器事件中可看到关键字The node was low on resource: memory。 2.2.2 在节点事件中可看到关键字attempting to reclaim memory。 2.2.3 可能会导致系统OOM异常，当出现系统OOM异常时，节点事件中可看到关键字System OOM。 解决方案 1、通过节点的监控查看内存增长曲线，确认异常出现时间点，检查节点上的进程是否存在内存泄漏现象。 2、降低节点的负载。 3、如需重启节点，可尝试重启异常节点。 节点索引节点不足InodesPressure

解决方案 当节点调度资源不足时，需降低节点负载，方法如下： 1、删除或减少不必要的Pod，降低节点的负载。 2、根据自身业务情况，限制Pod的资源配置。 3、在集群中添加新的节点。 4、为节点进行升配。 节点CPU不足 问题原因 通常是节点上的容器占用CPU过多导致节点的CPU不足。 问题现象 当节点CPU不足时，可能会导致节点状态异常。 解决方案 1、通过节点的监控查看CPU增长曲线，确认异常出现时间点，检查节点上的进程是否存在CPU占用过高的现象。 2、降低节点的负载。 3、如需重启节点，可尝试重启异常节点。 节点内存不足MemoryPressure 问题原因 通常是节点上的容器占用内存过多导致节点的内存不足。 问题现象 1、当节点的可用内存低于memory.available配置项时，则节点状态中MemoryPressure为True，同时该节点上的容器被驱逐。 2、当节点内存不足时，会有以下常见错误信息： 2.1 节点状态中MemoryPressure为True。 2.2 当节点上的容器被驱逐时： 2.2.1 在被驱逐的容器事件中可看到关键字The node was low on resource: memory。 2.2.2 在节点事件中可看到关键字attempting to reclaim memory。 2.2.3 可能会导致系统OOM异常，当出现系统OOM异常时，节点事件中可看到关键字System OOM。 解决方案 1、通过节点的监控查看内存增长曲线，确认异常出现时间点，检查节点上的进程是否存在内存泄漏现象。 2、降低节点的负载。 3、如需重启节点，可尝试重启异常节点。 节点索引节点不足InodesPressure

本节介绍了云容器引擎的最佳实践: 通过配置kubeconfig文件实现集群权限精细化管理。 集群权限精细化管理的背景 云容器引擎默认给用户的kubeconfig文件对集群操作的权限相当于root级别，这样的权限级别对于某用户来说过大，很不便于对集群的精细化管理。为了达到对集群精细化管理的目标，我们可以通过kubeconfig设置特定的用户，然后给用户赋予集群的部分操作权限（如：增、查、改）。 注意事项 下面配置步骤操作前，请先确保您的机器上有kubectl工具，若没有请到社区下载与集群版本对应的或者最新的kubectl。 基于Role实现集群权限精细化管理的配置步骤 说明 下述示例创建一个用户，并且该用户只能查看default下的Pod，不能查看其他namespace下的Pod且不能删除default下的任何Pod。 1. 配置ServiceAccount，名称为testsa，命名空间为default kubectl create sa testsa n default 3. 创建Role，并配置针对不同资源相对应的操作权限 vi addRole.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: testrole namespace: default rules: apiGroups: "" resources: pods verbs: get list watch apiGroups: apps resources: pods verbs: get list watch kubectl create f addRole.yaml 4. 配置RoleBinding，将sa绑定到Role上，让sa获取相应权限 vi addRoleBinding.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: myrolebinding namespace: default roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: testrole subjects: kind: ServiceAccount name: testsa namespace: default kubectl create f addRoleBinding.yaml 5. 配置集群访问信息 4.1 通过sa的名称testsa获取sa对应的密钥，第一列testsatokennttvl即为密钥名 kubectl get secret n default grep testsa 4.2 将密钥中的ca.crt解码后导出 kubectl get secret testsatokennttvl n default oyaml grep ca.crt: awk '{print $2}' base64 d > ca.crt 4.3 设置集群访问方式，其中dev 为需要访问的集群名称，10.50.208.30为集群ApiServer地址，test.config为配置文件的存放路径 （1）如果通过内部ApiServer地址，执行命令如下： kubectl config setcluster dev server certificateauthorityca.crt embedcertstrue kubeconfigtest.config （2）如果通过公网ApiServer地址，执行命令如下： kubectl config setcluster dev server kubeconfigtest.config insecureskiptlsverifytrue 集群ApiServer地址为内网ApiServer地址，绑定弹性IP后也可为公网ApiServer地址。如下图： 5. 配置集群认证信息 5.1 获取集群的token信息 token$(kubectl describe secret testsatokend6b4q n default awk '/token:/{print $2}') 5.2 设置使用集群的用户uiadmin kubectl config setcredentials uiadmin token$token kubeconfigtest.config 7. 配置集群认证访问的上下文信息，uiadmin@test为上下文的名称 kubectl config setcontext uiadmin@test clusterdev useruiadmin kubeconfigtest.config 8. 设置上下文 kubectl config usecontext uiadmin@test kubeconfigtest.config

为减少安全隐患和稳定性风险,云容器引擎建议用户及时升级kubernetes版本。用户使用云容器引擎控制台升级集群的Kubernetes版本,本文介绍集群升级前后的注意事项、升级流程、操作步骤等。 升级集群的好处 云容器引擎使用kubernetes的原生v . . 版本语义，支持诸如v1.23.3, v1.25.6, v1.27.8, v1.29.3等版本（具体版本以订购页为准）。云容器引擎会定期发布支持的Kubernetes版本并逐步停止对过期版本的技术支持。建议使用v1.23.3版本的用户尽快升级到更高版本kubernetes，以获得更好的使用体验。 主动升级集群有以下好处： 降低安全和稳定性风险：随着Kubernetes版本迭代，会不断优化及修复发现的安全及稳定性漏洞，长久使用过期版本集群会给业务带来安全和稳定性风险。 享受更好的维护支持：对于过期Kubernetes版本，云容器引擎不再提供安全补丁和问题修复，也无法保证过期版本的技术支持质量。使用新版本能够让您享受更好的技术支持和答疑服务。 使用新版本的新功能：随着社区Kubernetes版本的演进，新版本包含新的功能和改进，云容器引擎也将适配新版本，为您带来更好的开发和运维体验。

为减少安全隐患和稳定性风险,云容器引擎建议用户及时升级kubernetes版本。用户使用云容器引擎控制台升级集群的Kubernetes版本,本文介绍集群升级前后的注意事项、升级流程、操作步骤等。 升级集群的好处 云容器引擎使用kubernetes的原生v . . 版本语义，支持诸如v1.23.3, v1.25.6, v1.27.8, v1.29.3等版本（具体版本以订购页为准）。云容器引擎会定期发布支持的Kubernetes版本并逐步停止对过期版本的技术支持。建议使用v1.23.3版本的用户尽快升级到更高版本kubernetes，以获得更好的使用体验。 主动升级集群有以下好处： 降低安全和稳定性风险：随着Kubernetes版本迭代，会不断优化及修复发现的安全及稳定性漏洞，长久使用过期版本集群会给业务带来安全和稳定性风险。 享受更好的维护支持：对于过期Kubernetes版本，云容器引擎不再提供安全补丁和问题修复，也无法保证过期版本的技术支持质量。使用新版本能够让您享受更好的技术支持和答疑服务。 使用新版本的新功能：随着社区Kubernetes版本的演进，新版本包含新的功能和改进，云容器引擎也将适配新版本，为您带来更好的开发和运维体验。

查看策略列表和集群中已部署的策略实例 您可根据以下操作查看策略列表和集群中已部署的策略实例总数。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、选择【我的策略】Tab页查看集群所有已部署的策略以及策略对应的策略实例个数。 修改策略实例 您可根据以下操作修改指定集群已经部署的策略实例。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、在【我的策略】Tab页中选择目标策略，单击【编辑】在跳出的弹窗中修改相关配置即可。 删除策略实例 您可根据以下操作删除指定集群中的策略实例。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、在【我的策略】Tab页中选择目标策略，单击【删除】即可删除该策略在集群中部署的所有实例。 策略参数说明 Category Policy Description Severity CISK8s CCSENoEnvVarSecrets 限制Secret以secretKeyRef的形式挂载到应用Pod环境变量中。 medium CISK8s CCSEPodsRequireSecurityContext 限制Pod中所有容器必须配置securitycontext字段。 low CISK8s CCSERestrictNamespaces 限制资源部署在集群指定的命名空间中。 low CISK8s CCSERestrictRoleBindings 限制指定命名空间下的rolebinding使用指定范围内的Role或Clusterrole。 medium Infra CCSEBlockProcessNamespaceSharing 限制在集群指定范围部署的应用中使用shareProcessNamespace。 high Infra CCSEEmptyDirHasSizeLimit 要求emptyDir类型的Volume必须指定sizelimit。 low Infra CCSELocalStorageRequireSafeToEvict 限制部署在集群指定范围内的Pod必须具有 “clusterautoscaler.kubernetes.io/safetoevict”: “true” 注释标签。默认情况下autoscaler在集群自动伸缩时不会驱逐使用HostPath或EmptyDir卷的Pod。为了允许驱逐这些Pod，必须在Pod上添加该注释标签。 low Infra CCSEOSSStorageLocationConstraint 限制集群中对象存储（OSS）的位置。Restricts location of oss storage in cluster. low K8sgeneral CCSEAllowedRepos 限制在集群指定范围部署的应用Pod中拉取白名单列表外的镜像。 high K8sgeneral CCSEBlockAutoinjectServiceEnv 要求在应用中配置enableServiceLinks: false防止在Pod环境变量中透出服务IP。 low K8sgeneral CCSEBlockAutomountToken 要求在应用中设置automountServiceAccountToken: false字段防止自动挂载serviceaccount。 high K8sgeneral CCSEBlockEphemeralContainer 限制在集群指定范围的应用Pod中启动临时容器。 medium K8sgeneral CCSEBlockLoadBalancer 限制在集群指定范围内部署LoadBalancer类型的Service。 high K8sgeneral CCSEBlockNodePort 限制在集群指定范围内使用NodePort类型的Service。 high K8sgeneral CCSEContainerLimits 要求集群指定范围的应用Pod配置资源limits。 low K8sgeneral CCSEExternalIPs 限制在集群指定范围内的Services实例使用白名单范围之外的externalIPs。 high K8sgeneral CCSEImageDigests 限制在集群指定范围内部署不符合digest格式的镜像。 low K8sgeneral CCSERequiredLabels 限制在集群指定范围内部署没有指定范式label标签的应用。 low K8sgeneral CCSERequiredProbes 限制在集群指定范围内部署的Pod配置指定类型的readinessProbe和livenessProbe。 medium K8sgeneral CCSECheckNginxPath 限制在Ingress实例的spec.rules[].http.paths[].path字段中使用危险配置。Ingressnginx 1.2.1以下版本建议开启该策略。 high K8sgeneral CCSECheckNginxAnnotation 限制在Ingress实例的metadata.annotations字段中使用危险配置。Ingressnginx 1.2.1以下版本建议开启该策略。 high

本节介绍了指定ECS和ECI的资源分配的用户指南。 前提条件 已创建Kubernetes集群。 Kubernetes集群连通性正常。 已创建虚拟节点VNode。 创建虚拟节点VNode 从云容器引擎创建的虚拟节点，在弹性容器实例（简称ECI）中也能查看到，由ECI根据使用情况计费，仅支持在ECI开放的资源池创建虚拟节点，ECI开放的资源池请以ECI官网为准。 1、登录云容器引擎控制台，在左侧导航栏选择集群，单击集群名，进入集群页面。 2、点击左侧菜单节点管理 > 节点，打开节点列表页面。 3、单击创建虚拟节点按钮，进入创建虚拟节点页面。 4、选择可用区后，标签与污点可不需要额外添加，点击确定按钮，提交会自动返回节点列表页面。 5、创建的虚拟节点，在集群列表中的实例规格会显示为“virtualkubelet”，配置显示为“CG”，类型为“virtualkubelet”。 安装cubevkprofile插件 1、登录云容器引擎控制台，在左侧导航栏选择集群，单击集群名，进入集群页面。 2、选择左侧菜单插件 > 插件市场，找到cubevkprofile插件，单击安装，在安装弹出框，选择1.0.3版本，单击“安装”。 Pod调度到ECI 云容器引擎提供了两种方式将Pod调度到ECI上运行，手工调度与自动调度方式。 1、手工调度 方式一：为pod添加 ccse.ctyun.cn/vnodetrue 的Label，将Pod调度到ECI上运行。 方式二：创建一个Namespace并添加 ccse.ctyun.cn/vnodetrue 的Label，则该Namespace下的所有Pod将调度到ECI上运行。

操作步骤：为子账号授权或调整子账号权限。 注意 请提前创建好子用户，并需子用户登录天翼云后才可以同步到云容器引擎控制台。 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要授权的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择安全管理 > 授权，进入角色授权页面。 4、点击管理权限操作单个子账号权限，或选择多个子账号后点击添加权限为多个子账号批量授权，点击后进入集群RBAC配置页面。 5、在集群RBAC配置页面中，可以对子账号已有的用户权限进行调整或为子账号新增权限，权限可以限定单个命名空间或不限制命名空间（集群权限），子账号可设置的权限有内置权限（管理员、运维人员、开发人员、受限人员）和自定义权限，选择自定义权限可选择集群中创建的任意Cluster Role进行授权。 6、点击下一步完成授权。

操作步骤：为子账号授权或调整子账号权限。 注意 请提前创建好子用户，并需子用户登录天翼云后才可以同步到云容器引擎控制台。 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要授权的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择安全管理 > 授权，进入角色授权页面。 4、点击管理权限操作单个子账号权限，或选择多个子账号后点击添加权限为多个子账号批量授权，点击后进入集群RBAC配置页面。 5、在集群RBAC配置页面中，可以对子账号已有的用户权限进行调整或为子账号新增权限，权限可以限定单个命名空间或不限制命名空间（集群权限），子账号可设置的权限有内置权限（管理员、运维人员、开发人员、受限人员）和自定义权限，选择自定义权限可选择集群中创建的任意Cluster Role进行授权。 6、点击下一步完成授权。

云防火墙规格 云主机最低CPU/内存 100M 不低于2核4G 200M 不低于2核4G 2G 不低于4核8G

状态 说明 已激活 成功创建节点池。 扩容中 扩容或添加节点池节点中。 缩容中 移除节点池节点中。 已删除（该状态用户不可见） 成功删除节点池。

参数 参数类型 说明 示例 下级对象 statusCode String 接口状态码，参考下方状态码 200 error String 错误码 TELEDBDCP1000 message String 描述信息 returnObj Object 返回对象 data

本节介绍了:创建一个应用集群——退订集群的用户指引。 在云容器引擎控制台，在集群选项卡可以点击 更多 > 退订对集群实例进行退订。 说明 退订容器集群，可选择删除集群订购时选择的IaaS资源，建议删除全部IaaS资源，否则需到对应的云产品控制台进行手动清理。