本节介绍了:节点容器运行时的用户指南。 容器运行时介绍 容器运行时是负责管理节点上容器的生命周期。Kubernetes通过 Kubelet 的 Container Runtime Interface（CRI）与容器运行时交互，控制容器的创建与管理。 基于 Containerd性能更好、更稳定、占用资源更少等优点，云容器引擎选择 Containerd作为容器运行时的解决方案。 云容器引擎早期在 Kubernetes v1.23上还支持选择 Docker，当前则需提工单申请，未来会移除对 Docker的支持，强烈建议您使用 Containerd或迁移到 Containerd。 云容器引擎选择 Containerd作为容器运行时的解决方案，对比 Docker，Containerd的优点如下： 1. 调用链更短 Containerd： Kubelet > CRI plugin（在 Containerd中）> Containerd Docker： K8s v1.23及以下版本：Kubelet > Dockershim（在 Kubelet中）> Docker > Containerd K8s v1.24及以上版本：Kubelet > cridockerd > Docker > Containerd 2. CPU和内存占用更少 3. 稳定性和安全性更好 4. Pod 启动更快 Containerd 和 Docker的常用命令对比 Containerd 支持两种命令行工具：ctr和 crictl。其中，ctr是 Containerd 的客户端工具，crictl是兼容 CRI 的容器运行时的命令行工具。crictl 可以用来检查和调试 Kubernetes节点上容器运行时和应用程序。 操作 Docker crictl ctr 上传镜像 docker push crictl push ctr n k8s.io i push 拉取镜像 docker pull crictl pull ctr n k8s.io i pull 查看镜像详情 docker inspect crictl inspecti 无 列出本地镜像列表 docker images crictl images ctr n k8s.io i ls 删除本地镜像 docker rmi crictl rmi ctr n k8s.io i rm 创建容器 docker create crictl create crt n k8s.io c create 启动容器 docker start crictl start crt n k8s.io run 连接容器 docker attach crictl attach 无 进入容器 docker exec crictl exec 无 查看容器详情 docker inspect crictl inspect crt n k8s.io c info 查看容器日志 docker logs crictl logs 无 查看容器资源使用情况 docker stats crictl stats 无 更新容器资源限制 docker update crictl update 无 停止容器 docker stop crictl stop 无 列出容器列表 docker ps crictl ps crt n k8s.io c ls 删除容器 docker rm crictl rm crt n k8s.io c del 启动 Pod 无 crictl start 无 运行 Pod 无 crictl runp 无 查看 Pod详情 无 crictl inspectp 无 停止 Pod 无 crictl stopp 无 列出 Pod列表 无 crictl pods 无 删除 Pod 无 crictl rmp 无

操作步骤 1. 按需编辑应用 YAML，添加读写带宽或 IOPS 限制注解。 2. 应用 YAML 到集群： plaintext kubectl apply f .yaml 3. 部署后，Pod 启动时自动生效，无需额外操作。 4. 若需调整限速参数，修改注解后重新部署/滚动升级 Pod。 测试与验证流程 1. 部署带磁盘限速注解的测试 Pod（如上 YAML 示例）。 2. 进入 Pod 内部，运行 fio 工具进行磁盘性能测试： plaintext kubectl exec it n demo sh fio namefiotest ioenginelibaio direct1 filename/test/fiotest bs4k rwrandrw rwmixread50 size1G timebased runtime60 iodepth8 numjobs1 groupreporting 3. 观察 fio 输出，确认读写带宽与 IOPS 已被限制在注解设定范围内。 4. 可对比未限速和限速下的 fio 测试结果，验证限速效果。 常见问题与说明 注解配置无效？ 请确认集群和节点已启用磁盘限速能力，且注解拼写正确。 查存储卷类型，部分类型（如 hostPath）受限速支持影响。 限速效果与预期不符？ 实际带宽/IOPS 受节点硬件、存储类型等多因素影响，建议多次测试取均值。 Pod 启动报错或无效？ 检查注解单位和格式，确保符合规范。 注意 建议仅对有实际需求的业务配置磁盘限速，避免资源浪费。 修改限速参数需滚动升级或重建 Pod 以生效。 测试时建议隔离环境，避免影响其他业务。

本节介绍在离线混部概述。 在离线混部是在多维资源调度与管控方面的核心能力，包括节点资源超卖调度与 BE 离线应用 CPU 压制、高优先级应用 CPU 独占与隔离、容器磁盘读写限速、容器网络限速等，帮助用户在保障关键业务性能的同时，实现资源的高效利用。 适用场景 资源利用率低，需提升集群资源使用效率。 在线关键业务（高优先级）需要稳定的性能保障。 离线批量任务（低优先级）需充分利用空闲资源。 需要自动调度和压制离线应用，兼顾在线与离线业务。 需对磁盘 IO 或网络带宽进行限速，防止单一业务占用过多。 功能概览 节点资源超卖调度与 BE 离线应用 CPU 压制：允许节点超卖资源，并根据在线负载动态压制离线应用 CPU 使用，提升资源利用并保证在线应用性能。 高优先级应用 CPU 独占与隔离：为高优先级应用分配独占 CPU 核心，通过 cgroup 隔离其他应用，确保关键业务性能稳定。 容器磁盘读写限速：通过注解为容器配置磁盘带宽与 IOPS 限制，防止单一容器影响整体磁盘性能。 容器网络限速：通过注解为容器配置入站/出站带宽及优先级，保障关键流量的网络体验。

配置示例二：normalNodePrefer调度 创建以下Selector，首先kubescheduler默认只会调度pod到标准节点；当标准节点资源不足时导致调度失败时，cubevkprofile会为带有app: nginxnormal Label的Pod添加VNode Toleration，再次由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectornormal.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodenormal spec: objectLabels: matchLabels: app: nginxnormal effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: normalNodePrefer: {} 配置示例三：fair调度 创建以下Selector，cubevkprofile会为带有app: nginxfair Label的Pod添加VNode Toleration，由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectorfair.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodefair spec: objectLabels: matchLabels: app: nginxfair effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: fair: {} 配置示例四：normalNodeOnly调度 不需创建selector，默认情况下kubescheduler只会调度pod到标准节点；也可以创建以下Selector，cubevkprofile会为带有app: nginxecs Label的Pod添加effect中定义的Annotation和Label，由kubescheduler决定调度。 创建selector自定义资源对象，selectorecs.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testnginxecs spec: objectLabels: matchLabels: app: nginxecs effect: annotations: ccse.ctyun.cn/imagecache: "true" labels: ccseecs: "true" policy: normalNodeOnly: {}

状态 说明 已激活 成功创建节点池。 扩容中 扩容或添加节点池节点中。 缩容中 移除节点池节点中。 已删除（该状态用户不可见） 成功删除节点池。

容器运行时升级 1. 置节点为不可调度 2. 执行节点排水操作 3. 运行时原地升级 4. 恢复节点调度

本节介绍了扩缩容节点池的用户指南。 云容器引擎集群通过调整节点池的期望节点数实现节点池扩缩容，将节点数目维持在期望数量。扩容节点池功能可以保证节点数量足够支撑业务运行，缩容可以节省成本。 前提条件 1、容器集群连通性正常。 2、已在容器集群中创建节点池。 通过控制台扩缩容节点池 1、 登录云容器引擎管理控制台，订购一个高可用集群。 2、 在左侧导航栏选择集群。 3、 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 4、 在节点池列表页面中，单击目标节点池更多选项的扩容/缩容。 5、扩容填写扩容节点数量。 6、缩容则跳转到节点池的节点列表中勾选所选缩容节点，点击移除。

解决方案 1、通过节点的监控查看磁盘增长曲线，确认异常出现时间点，检查节点上的进程是否存在占用磁盘空间过多的现象。 2、若有大量文件在磁盘上未清理，请清理文件。 3、根据自身业务情况，限制Pod的ephemeralstorage资源配置。 4、建议使用云存储产品，尽量避免使用HostPath数据卷。 5、节点磁盘扩容。 6、降低节点的负载。 节点PID不足NodePIDPressure 问题原因 通常是节点上的容器占用PID过多导致节点的PID不足。 问题现象 当节点的可用PID低于pid.available配置项时，则节点状态中NodePIDPressure为True，同时该节点上的容器被驱逐。 解决方案 1、执行如下命令，查看节点的最大PID数和节点当前的最大PID。 plaintext sysctl kernel.pidmax 查看最大PID数。 ps eLfawk '{print $2}' sort rn head n 1 查看当前的最大PID。 2、执行如下命令，查看占用PID最多的前5个进程。 plaintext ps elT awk '{print $4}' sort uniq c sort k1 g tail 5 3、根据进程号找到对应进程和所属的Pod，分析占用PID过多的原因并优化对应代码。 4、降低节点的负载。 5、如需重启节点，可尝试重启异常节点。

本节介绍了监控节点的用户指南。 监控节点 云容器引擎集群集成了Prometheus监控服务，可查看对应节点实例的基本监控信息。本文介绍如何查看Kubernetes集群下节点的监控信息。 操作步骤 登录云容器引擎控制台在左侧导航栏选择 集群 。 在集群列表 页面，单击目标集群名称，然后在左侧导航栏，选择 节点管理 > 节点 。 在节点 页面，单击目标节点右侧左操作 列的 监控 。

本节介绍了负载调度策略概述。 在Kubernetes体系内，Pod构成了工作负载调度的核心单元。当创建工作负载时，调度系统会自动为Pod分配合理的位置，例如将它们分散到资源充裕的节点上。尽管调度器的默认设置足以应对许多基础需求，但在特定场景下，用户可能希望对Pod的部署位置进行更为精细的控制。为此，Kubernetes提供了在工作负载定义中自定义调度策略的功能。具体示例如下： 将前端与后端应用部署在同一位置，有助于缩减延迟，因为它们可以共享物理资源。 某些应用需部署在特定节点上，以确保关键应用始终运行在最优硬件或配置上。 不同应用部署在不同节点上，有助于实现应用隔离，防止问题扩散。 Kubernetes中Pod调度策略 节点选择（nodeSelector）：这是最简单的调度方式，通过节点标签选择目标节点，仅将Pod调度到拥有特定标签的节点。参考指引：设置负载的节点选择器（nodeSelector） 节点亲和性（nodeAffinity）：节点亲和性不仅具备nodeSelector的功能，而且更为强大。它允许您根据节点标签使用标签选择器筛选亲和节点，支持必须满足和尽量满足的规则。参考指引：设置节点亲和调度（nodeAffinity） 工作负载亲和性/反亲和性（podAffinity/podAntiAffinity）：根据工作负载标签，使用标签选择器筛选亲和/反亲和的Pod，并将新工作负载调度/不调度至目标Pod所在节点（或节点组），同样支持必须满足和尽量满足的规则。参考指引：设置工作负载亲和/反亲和调度（podAffinity/podAntiAffinity） 注意 1. 若同时指定nodeSelector和nodeAffinity，则两者条件均需满足，Pod才能被调度到候选节点。 2. 在大规模集群中，由于工作负载亲和性和反亲和性需要额外计算时间，可能会显著降低调度速度，因此不建议在包含数百个节点的集群中使用节点亲和性调度策略。

本节介绍了 设置节点亲和调度(nodeAffinity)的用户指南。 在Kubernetes中，节点亲和性调度是一种强大的机制，它允许您根据节点的标签将工作负载精确地调度到具有特定属性（如GPU支持）的节点上。以下是如何配置和使用节点亲和性调度策略的简明指南。 配置节点亲和性调度策略 1. 标记节点：首先，确保您的GPU节点已被标记。在本例中，GPU节点被标记为gputrue。 2. 选择调度策略： 不配置：如果不设置节点亲和策略，Kubernetes将按照默认调度策略随机分配Pod。 指定节点调度：直接指定Pod部署的节点，适用于已知确切部署位置的情况。 指定节点池调度：指定Pod部署的节点池，适用于节点池管理策略。 自定义亲和策略：根据节点标签实现灵活调度。 3. 配置自定义亲和策略： 选择规则：在“自定义亲和策略”中，选择“必须满足”或“尽量满足”规则。 必须满足：硬约束，Pod只能调度到满足所有指定条件的节点上。 尽量满足：软约束，调度器会尝试调度到满足条件的节点，但即使不满足也会进行调度。 设置参数： 权重（仅“尽量满足”）：取值1100，作为调度时的附加评分项。 标签名：需要匹配的节点标签。 操作符：六种匹配关系（In、NotIn、Exists、DoesNotExist、Gt、Lt），用于定义标签与值的匹配逻辑。 标签值：与标签名对应的值。 4. 添加策略：在调度策略配置中，点击“添加策略”并填写上述参数。 5. 快速选择（可选）：通过“指定节点调度”或“指定节点池调度”快速选择目标节点或节点池，这些选项本质上也是基于标签实现的便捷操作。

实例间发现服务配置 Headless Service用于解决StatefulSet内Pod互相访问的问题，Headless Service给每个Pod提供固定的访问域名。具体请参见Headless Service。 服务配置 服务（Service）是用来解决Pod访问问题的。每个Service有一个固定IP地址，Service将访问流量转发给Pod，而且Service可以给这些Pod做负载均衡。您也可以在创建完工作负载之后再创建Service，Service的概念和使用方法请参见Service概述。 高级配置 设置升级策略、调度策略、标签与注解、DNS 配置、性能管理配置、网络配置等。单击右下角“创建工作负载”完成创建。

Pod状态为Evicted 问题现象：Pod的状态为Evicted。 问题原因：当节点的内存、磁盘空间、文件系统的inode和操作系统可分配的PID等资源中的一个或者多个达到特定的消耗水平，节点的kubelet进程就会主动地驱逐一到多个Pod，以回收节点资源。 解决方案： 1、执行以下命令，查看Pod的status.message字段，来确定Pod被驱逐的原因。 kubectl get pod o yaml n 2、执行以下命令，删除被驱逐的Pod。 kubectl get pods n grep Evicted awk '{print $1}' xargs kubectl delete pod n Pod OOM异常问题处理 问题现象：容器异常重启，并重启次数较多 问题原因：Pod使用超过其限制的内存 解决方案： 1、确定发生OOM异常的Pod所在的节点 2、登录Pod所在的Node，查看系统日志文件/var/log/message，搜索out of memory关键字，确认具体被OOM终止时间点和进程名称 3、根据Pod的内存监控数据，排查Pod内应用进程否存在内存泄漏。若应用进程存在内存泄漏导致需客户自行修正程序漏洞。若进程运行状态正常，则根据实际运行需要，适当增大Pod的内存限制

步骤 2 创建集群 登录CCE控制台，在右上角选择“创建集群”。 网络配置请按如下设置，其余配置可参考 新建集群 虚拟私有云：选择已开启IPV6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPV6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点和工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求：Service CIDRV6网段需属于fc00::/8网段内。IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个。 步骤 3 购买和加入共享带宽 默认IPv6地址只具备私网通信能力，如果您需要通过IPv6地址访问Internet或被Internet上的IPv6客户端访问，您需要购买和绑定共享带宽。如您已有共享带宽，可以不用重新购买，直接将IPv6地址加入共享带宽即可。 在虚拟私有云 VPC中左侧导航栏，选择“弹性公网IP和带宽 > 共享带宽”。 在共享带宽列表页，单击操作列的“添加公网IP”。 将IPv6地址加入共享带宽。 结果验证：登录到ECS实例，ping一个公网上的IPv6服务，验证连通性。例如：ping6 ipv6.ctyun.cn。

本节介绍了创建普通任务(Job)的用户指南。 基本概念 普通任务：即kubernetes中的“Job”，普通任务是一次性运行的短任务，部署完成后即可执行。使用场景为在创建工作负载前，执行普通任务，将镜像上传至镜像仓库。 操作场景 普通任务是一次性运行的短任务，部署完成后即可执行。正常退出（exit 0）后，任务即执行完成。 普通任务是用来控制批处理型任务的资源对象。批处理业务与长期伺服业务（Deployment、Statefulset）的主要区别是： 批处理业务的运行有头有尾，而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完成的标志根据不同的spec.completions策略而不同，即： 单Pod型任务有一个Pod成功就标志完成。 定数成功型任务保证有N个任务全部成功。 工作队列型任务根据应用确认的全局成功而标志成功 前提条件 在创建任务前，您需要存在一个可用集群。若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 步骤 1 登录云容器引擎控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，选择“任务”，在右上角单击“创建任务”。 步骤 3 配置工作负载的信息。 基本信息 负载类型：选择普通任务Job。工作负载类型的介绍请参见工作负载概述。 负载名称：输入负载的名称，名称长度为1到63个字符，可以包含小写英文字母、数字和中划线（），并以小写英文字母开头，小写英文字母或数字结尾。 命名空间：选择工作负载的命名空间，默认为当前进入的命名空间。您可以单击后面的“创建命名空间”，命名空间的详细介绍请参见创建命名空间。

组件名称 组件介绍 适用场景 cubeclusterautoscaler CCSE自研插件，节点水平伸缩组件，提供了调度、弹性优化、成本优化的功能。 全场景支持，适合在线业务、深度学习、大规模成本算力交付等。

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

Node检查 检查项名称 说明 修复方案 检查节点是否存在 检查集群中是否存在该节点。 请检查Node在集群中是否存在。 检查节点状态是否Ready 检查节点在集群中的状态是否为Ready。 请登录到节点上执行systemctl status kubelet或journalctl exu kubelet查看节点上kubelet进程异常日志并尝试修复。 检查ECS实例是否存在 检查ECS实例是否存在。 请检查ECS实例状态。 检查ECS实例状态正常 检查ECS实例状态，实例状态异常时会影响Pod的正常运行。 请检查ECS实例状态。 检查节点状态是否不可调度 检查节点是否不可调度，不可调度的节点会影响Pod的正常运行。 节点不可调度，请检查节点调度设置。 检查节点Chronyd进程状态是否正常 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart chronyd重启节点Chronyd进程。 检查节点Ntpd进程状态是否正常 检查节点Ntpd进程是否异常，该进程异常时可能会影响系统时钟同步。 节点Ntpd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart ntpd重启节点Ntpd进程。 检查节点Containerd状态是否正常 检查节点Containerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Containerd状态异常，请收集节点日志并提交工单处理。 检查节点Containerd镜像拉取是否正常 检查节点Containerd进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Docker状态是否正常 检查节点Dockerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Docker状态异常，请收集节点日志并提交工单处理。 检查节点Docker镜像拉取是否正常 检查节点Docker进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Kubelet状态是否正常 检查节点Kubelet服务的状态，该进程可能会影响Pod的正常运行。 请检查节点kubelet日志。 检查节点Kubelet启动时间 检查节点Kubelet进程启动时间。 无 节点OS版本 检查节点操作系统版本。 无 节点内核版本 检查节点内核版本是否过低，内核版本过低可能造成系统异常。 请尝试更换节点升级内核。 节点Systemd版本 检查节点systemd版本。 无 节点runc版本 检查节点runc版本，runc版本过低可能造成系统异常。 无 节点系统时间 检查节点系统时间。 无 节点硬件时间 检查节点硬件时间。 无 节点硬件时间漂移 检查节点硬件时钟与系统时间是否一致，时间相差超过2分钟可能引起组件异常。 请尝试登录节点，通过命令hwclock systohc将节点系统时间同步到硬件时间。 检查节点内存交换区开启情况 检查节点内存交换区 (Memory Swap) 功能是否开启，K8s默认要求关闭内存交换区。 当前节点内存交换区 (Memory Swap) 功能不支持开启，请登录节点关闭该功能。 检查Conntrack表使用情况 检查节点Conntrack表是否满，Conntrack表满可能影响网络性能。 请检查nfconntrackbuckets和nfconntrackmax内核参数。 检查节点访问集群API Server是否正常 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 节点DNS服务地址 检查节点能否正常使用主机DNS服务，通过主机DNS服务解析集群外域名。 请检查主机DNS服务是否正常。更多信息，请参见DNS解析异常问题排查。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS服务是否正常 检查节点能否正常访问集群kubedns服务的Cluster IP，通过集群的DNS服务解析集群内域名。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS后端端点是否正常 检查节点能否正常访问集群CoreDNS的Pod IP地址，通过CoreDNS进行域名解析。 请检查节点能否正常访问CoreDNS的Pod IP地址。更多信息，请参见DNS解析异常问题排查。 检查节点内网IP是否存在 检查节点内网IP是否存在。 节点内网IP不存在，请尝试移除节点后重新导入，移除时需保留ECS。 检查节点能否访问公网 检查节点能否正常访问公网，无法访问公网可能影响公网镜像拉取。 请检查集群是否开启SNAT公网访问。 节点CPU使用率 检查节点CPU负载是否过高，CPU负载过高可能影响系统性能。 无 节点内存使用率 检查节点内存负载是否过高，内存过高可能影响系统性能。 无

本节介绍了云容器引擎的最佳实践:容器化Web访问MySQL。 本篇以实际场景介绍如何发布无状态工作负载，并连接有状态数据库，并配合使用持久存储，在本片教程中，我们使用Local PV作为持久存储介质，在生产使用中建议使用Ceph存储。 创建持久存储类 选择Local存储，如下： 创建持久存储卷：在新建存储卷界面，选择第一步中创建的持久存储类 选择LocalPV所在节点以及LocalPV的目录，这里LocalPV所在节点即想要把容器数据持久化到哪一个k8s节点上，LocalPV的目录即是我们所选节点上的指定目录。 注意 此目录需要在我们所选择节点上存在，若不存在需要手动在改节点上创建目录。 创建MySQL有状态服务并使用持久存储卷： 出现新建存储卷界面，我们创建MySQL的流程如下： 点击新建PVC后，我们需要格外注意下图中的注意点。 StorageClasss名称：必须和第二步中创建的持久存储卷使用同一个StorageClass。 所需容量：这里选择的容量不能超过第二步中创建的持久存储卷的容量。 然后开始设置MySQL容器的参数，依次输入MySQL容器名称、选择MySQL镜像及版本号，需要格外注意挂载点的名称和容器路径。 其中数据卷选择刚刚添加的数据卷。 MySQL容器的数据目录为/Var/lib/mysql，所以容器路径输入这个目录。 设置容器的资源参数及环境变量，MySQL容器正常运行我们必须要设置MYSQLROOTPASSWORD这个环境变量，设置root用户密码，同时如果需要在MySQL容器启动后帮我们创建一个database，我们可以使用MYSQLDATABASE这个环境变量。 最后一步，我们为MySQL容器配置集群内访问方式，所以我们选择类型为ClusterIP。 注意 服务端口可以直接与容器端口相同。 创建web无状态工作负载并连接数据库 1、web工作负载配置 我们使用的web工作负载使用的配置文件如下： spring: jpa: showsql: false openinview: true datasource: driverclassname:"com.mysql.cj.jdbc.Driver" jdbcurl: "jdbc:mysql://{MYSQLHOST}:MYSQLHOST:{MYSQLPORT}/test?autoReconnecttrue&useUnicodetrue&characterEncodingUTF8&allowMultiQueriestrue&useSSLfalse" username: "${MYSQLUSERNAME}" password:"${MYSQLPASSWORD}" 在上述配置中，我们通过读取环境变量来设置应用所需的MySQL主机IP、端口、用户名、密码。 2、创建无状态工作负载 这里我们只介绍无状态工作负载的环境变量怎么设置，其他的参数配置与MySQL的类似：

本节介绍了设置调度策略的用户指南。 在Kubernetes中，调度策略是指如何将Pod调度到节点上的规则。亲和性（Affinity）和反亲和性（AntiAffinity）是两种常见的调度策略，它们可以帮助您控制Pod的分布，以提高应用的性能和可靠性。 亲和性和反亲和性策略 节点亲和性（Node Affinity）：控制Pod应该调度到哪些节点。 节点反亲和性（Node AntiAffinity）：控制Pod不应该调度到哪些节点。 Pod亲和性（Pod Affinity）：控制Pod应该与哪些Pod共同调度到同一节a点。 Pod反亲和性（Pod AntiAffinity）：控制Pod不应该与哪些Pod共同调度到同一节点。 通过控制台配置负载亲和/反亲和调度策略 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载"，切换至“无状态”页签，点击"创建Deployment"。 3、在创建deployment中，点击显示高级设置，选择负载亲和性调度的策略类型。 4、配置亲和性调度规则，亲和性调度规则又分为必须满足（强制pod调度到某些节点上）和尽量满足（优先pod调度到某些节点上）。 5、待一切配置完成后，单机"提交"，创建完成。 6、查看亲和状态调度到相同节点。 7、删除亲和性规则，添加反亲和性规则。反亲和性规则也分为强制分散调度（强制pod调度在不同节点上）和优先分散调度（优先pod调度在不同节点上）。 8、查看反亲和性分配在不同的节点上。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。

本节介绍云容器引擎的最佳实践:集群规格推荐规划。 集群规格规划 Kubernetes集群的稳定性受到两方面因素的影响，一方面是资源对象的数量，另一方面是节点的规格和数量。对于后者而言，选择小数量、大规格的ECS搭建集群或者大数量、小规格的ECS搭建集群都可能存在较大的隐患。因此对集群规格进行合理规划显得尤为重要。 在考虑ECS规格时，需要考虑以下因素： 网络带宽：大规格ECS的网络带宽优于小规格，适用于对带宽需求较大的应用。 网络通信：容器在同一大规格ECS内部建立链路的比例增大，可以避免跨ECS访问，减少网络开销。 容量：ECS系统需要预留一部分CPU、内存、磁盘等节点资源，用于集群管理和基础设施组件的运行。小规格ECS由于抢占资源等因素，使得集群的稳定性和可靠性降低的概率大增。 碎片化：节点资源分配时，小规格ECS更容易被少数甚至一个容器独占，导致不一致或不连续的资源需求难以有效组合，进而造成资源浪费。 镜像拉取：大规格ECS更能有效地利用容器镜像的分层机制，提升拉取镜像的效率。 ECS数量的考量因素： 小数量的ECS，在节点故障时，由于资源冗余不足，可能导致无法及时处理故障节点外排的业务。 大数量的ECS极大地考验Master的性能和稳定性。

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。

查看Pod的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 工作负载 > 无状态/有状态/守护进程/任务/定时任务/容器组 进入需要查看的工作负载列表，并点击上方监控tab查看pod监控信息

本节介绍了云容器引擎的最佳实践:x86和ARM镜像的混合部署。 应用现状 云容器引擎允许在同一集群内同时创建两种不同架构的节点：x86架构和ARM架构。然而，由于这两种架构在底层技术上存在显著差异，因此通常来说，无法将为ARM架构设计的镜像（即应用程序）在x86架构的节点上成功运行，反之亦然。因此，在拥有同时支持x86和ARM节点的集群上部署工作负载时，可能会遭遇部署失败的情况。 解决方案 解决在不同架构的节点使用镜像创建工作负载通常有三种方法： 创建工作负载的时候通过亲和性设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 创建工作负载的时候通过nodeSelector设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 构建双架构镜像，同时支持ARM和x86架构。当Pod被调度到ARM架构节点时，将自动拉取针对ARM架构的镜像；而当Pod被调度到x86架构节点时，将自动拉取针对x86架构的镜像。尽管使用同一个地址，但背后实际上包含两个镜像。这种设计简化了工作负载描述文件，使其更具可读性和易于维护，无需单独配置节点亲和性和nodeSelector。

本节介绍了云容器引擎的最佳实践:如何将Ingress服务暴露到公网。 如果你是通过Ingress访问你的服务，并且想通过公网访问，可为集群Ingress服务配置天翼云ELB。 具体配置步骤如下： 1、登录到控制台，进入服务所在的集群，选择菜单“网络“>”服务“，命名空间选择“kubesystem”，点击”创建服务“按钮。 2、其中负载均衡一栏，选择公网访问，从列表中选择一个要绑定的负载均衡（如果列表为空，请确认你是否有可用的负载均衡，没有的话，请先到ELB控制台创建）。 端口映射一栏，填写好容器端口和服务端口（该端口是负载均衡的监听端口）。如下所示： 注意 nginxingresscontroller pod 默认的http端口是10080，默认的https端口是10443。 如需修改，可以到nginxingresscontroller插件yaml修改端口号。 3、工作负载绑定一栏，类型选择Deployment，名称选择nginxingresscontrollernginxingresscontroller，然后点击提交。 注意 选择工作负载前请先确认nginxingresscontroller插件的版本，如果版本小于1.3.5，这里工作负载类型应选择DaemonSet 4、待ELB绑定后，即可通过服务列表中“集群外访问”中的外网地址访问服务了。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

名称 说明 保留天数 必填，定时备份后产生的备份包所保留的天数，超过保留天数的备份包则会被自动清理 时间点 必填，定时备份时执行的时间点，为整点 重复周期 必填，定时备份任务重复在一周内哪几天触发执行

性能规格 云硬盘性能的指标有很多种，例如IOPS，吞吐量，读写时延： IOPS：云硬盘每秒进行读写的操作次数，可以细分到单盘最大IOPS，基线IOPS，IOPS突发上限等等。 吞吐量：云硬盘每秒成功传送的数据量，即读取和写入的数据量，一般会衡量云硬盘最大吞吐量，每GB云硬盘的吞吐量。 读写时延：云硬盘处理一个读写IO需要的时间。 各类型云硬盘的性能比较详见：云硬盘性能介绍 使用场景 根据业务需求，云硬盘类型的存储常见以下使用场景： 使用云盘动态存储卷：即用户无需预先创建云硬盘和PV，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建云盘实例及对应PV资源，推荐使用。 使用云盘静态存储卷：即用户预先创建云盘实例，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载云盘：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 计费说明 说明 通过存储插件动态创建的云盘实例，计费模式为按需订购，不支持包年包月。 关于云硬盘的计费详情，请参见：点这里。

本节介绍了容器组的用户指南。 基本概念 容器组（Pod）是Kubernetes中最小的可部署单元。一个Pod（容器组）包含了一个应用程序容器（某些情况下是多个容器）、存储资源、一个唯一的网络IP地址、以及一些确定容器该如何运行的选项。Pod容器组代表了Kubernetes中一个独立的应用程序运行实例，该实例可能由单个容器或者几个紧耦合在一起的容器组成。 操作场景 Kubernetes集群中的Pod存在如下两种使用途径： 一个Pod中只运行一个容器。"onecontainerperpod" 是Kubernetes中最常见的使用方式。此时，您可以认为Pod容器组是该容器的wrapper，Kubernetes通过Pod管理容器，而不是直接管理容器。 一个Pod中运行多个需要互相协作的容器。您可以将多个紧密耦合、共享资源且始终在一起运行的容器编排在同一个Pod中，可能的情况有： 1、Content management systems,file and data loaders, local cache managers等 2、log and checkpoint backup,compression, rotation, snapshotting等 3、data change watchers, logtailers, logging and monitoring adapters, event publishers等 4、proxies, bridges, adapters等 5、controllers, managers,configurators, and updaters 您可以在云容器引擎中方便的管理容器组（Pod），如查看YAML、远程登录、销毁重建等操作。 前提条件 您需要存在一个可用集群，若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 1、查看YAML 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“查看YAML” 2、销毁重建 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“销毁重建 请仔细阅读系统提示，删除操作无法恢复，请谨慎操作。 说明 若Pod所在节点不可用或者关机，负载无法删除时可以在详情页面实例列表选择强制删除。请确保要删除的存储没有被其他负载使用，导入和存在快照的存储只做解关联操作。 3、远程登录 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“远程登录” 3)在弹出的对话框中点击“登录”

名称 说明 执行策略 必填，定义定时备份执行时间点的cron表达式。也可以界面的选框来辅助表达式编写。 保留天数 必填，定时任务执行后生成的备份包的保留天数。超出保留天数备份包会被清理。

保留失败、成功记录上限 成功Job的历史记录上限：指定了周期性执行任务的过程中，可以保留多少完成的任务，默认是全部保留，建议设置这个值，避免堆积过多的任务消耗资源，如果设置限制的值为 0，那么成功的任务将不会被保留。 失败Job的历史记录上限：指定了周期性执行任务的过程中，可以保留多少失败的任务，默认是全部保留，建议设置这个值，避免堆积过多的任务消耗资源，如果设置限制的值为 0，那么失败的任务将不会被保留。 高级设置升级方式 CronJob不支持更新，因此没有升级方式这个参数。