本节介绍在离线混部概述。 在离线混部是在多维资源调度与管控方面的核心能力，包括节点资源超卖调度与 BE 离线应用 CPU 压制、高优先级应用 CPU 独占与隔离、容器磁盘读写限速、容器网络限速等，帮助用户在保障关键业务性能的同时，实现资源的高效利用。 适用场景 资源利用率低，需提升集群资源使用效率。 在线关键业务（高优先级）需要稳定的性能保障。 离线批量任务（低优先级）需充分利用空闲资源。 需要自动调度和压制离线应用，兼顾在线与离线业务。 需对磁盘 IO 或网络带宽进行限速，防止单一业务占用过多。 功能概览 节点资源超卖调度与 BE 离线应用 CPU 压制：允许节点超卖资源，并根据在线负载动态压制离线应用 CPU 使用，提升资源利用并保证在线应用性能。 高优先级应用 CPU 独占与隔离：为高优先级应用分配独占 CPU 核心，通过 cgroup 隔离其他应用，确保关键业务性能稳定。 容器磁盘读写限速：通过注解为容器配置磁盘带宽与 IOPS 限制，防止单一容器影响整体磁盘性能。 容器网络限速：通过注解为容器配置入站/出站带宽及优先级，保障关键流量的网络体验。

配置示例二：normalNodePrefer调度 创建以下Selector，首先kubescheduler默认只会调度pod到标准节点；当标准节点资源不足时导致调度失败时，cubevkprofile会为带有app: nginxnormal Label的Pod添加VNode Toleration，再次由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectornormal.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodenormal spec: objectLabels: matchLabels: app: nginxnormal effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: normalNodePrefer: {} 配置示例三：fair调度 创建以下Selector，cubevkprofile会为带有app: nginxfair Label的Pod添加VNode Toleration，由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectorfair.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodefair spec: objectLabels: matchLabels: app: nginxfair effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: fair: {} 配置示例四：normalNodeOnly调度 不需创建selector，默认情况下kubescheduler只会调度pod到标准节点；也可以创建以下Selector，cubevkprofile会为带有app: nginxecs Label的Pod添加effect中定义的Annotation和Label，由kubescheduler决定调度。 创建selector自定义资源对象，selectorecs.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testnginxecs spec: objectLabels: matchLabels: app: nginxecs effect: annotations: ccse.ctyun.cn/imagecache: "true" labels: ccseecs: "true" policy: normalNodeOnly: {}

状态 说明 已激活 成功创建节点池。 扩容中 扩容或添加节点池节点中。 缩容中 移除节点池节点中。 已删除（该状态用户不可见） 成功删除节点池。

容器运行时升级 1. 置节点为不可调度 2. 执行节点排水操作 3. 运行时原地升级 4. 恢复节点调度

本节介绍了扩缩容节点池的用户指南。 云容器引擎集群通过调整节点池的期望节点数实现节点池扩缩容，将节点数目维持在期望数量。扩容节点池功能可以保证节点数量足够支撑业务运行，缩容可以节省成本。 前提条件 1、容器集群连通性正常。 2、已在容器集群中创建节点池。 通过控制台扩缩容节点池 1、 登录云容器引擎管理控制台，订购一个高可用集群。 2、 在左侧导航栏选择集群。 3、 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 4、 在节点池列表页面中，单击目标节点池更多选项的扩容/缩容。 5、扩容填写扩容节点数量。 6、缩容则跳转到节点池的节点列表中勾选所选缩容节点，点击移除。

解决方案 1、通过节点的监控查看磁盘增长曲线，确认异常出现时间点，检查节点上的进程是否存在占用磁盘空间过多的现象。 2、若有大量文件在磁盘上未清理，请清理文件。 3、根据自身业务情况，限制Pod的ephemeralstorage资源配置。 4、建议使用云存储产品，尽量避免使用HostPath数据卷。 5、节点磁盘扩容。 6、降低节点的负载。 节点PID不足NodePIDPressure 问题原因 通常是节点上的容器占用PID过多导致节点的PID不足。 问题现象 当节点的可用PID低于pid.available配置项时，则节点状态中NodePIDPressure为True，同时该节点上的容器被驱逐。 解决方案 1、执行如下命令，查看节点的最大PID数和节点当前的最大PID。 plaintext sysctl kernel.pidmax 查看最大PID数。 ps eLfawk '{print $2}' sort rn head n 1 查看当前的最大PID。 2、执行如下命令，查看占用PID最多的前5个进程。 plaintext ps elT awk '{print $4}' sort uniq c sort k1 g tail 5 3、根据进程号找到对应进程和所属的Pod，分析占用PID过多的原因并优化对应代码。 4、降低节点的负载。 5、如需重启节点，可尝试重启异常节点。

本节介绍了监控节点的用户指南。 监控节点 云容器引擎集群集成了Prometheus监控服务，可查看对应节点实例的基本监控信息。本文介绍如何查看Kubernetes集群下节点的监控信息。 操作步骤 登录云容器引擎控制台在左侧导航栏选择 集群 。 在集群列表 页面，单击目标集群名称，然后在左侧导航栏，选择 节点管理 > 节点 。 在节点 页面，单击目标节点右侧左操作 列的 监控 。

本节介绍了负载调度策略概述。 在Kubernetes体系内，Pod构成了工作负载调度的核心单元。当创建工作负载时，调度系统会自动为Pod分配合理的位置，例如将它们分散到资源充裕的节点上。尽管调度器的默认设置足以应对许多基础需求，但在特定场景下，用户可能希望对Pod的部署位置进行更为精细的控制。为此，Kubernetes提供了在工作负载定义中自定义调度策略的功能。具体示例如下： 将前端与后端应用部署在同一位置，有助于缩减延迟，因为它们可以共享物理资源。 某些应用需部署在特定节点上，以确保关键应用始终运行在最优硬件或配置上。 不同应用部署在不同节点上，有助于实现应用隔离，防止问题扩散。 Kubernetes中Pod调度策略 节点选择（nodeSelector）：这是最简单的调度方式，通过节点标签选择目标节点，仅将Pod调度到拥有特定标签的节点。参考指引：设置负载的节点选择器（nodeSelector） 节点亲和性（nodeAffinity）：节点亲和性不仅具备nodeSelector的功能，而且更为强大。它允许您根据节点标签使用标签选择器筛选亲和节点，支持必须满足和尽量满足的规则。参考指引：设置节点亲和调度（nodeAffinity） 工作负载亲和性/反亲和性（podAffinity/podAntiAffinity）：根据工作负载标签，使用标签选择器筛选亲和/反亲和的Pod，并将新工作负载调度/不调度至目标Pod所在节点（或节点组），同样支持必须满足和尽量满足的规则。参考指引：设置工作负载亲和/反亲和调度（podAffinity/podAntiAffinity） 注意 1. 若同时指定nodeSelector和nodeAffinity，则两者条件均需满足，Pod才能被调度到候选节点。 2. 在大规模集群中，由于工作负载亲和性和反亲和性需要额外计算时间，可能会显著降低调度速度，因此不建议在包含数百个节点的集群中使用节点亲和性调度策略。

本节介绍了 设置节点亲和调度(nodeAffinity)的用户指南。 在Kubernetes中，节点亲和性调度是一种强大的机制，它允许您根据节点的标签将工作负载精确地调度到具有特定属性（如GPU支持）的节点上。以下是如何配置和使用节点亲和性调度策略的简明指南。 配置节点亲和性调度策略 1. 标记节点：首先，确保您的GPU节点已被标记。在本例中，GPU节点被标记为gputrue。 2. 选择调度策略： 不配置：如果不设置节点亲和策略，Kubernetes将按照默认调度策略随机分配Pod。 指定节点调度：直接指定Pod部署的节点，适用于已知确切部署位置的情况。 指定节点池调度：指定Pod部署的节点池，适用于节点池管理策略。 自定义亲和策略：根据节点标签实现灵活调度。 3. 配置自定义亲和策略： 选择规则：在“自定义亲和策略”中，选择“必须满足”或“尽量满足”规则。 必须满足：硬约束，Pod只能调度到满足所有指定条件的节点上。 尽量满足：软约束，调度器会尝试调度到满足条件的节点，但即使不满足也会进行调度。 设置参数： 权重（仅“尽量满足”）：取值1100，作为调度时的附加评分项。 标签名：需要匹配的节点标签。 操作符：六种匹配关系（In、NotIn、Exists、DoesNotExist、Gt、Lt），用于定义标签与值的匹配逻辑。 标签值：与标签名对应的值。 4. 添加策略：在调度策略配置中，点击“添加策略”并填写上述参数。 5. 快速选择（可选）：通过“指定节点调度”或“指定节点池调度”快速选择目标节点或节点池，这些选项本质上也是基于标签实现的便捷操作。

实例间发现服务配置 Headless Service用于解决StatefulSet内Pod互相访问的问题，Headless Service给每个Pod提供固定的访问域名。具体请参见Headless Service。 服务配置 服务（Service）是用来解决Pod访问问题的。每个Service有一个固定IP地址，Service将访问流量转发给Pod，而且Service可以给这些Pod做负载均衡。您也可以在创建完工作负载之后再创建Service，Service的概念和使用方法请参见Service概述。 高级配置 设置升级策略、调度策略、标签与注解、DNS 配置、性能管理配置、网络配置等。单击右下角“创建工作负载”完成创建。

Pod状态为Evicted 问题现象：Pod的状态为Evicted。 问题原因：当节点的内存、磁盘空间、文件系统的inode和操作系统可分配的PID等资源中的一个或者多个达到特定的消耗水平，节点的kubelet进程就会主动地驱逐一到多个Pod，以回收节点资源。 解决方案： 1、执行以下命令，查看Pod的status.message字段，来确定Pod被驱逐的原因。 kubectl get pod o yaml n 2、执行以下命令，删除被驱逐的Pod。 kubectl get pods n grep Evicted awk '{print $1}' xargs kubectl delete pod n Pod OOM异常问题处理 问题现象：容器异常重启，并重启次数较多 问题原因：Pod使用超过其限制的内存 解决方案： 1、确定发生OOM异常的Pod所在的节点 2、登录Pod所在的Node，查看系统日志文件/var/log/message，搜索out of memory关键字，确认具体被OOM终止时间点和进程名称 3、根据Pod的内存监控数据，排查Pod内应用进程否存在内存泄漏。若应用进程存在内存泄漏导致需客户自行修正程序漏洞。若进程运行状态正常，则根据实际运行需要，适当增大Pod的内存限制

本节介绍了创建普通任务(Job)的用户指南。 基本概念 普通任务：即kubernetes中的“Job”，普通任务是一次性运行的短任务，部署完成后即可执行。使用场景为在创建工作负载前，执行普通任务，将镜像上传至镜像仓库。 操作场景 普通任务是一次性运行的短任务，部署完成后即可执行。正常退出（exit 0）后，任务即执行完成。 普通任务是用来控制批处理型任务的资源对象。批处理业务与长期伺服业务（Deployment、Statefulset）的主要区别是： 批处理业务的运行有头有尾，而长期伺服业务在用户不停止的情况下永远运行。Job管理的Pod根据用户的设置把任务成功完成就自动退出了。成功完成的标志根据不同的spec.completions策略而不同，即： 单Pod型任务有一个Pod成功就标志完成。 定数成功型任务保证有N个任务全部成功。 工作队列型任务根据应用确认的全局成功而标志成功 前提条件 在创建任务前，您需要存在一个可用集群。若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 步骤 1 登录云容器引擎控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，选择“任务”，在右上角单击“创建任务”。 步骤 3 配置工作负载的信息。 基本信息 负载类型：选择普通任务Job。工作负载类型的介绍请参见工作负载概述。 负载名称：输入负载的名称，名称长度为1到63个字符，可以包含小写英文字母、数字和中划线（），并以小写英文字母开头，小写英文字母或数字结尾。 命名空间：选择工作负载的命名空间，默认为当前进入的命名空间。您可以单击后面的“创建命名空间”，命名空间的详细介绍请参见创建命名空间。

组件名称 组件介绍 适用场景 cubeclusterautoscaler CCSE自研插件，节点水平伸缩组件，提供了调度、弹性优化、成本优化的功能。 全场景支持，适合在线业务、深度学习、大规模成本算力交付等。

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

Node检查 检查项名称 说明 修复方案 检查节点是否存在 检查集群中是否存在该节点。 请检查Node在集群中是否存在。 检查节点状态是否Ready 检查节点在集群中的状态是否为Ready。 请登录到节点上执行systemctl status kubelet或journalctl exu kubelet查看节点上kubelet进程异常日志并尝试修复。 检查ECS实例是否存在 检查ECS实例是否存在。 请检查ECS实例状态。 检查ECS实例状态正常 检查ECS实例状态，实例状态异常时会影响Pod的正常运行。 请检查ECS实例状态。 检查节点状态是否不可调度 检查节点是否不可调度，不可调度的节点会影响Pod的正常运行。 节点不可调度，请检查节点调度设置。 检查节点Chronyd进程状态是否正常 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart chronyd重启节点Chronyd进程。 检查节点Ntpd进程状态是否正常 检查节点Ntpd进程是否异常，该进程异常时可能会影响系统时钟同步。 节点Ntpd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart ntpd重启节点Ntpd进程。 检查节点Containerd状态是否正常 检查节点Containerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Containerd状态异常，请收集节点日志并提交工单处理。 检查节点Containerd镜像拉取是否正常 检查节点Containerd进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Docker状态是否正常 检查节点Dockerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Docker状态异常，请收集节点日志并提交工单处理。 检查节点Docker镜像拉取是否正常 检查节点Docker进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Kubelet状态是否正常 检查节点Kubelet服务的状态，该进程可能会影响Pod的正常运行。 请检查节点kubelet日志。 检查节点Kubelet启动时间 检查节点Kubelet进程启动时间。 无 节点OS版本 检查节点操作系统版本。 无 节点内核版本 检查节点内核版本是否过低，内核版本过低可能造成系统异常。 请尝试更换节点升级内核。 节点Systemd版本 检查节点systemd版本。 无 节点runc版本 检查节点runc版本，runc版本过低可能造成系统异常。 无 节点系统时间 检查节点系统时间。 无 节点硬件时间 检查节点硬件时间。 无 节点硬件时间漂移 检查节点硬件时钟与系统时间是否一致，时间相差超过2分钟可能引起组件异常。 请尝试登录节点，通过命令hwclock systohc将节点系统时间同步到硬件时间。 检查节点内存交换区开启情况 检查节点内存交换区 (Memory Swap) 功能是否开启，K8s默认要求关闭内存交换区。 当前节点内存交换区 (Memory Swap) 功能不支持开启，请登录节点关闭该功能。 检查Conntrack表使用情况 检查节点Conntrack表是否满，Conntrack表满可能影响网络性能。 请检查nfconntrackbuckets和nfconntrackmax内核参数。 检查节点访问集群API Server是否正常 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 节点DNS服务地址 检查节点能否正常使用主机DNS服务，通过主机DNS服务解析集群外域名。 请检查主机DNS服务是否正常。更多信息，请参见DNS解析异常问题排查。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS服务是否正常 检查节点能否正常访问集群kubedns服务的Cluster IP，通过集群的DNS服务解析集群内域名。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS后端端点是否正常 检查节点能否正常访问集群CoreDNS的Pod IP地址，通过CoreDNS进行域名解析。 请检查节点能否正常访问CoreDNS的Pod IP地址。更多信息，请参见DNS解析异常问题排查。 检查节点内网IP是否存在 检查节点内网IP是否存在。 节点内网IP不存在，请尝试移除节点后重新导入，移除时需保留ECS。 检查节点能否访问公网 检查节点能否正常访问公网，无法访问公网可能影响公网镜像拉取。 请检查集群是否开启SNAT公网访问。 节点CPU使用率 检查节点CPU负载是否过高，CPU负载过高可能影响系统性能。 无 节点内存使用率 检查节点内存负载是否过高，内存过高可能影响系统性能。 无

本节介绍了设置调度策略的用户指南。 在Kubernetes中，调度策略是指如何将Pod调度到节点上的规则。亲和性（Affinity）和反亲和性（AntiAffinity）是两种常见的调度策略，它们可以帮助您控制Pod的分布，以提高应用的性能和可靠性。 亲和性和反亲和性策略 节点亲和性（Node Affinity）：控制Pod应该调度到哪些节点。 节点反亲和性（Node AntiAffinity）：控制Pod不应该调度到哪些节点。 Pod亲和性（Pod Affinity）：控制Pod应该与哪些Pod共同调度到同一节a点。 Pod反亲和性（Pod AntiAffinity）：控制Pod不应该与哪些Pod共同调度到同一节点。 通过控制台配置负载亲和/反亲和调度策略 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载"，切换至“无状态”页签，点击"创建Deployment"。 3、在创建deployment中，点击显示高级设置，选择负载亲和性调度的策略类型。 4、配置亲和性调度规则，亲和性调度规则又分为必须满足（强制pod调度到某些节点上）和尽量满足（优先pod调度到某些节点上）。 5、待一切配置完成后，单机"提交"，创建完成。 6、查看亲和状态调度到相同节点。 7、删除亲和性规则，添加反亲和性规则。反亲和性规则也分为强制分散调度（强制pod调度在不同节点上）和优先分散调度（优先pod调度在不同节点上）。 8、查看反亲和性分配在不同的节点上。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。

本节介绍云容器引擎的最佳实践:集群规格推荐规划。 集群规格规划 Kubernetes集群的稳定性受到两方面因素的影响，一方面是资源对象的数量，另一方面是节点的规格和数量。对于后者而言，选择小数量、大规格的ECS搭建集群或者大数量、小规格的ECS搭建集群都可能存在较大的隐患。因此对集群规格进行合理规划显得尤为重要。 在考虑ECS规格时，需要考虑以下因素： 网络带宽：大规格ECS的网络带宽优于小规格，适用于对带宽需求较大的应用。 网络通信：容器在同一大规格ECS内部建立链路的比例增大，可以避免跨ECS访问，减少网络开销。 容量：ECS系统需要预留一部分CPU、内存、磁盘等节点资源，用于集群管理和基础设施组件的运行。小规格ECS由于抢占资源等因素，使得集群的稳定性和可靠性降低的概率大增。 碎片化：节点资源分配时，小规格ECS更容易被少数甚至一个容器独占，导致不一致或不连续的资源需求难以有效组合，进而造成资源浪费。 镜像拉取：大规格ECS更能有效地利用容器镜像的分层机制，提升拉取镜像的效率。 ECS数量的考量因素： 小数量的ECS，在节点故障时，由于资源冗余不足，可能导致无法及时处理故障节点外排的业务。 大数量的ECS极大地考验Master的性能和稳定性。

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。

查看Pod的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 工作负载 > 无状态/有状态/守护进程/任务/定时任务/容器组 进入需要查看的工作负载列表，并点击上方监控tab查看pod监控信息

本节介绍了云容器引擎的最佳实践:x86和ARM镜像的混合部署。 应用现状 云容器引擎允许在同一集群内同时创建两种不同架构的节点：x86架构和ARM架构。然而，由于这两种架构在底层技术上存在显著差异，因此通常来说，无法将为ARM架构设计的镜像（即应用程序）在x86架构的节点上成功运行，反之亦然。因此，在拥有同时支持x86和ARM节点的集群上部署工作负载时，可能会遭遇部署失败的情况。 解决方案 解决在不同架构的节点使用镜像创建工作负载通常有三种方法： 创建工作负载的时候通过亲和性设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 创建工作负载的时候通过nodeSelector设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 构建双架构镜像，同时支持ARM和x86架构。当Pod被调度到ARM架构节点时，将自动拉取针对ARM架构的镜像；而当Pod被调度到x86架构节点时，将自动拉取针对x86架构的镜像。尽管使用同一个地址，但背后实际上包含两个镜像。这种设计简化了工作负载描述文件，使其更具可读性和易于维护，无需单独配置节点亲和性和nodeSelector。

本节介绍了云容器引擎的最佳实践:如何将Ingress服务暴露到公网。 如果你是通过Ingress访问你的服务，并且想通过公网访问，可为集群Ingress服务配置天翼云ELB。 具体配置步骤如下： 1、登录到控制台，进入服务所在的集群，选择菜单“网络“>”服务“，命名空间选择“kubesystem”，点击”创建服务“按钮。 2、其中负载均衡一栏，选择公网访问，从列表中选择一个要绑定的负载均衡（如果列表为空，请确认你是否有可用的负载均衡，没有的话，请先到ELB控制台创建）。 端口映射一栏，填写好容器端口和服务端口（该端口是负载均衡的监听端口）。如下所示： 注意 nginxingresscontroller pod 默认的http端口是10080，默认的https端口是10443。 如需修改，可以到nginxingresscontroller插件yaml修改端口号。 3、工作负载绑定一栏，类型选择Deployment，名称选择nginxingresscontrollernginxingresscontroller，然后点击提交。 注意 选择工作负载前请先确认nginxingresscontroller插件的版本，如果版本小于1.3.5，这里工作负载类型应选择DaemonSet 4、待ELB绑定后，即可通过服务列表中“集群外访问”中的外网地址访问服务了。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

名称 说明 保留天数 必填，定时备份后产生的备份包所保留的天数，超过保留天数的备份包则会被自动清理 时间点 必填，定时备份时执行的时间点，为整点 重复周期 必填，定时备份任务重复在一周内哪几天触发执行

性能规格 云硬盘性能的指标有很多种，例如IOPS，吞吐量，读写时延： IOPS：云硬盘每秒进行读写的操作次数，可以细分到单盘最大IOPS，基线IOPS，IOPS突发上限等等。 吞吐量：云硬盘每秒成功传送的数据量，即读取和写入的数据量，一般会衡量云硬盘最大吞吐量，每GB云硬盘的吞吐量。 读写时延：云硬盘处理一个读写IO需要的时间。 各类型云硬盘的性能比较详见：云硬盘性能介绍 使用场景 根据业务需求，云硬盘类型的存储常见以下使用场景： 使用云盘动态存储卷：即用户无需预先创建云硬盘和PV，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建云盘实例及对应PV资源，推荐使用。 使用云盘静态存储卷：即用户预先创建云盘实例，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载云盘：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 计费说明 说明 通过存储插件动态创建的云盘实例，计费模式为按需订购，不支持包年包月。 关于云硬盘的计费详情，请参见：点这里。

本节介绍了容器组的用户指南。 基本概念 容器组（Pod）是Kubernetes中最小的可部署单元。一个Pod（容器组）包含了一个应用程序容器（某些情况下是多个容器）、存储资源、一个唯一的网络IP地址、以及一些确定容器该如何运行的选项。Pod容器组代表了Kubernetes中一个独立的应用程序运行实例，该实例可能由单个容器或者几个紧耦合在一起的容器组成。 操作场景 Kubernetes集群中的Pod存在如下两种使用途径： 一个Pod中只运行一个容器。"onecontainerperpod" 是Kubernetes中最常见的使用方式。此时，您可以认为Pod容器组是该容器的wrapper，Kubernetes通过Pod管理容器，而不是直接管理容器。 一个Pod中运行多个需要互相协作的容器。您可以将多个紧密耦合、共享资源且始终在一起运行的容器编排在同一个Pod中，可能的情况有： 1、Content management systems,file and data loaders, local cache managers等 2、log and checkpoint backup,compression, rotation, snapshotting等 3、data change watchers, logtailers, logging and monitoring adapters, event publishers等 4、proxies, bridges, adapters等 5、controllers, managers,configurators, and updaters 您可以在云容器引擎中方便的管理容器组（Pod），如查看YAML、远程登录、销毁重建等操作。 前提条件 您需要存在一个可用集群，若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 1、查看YAML 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“查看YAML” 2、销毁重建 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“销毁重建 请仔细阅读系统提示，删除操作无法恢复，请谨慎操作。 说明 若Pod所在节点不可用或者关机，负载无法删除时可以在详情页面实例列表选择强制删除。请确保要删除的存储没有被其他负载使用，导入和存在快照的存储只做解关联操作。 3、远程登录 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“远程登录” 3)在弹出的对话框中点击“登录”

名称 说明 执行策略 必填，定义定时备份执行时间点的cron表达式。也可以界面的选框来辅助表达式编写。 保留天数 必填，定时任务执行后生成的备份包的保留天数。超出保留天数备份包会被清理。

本节介绍云容器引擎的最佳实践: 容器中域名解析的最佳实践。 Pod的DNS解析行为 Kubernetes以Pod为最小可创建、管理、部署单元，Pod内部包含一个或一组共享namespace和cgroup的紧密关联的容器。容器内部的DNS解析行为与Pod的DNS解析行为概念上是对等的。 Pod中的DNS查询行为直接受Pod的/etc/resolv.conf配置文件的影响，Kubelet在拉起Pod时，会根据Pod规约中dnsPolicy的配置为Pod生成/etc/resolv.conf配置。 默认情况下，Pod的dnsPolicy设置为clusterFirst, Pod的/etc/resolv.conf值类似: nameserver 172.20.0.10 search .svc.cluster.local svc.cluster.local cluster.local options ndots:5 各字段解释如下: nameserver : 域名解析服务器 search : 域名查找后缀规则，会在 .svc.cluster.local svc.cluster.local cluster.local三个域中搜索匹配的记录 options : 域名解析选项，KV值格式，典型的有ndots，表示解析的域名字符串内的点字符数量超过ndots值，则认为是完整域名，直接解析，如不足，则追加.svc.cluster.local后缀 默认情况下, nameserver值为云容器引擎内置的CoreDNS service ClusterIP, Kubernetes在CoreDNS中为普通Service赋予一个形如 mysvc.mynamespace.svc.clusterdomain.example的DNS A记录,该名称会解析成Service对应的clusterIP。 Pod访问集群内部Service域名时，根据域名后缀规则依次查询Service名称，获得Service对应的ClusterIP。 Pod访问集群外部域名时，根据Pod规约的dnsPolicy值不同，使用Pod所在节点配置的DNS或者使用CoreDNS所在节点的配置DNS服务器进行解析。

本节介绍云容器引擎的最佳实践:容器与节点时区同步。 背景说明 使用Dockerfile构建容器镜像时，若未指定时区配置，那么构建的容器有可能会使用UTC时间。在云容器引擎中使用该容器镜像构建工作负载时就有可能出现容器实例与云容器引擎的节点时间不一致，相差8小时的现象。 云容器引擎的所有节点统一中国CST时间(UTC+8), 登录节点执行date R指令进行查看: [root@0000000gwcgp0q8ads ~] date R Sat, 06 Apr 2024 18:37:16 +0800 验证Pod实例的工作容器当前时间可以使用kubectl指令，例如查看default命名空间下，名为kubiamannual的pod工作容器时间: 使用kubectl exec指令可查看pod的工作负载容器当前的时间: [root@0000000gwcgp0q8ads ~] kubectl exec kubiamanual n default date R Sat, 06 Apr 2024 10:37:18 +0000 工作容器的时间戳时区为+0000，代表使用的是标准UTC时间, 中国CST时间比标准UTC时间多8个小时 解决该问题有两种方法: 1、构建容器镜像时配置时区 2、通过云容器引擎控制台进行配置 构建容器镜像时配置时区 以Dockerfile方式构建镜像为例，在镜像的Dockerfile中增加以下语句: RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 通过云容器引擎控制台进行配置 云容器控制台可以通过数据卷的方式，将节点的/etc/localtime文件挂载到Pod的工作容器实例中，以此实现时区信息同步，具体操作步骤如下: 1、登录云容器引擎控制台 2、进入【集群】【工作负载】界面，找到待处理的pod名称，点击【全量替换】按钮 全量替换 3、增加一个主机目录类型的数据卷,设置主机路径为/etc/localtime 数据卷 4、为工作容器增加挂载点 挂载点 提交更改后，容器实例会重启，使用与节点相同的时区配置； 通过云容器引擎创建新的工作负载时，可以使用的操作方法：以数据卷的方式将节点的/etc/localtime挂载到容器实例的/etc/localtime，实现节点与容器实例时间同步。

本节介绍了云容器引擎的最佳实践:通过特权容器配置内核参数。 前提条件 开通特权容器需要通过命令行模式连接到目标集群，所以需要先保存集群kubeconfig，并且配置好kubectl环境。 注意 修改主机的内核配置可能会对系统的稳定性和安全性产生影响，因此在进行这些操作时请谨慎考虑，并确保您具备足够的了解和经验。 后台操作流程 编写应用yaml，创建特权容器，示例如下： kind: DaemonSet apiVersion: apps/v1 metadata: name: daemonsettest labels: name: daemonsettest spec: selector: matchLabels: name: daemonsettest template: metadata: labels: name: daemonsettest spec: hostNetwork: true containers: name: daemonsettest image: nginx:alpine command: "/bin/sh" args: "c" while :; do time$(date);done imagePullPolicy: IfNotPresent lifecycle: postStart: exec: command: sysctl "w" net.ipv4.tcptwreuse1 securityContext: privileged: true imagePullSecrets: name: defaultsecret spec.spec.containers.lifecycle 字段是指容器启动后执行设置的命令；spec.spec.containers.securityContext.privileged: true是指开启特权容器。 使用以上yaml文件创建特权容器：kubectl apply f daemonsettest.yaml 执行后查看是否容器启动成功：kubectl get daemonset 当看到READY数量跟节点数量相同时，说明已经全部创建成功，则可以在当前主机执行kubectl get po grep daemonsettest 或者docker ps grep daemonsettest查找对应容器。 通过命令 docker exec it 356d0e5a831c /bin/sh 或 kubectl exec it podname bash 进入容器内部，然后执行命令sysctl a grep net.ipv4.tcptwreuse查看对应的内容是否有修改命令行终端确认修改系统参数成功。

本节介绍网络的用户指南:Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍网络的用户指南:NodeLocal DNSCache加速。 在集群中部署NodeLocal DNSCache可以提升服务发现的稳定性和性能，NodeLocal DNSCache通过在集群节点运行DNS缓存代理来提高集群DNS性能。 本文介绍如何安装NodeLocal DNSCache，并在应用中使用NodeLocal DNSCache。 NodeLocal DNSCache简介 云容器引擎NodeLocal DNSCache插件是基于社区开源项目NodeLocal DNSCache的一套DNS本地缓存解决方案，该方案主要由DNS本地缓存和DNSConfig动态注入控制器组成： DNSConfig动态注入控制器，基于Admission Webhook机制拦截Pod创建的请求，自动注入使用DNS缓存的Pod DNSConfig配置； DNS缓存代理，在每个集群节点上创建一个虚拟网络接口（默认监听IP 169.254.20.10），配合Pod的DNSConfig和节点上的网络配置，Pod内产生的DNS请求会被该服务所代理。 工作原理图如下图所示： 说明 1、已注入DNS本地缓存的Pod，默认会通过NodeLocal DNSCache的服务地址（169.254.20.10）解析域名; 2、NodeLocal DNSCache本地若无缓存应答解析请求，则将请求转发到CoreDNS进行解析； 3、CoreDNS对于非集群内域名，会通过节点配置的DNS服务进行解析； 4、已注入DNS本地缓存的Pod，当无法连通NodeLocal DNSCache时，会继续通过CoreDNS进行解析，此链路为备用链路； 5、未注入DNS本地缓存的Pod，会通过CoreDNS进行解析。 安装NodeLocal DNSCache 可在云容器引擎控制台安装NodeLocal DNSCache插件，步骤请参考安装插件。