本节介绍了云容器引擎的最佳实践:ELB访问控制配置。 应用场景 云容器引擎实例支持通过EIP+ELB暴露APIServer服务，用户可通过配置ELB的访问控制限制访问APIServer的入口流量。 注意事项 若配置ELB访问控制白名单，请放通以下流量，确保CCE控制台正常访问集群。 端口 协议 源地址 说明 全部 TCP 198.19.128.0/20 VPCE内网地址段，控制台通过VPCE访问APIServer

术语 描述 伸缩组 节点池当开启自动弹性伸缩时，底层使用伸缩组管理节点，一个伸缩组包含节点规格及弹出的实例集合，用于自动扩展和管理用途。 伸缩配置 伸缩组中的配置被称为伸缩配置。 伸缩活动 节点池的每次扩缩容、添加节点、移除节点都会触发伸缩活动。触发伸缩活动后，所有扩张和收缩动作都交由系统自动完成，并留下相关记录，您可以通过节点池的伸缩活动查看节点池的历史伸缩活动记录。

必须设置，不然HPA无法运行。 cpu: 500m 2、执行以下命令，创建Nginx应用。 kubectl create f nginx.yml 3、创建HPA。通过scaleTargetRef设置当前HPA绑定的对象，在本例中绑定名叫nginx的Deployment。 plaintext apiVersion: autoscaling/v2beta2 kind: HorizontalPodAutoscaler metadata: name: nginxhpa spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: nginx minReplicas: 1 maxReplicas: 10 metrics: type: Resource resource: name: cpu target: type: Utilization averageUtilization: 50 4、创建好HPA后，再次执行 kubectl describe hpa 命令 看到HPA正常运行。

本节介绍了:弹性伸缩概述的用户指南。 弹性伸缩概述 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。本文介绍弹性伸缩的背景信息和弹性伸缩涉及的组件。 背景介绍 弹性伸缩是容器被广泛采用的功能，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。弹性伸缩分为两个维度： 调度层弹性，主要是负责修改负载的调度容量变化。例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。 资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECS等资源的方式进行调度容量的补充。 两层的弹性组件与能力可以分开使用，也可以结合在一起使用，并且两者之间是通过调度层面的容量状态进行解耦。 伸缩组件介绍 调度层弹性组件介绍 组件名称 组件介绍 适用场景 使用限制 HPA Kubernetes内置组件，主要面向在线业务。 在线业务 适用于Deployment、StatefulSet等实现scale接口的对象。 VPA（alpha） 开源社区组件，主要面向大型单体应用。 大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。 Cubescaler CCSE自研插件，主要面向应用资源使用率存在周期性变化的场景。 周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的对象。

本节介绍了节点池最佳实践:Pod调度到节点池的不同节点。 Pod调度到节点池不同节点 场景：服务在同一个节点池中，同一个应用的Pod之间反亲和，一个节点只能调度一个Pod。 创建节点池扩容两个节点。在节点池详情的节点列表可以查看到创建的两个节点。 使用以下示例内容，配置应用YAML。通过反亲和性配置两个应用Pod，将不同的Pod调度到节点池不同节点上。 plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginx labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: name: nginx labels: app: nginx spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: 设置调度策略。 labelSelector: matchExpressions: key: app operator: In values: nginx topologyKey: kubernetes.io/hostname nodeSelector: ccse.ctyun.cn/nodepoolname: 指定节点池。 containers: name: nginx image: nginx resources: limits: cpu: 1 requests: cpu: 1 在无状态页面，单击目标Deployment进入详情，在容器组页签，可以看到两个不同的Pod调度到节点池不同节点上。

配置Service负载均衡的注意事项 多个Service使用同个负载均衡的同个监听端口 CCM版本v1.0.7之前，若不同Service监听同个负载均衡的同个监听端口，会导致监听配置相互覆盖的问题。CCMv1.0.7及之后版本，后创建的Service默认会配置失败，可通过设置Service注解“service.beta.kubernetes.io/ctyunloadbalanceroverridelisteners”为“true”指定强制覆盖已有监听。 存量集群请检查好CCM版本（通过查看kubesystem命名空间下的工作负载ccsecloudcontrollermanager使用的镜像版本可知），将CCM版本升级到v1.0.7或以上。 LoadBlance类型Service流量走向 访问LoadBlance类型Service，流量走向主要和外部流量策略及网络插件类型有关。如下所示： 外部流量策略为cluster 当外部流量策略为cluster时，业务LoadBlance类型Service会把集群所有工作节点添加到LoadBlance实例后端。此时访问LoadBlance的流量，将均衡到各个工作节点的NodePort，随后二次转发到对应的Pod后端，如下图所示： 外部流量策略为local，网络插件为calico 当外部流量策略为local，网络插件为calico时，只有Pod所在节点才会加入LoadBlance实例后端，访问LoadBlance的流量将均衡到Pod所在节点，不做SNAT处理直接二次转发到节点上的Pod后端，如下图所示： 外部流量策略为local，网络插件为cubecni cubecni网络插件为Pod分配VPC地址时，Pod直接加入LoadBlance实例后端组，访问LoadBlance的流量将直接发送到Pod，不经过Service二次转发，性能较优，如下图所示：

查看策略列表和集群中已部署的策略实例 您可根据以下操作查看策略列表和集群中已部署的策略实例总数。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、选择【我的策略】Tab页查看集群所有已部署的策略以及策略对应的策略实例个数。 修改策略实例 您可根据以下操作修改指定集群已经部署的策略实例。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、在【我的策略】Tab页中选择目标策略，单击【编辑】在跳出的弹窗中修改相关配置即可。 删除策略实例 您可根据以下操作修改指定集群中的策略实例。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、在【我的策略】Tab页中选择目标策略，单击【删除】即可删除该策略在集群中部署的所有实例。 策略参数说明 Category Policy Description Severity Category CCSENoEnvVarSecrets 限制Secret以secretKeyRef的形式挂载到应用Pod环境变量中。 medium Category CCSEPodsRequireSecurityContext 限制Pod中所有容器必须配置securitycontext字段。 low Category CCSERestrictNamespaces 限制资源部署在集群指定的命名空间中。 low Category CCSERestrictRoleBindings 限制指定命名空间下的rolebinding使用指定范围内的Role或Clusterrole。 medium Infra CCSEBlockProcessNamespaceSharing 限制在集群指定范围部署的应用中使用shareProcessNamespace。 high Infra CCSEEmptyDirHasSizeLimit 要求emptyDir类型的Volume必须指定sizelimit。 low Infra CCSELocalStorageRequireSafeToEvict 限制部署在集群指定范围内的Pod必须具有 “clusterautoscaler.kubernetes.io/safetoevict”: “true” 注释标签。默认情况下autoscaler在集群自动伸缩时不会驱逐使用HostPath或EmptyDir卷的Pod。为了允许驱逐这些Pod，必须在Pod上添加该注释标签。 low Infra CCSESASMaliciousImage Requires container images is safe and scanned by SAS. high Infra CCSEOSSStorageLocationConstraint Restricts location of oss storage in cluster. low K8sgeneral CCSEAllowedRepos 限制在集群指定范围部署的应用Pod中拉取白名单列表外的镜像。 high K8sgeneral CCSEBlockAutoinjectServiceEnv 要求在应用中配置enableServiceLinks: false防止在Pod环境变量中透出服务IP。 low K8sgeneral CCSEBlockAutomountToken 要求在应用中设置automountServiceAccountToken: false字段防止自动挂载serviceaccount。 high K8sgeneral CCSEBlockEphemeralContainer 限制在集群指定范围的应用Pod中启动临时容器。 medium K8sgeneral CCSEBlockLoadBalancer 限制在集群指定范围内部署LoadBalancer类型的Service。 high K8sgeneral CCSEBlockNodePort 限制在集群指定范围内使用NodePort类型的Service。 high K8sgeneral CCSEContainerLimits 要求集群指定范围的应用Pod配置资源limits。 low K8sgeneral CCSEExternalIPs 限制在集群指定范围内的Services实例使用白名单范围之外的externalIPs。 high K8sgeneral CCSEImageDigests 限制在集群指定范围内部署不符合digest格式的镜像。 low K8sgeneral CCSERequiredLabels 限制在集群指定范围内部署没有指定范式label标签的应用。 low K8sgeneral CCSERequiredProbes 限制在集群指定范围内部署的Pod配置指定类型的readinessProbe和livenessProbe。 medium K8sgeneral CCSECheckNginxPath 限制在Ingress实例的spec.rules[].http.paths[].path字段中使用危险配置。Ingressnginx 1.2.1以下版本建议开启该策略。 high K8sgeneral CCSECheckNginxAnnotation 限制在Ingress实例的metadata.annotations字段中使用危险配置。Ingressnginx 1.2.1以下版本建议开启该策略。 high

字段 说明 apiVersion API版本，固定值 autoscaling.ctyun.com/v1beta1 kind API类型，固定值 CronHorizontalPodAutoscaler metadata.name CronHPA策略名称。 metadata.labels 策略标签 metadata.namespace CronHPA策略所在的命名空间。 spec.scaleTargetRef 指定CronHPA的扩缩容对象，可配置以下字段： apiVersion：CronHPA扩缩容对象的API版本。 kind：CronHPA扩缩容对象的API类型。 name：CronHPA扩缩容对象的名称。CronHPA支持HPA策略或Deployment。 spec.jobs CronHPA策略规则，可添加多个规则。每个规则可配置以下字段： name：CronHPA规则名称，该名称需唯一。 schedule：指定任务运行时间与周期，参数格式与gocron类似，请参见下表。 targetSize：扩缩容的Pod数目。 disable：参数值为“true”或“false”。其中“false”表示该规则生效，“true”则表示该规则不生效。

查看与编辑混部规则详情 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击左上角“编辑”按钮，可修改 QoS 类型及负载感知调度器设置。 绑定与解绑应用 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击“绑定”按钮，弹出批量绑定应用窗口。 3. 可通过命名空间、工作负载类型等筛选待绑定应用。 4. 勾选目标应用，点击“确定”即可批量绑定。 5. 在已绑定应用列表中，点击单个应用末尾的“解绑”按钮，可解除该应用与规则的绑定关系。 常见问题与说明 绑定应用后无效果？ 确认应用已正确选择并绑定，稍等片刻或刷新页面。 规则删除失败？ 检查是否有应用仍绑定该规则，需先解绑所有应用。 编辑规则后部分应用未生效？ 编辑后新配置仅对后续调度生效，已运行的应用需重启或重新调度。 注意 建议为不同业务类型的应用设置合理优先级，避免资源争抢。 编辑或删除规则前，请确认相关应用的运行影响。 批量操作时请谨慎选择目标应用，避免误操作。

本节介绍超卖调度与离线应用CPU压制的用户指南。 CPU QoS 功能包括节点资源超卖调度和 BE 离线应用 CPU 压制机制，帮助您实现资源的高效利用与动态调整。 适用场景 集群资源利用率低，需要提高节点资源使用效率。 需要在保证在线应用（LS 优先级）性能的同时，充分利用空闲资源运行离线应用（BE 优先级）。 需要在在线应用负载增加时，自动压制离线应用资源使用，确保在线应用性能。 功能概览 节点资源超卖调度：允许节点接受超过其声明资源总量的应用调度请求，提高资源利用率。 BE 应用 CPU 动态压制：根据在线应用的实际负载，动态调整离线应用可使用的 CPU 资源范围。 优先级差异化服务：确保高优先级应用（LS）获得资源保障，低优先级应用（BE）弹性使用剩余资源。 操作指南 节点资源超卖调度 BE 应用 CPU 动态压制 当节点上的在线应用（LS 优先级）CPU 负载增加时，混部系统会自动压制 BE 优先级应用的 CPU 使用范围，确保在线应用获得足够资源，同时最大化利用节点空闲资源。 压制机制 系统通过动态调整 BE 应用的 cpuset 范围来实现 CPU 压制 压制程度根据 LS 应用的实际负载动态变化 系统确保 BE 应用至少保留最小核心数（默认为 2 核），避免完全饿死 观察压制效果 1. 查看 BE 应用初始 CPU 分配 在节点负载较低时，BE 应用获得较大的 CPU 使用范围 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 02

本节介绍了用户指南: 用LocalPV动态存储卷。 使用LocalPV动态存储卷时，无需预先手动创建PV，只需在创建PVC时指定本地存储类（StorageClass），存储插件cstorcsi即会自动以子目录形式创建对应的PV资源。 此模式为推荐方案，您可专注于工作负载的存储需求，无需提前手动创建和配置存储资源，从而降低底层基础设施的复杂度。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 cstorcsi插件安装版本要求3.4.0及以上； 本地存储卷取决于底层节点的可用性，如果节点变得不健康，那么存储卷也将变得不可被 Pod 访问，影响Pod运行； 如果需要指定节点使用本地存储卷，可以通过以下两种方式： 1、创建持久卷声明PVC时，通过设置节点亲和来指定本地存储使用节点； 2、StorageClass创建时指定绑定策略WaitForFirstConsumer模式，创建工作负载指定节点亲和或者NodeSelector，通过pod调度决定存储使用节点。 通过控制台使用LocalPV动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

图解：DeepSeek与公有云深度融合 从基础设施到智能中枢：DeepSeek如何重塑公有云服务价值链 高性能GPU云主机助力DeepSeek深度应用 天翼云SDWAN与DeepSeek超强联动，开启云上高效互联新时代 实践指南：DeepSeek驱动高效能云生态 GPU云主机/弹性云主机：零基础搭建DeepSeek云端环境指南 GPU物理机：物理机搭建DeepSeek指南 SDWAN跨境：SDWAN助力DeepSeek模型定向加速 智算容器：云容器引擎与DeepSeek融合实践 函数计算：天翼云函数计算与DeepSeek大模型 Q&A：典型问题解析与策略应对 常见问题解答

本节介绍了:节点资源预留策略的用户指南。 云容器引擎需要占用一定的节点资源来运行相关组件（例如kubelet、kubeproxy、calico、Container Runtime等），从而使节点作为集群的一部分来运行。这会造成节点的资源总数与容器集群中可分配的资源数之间存在差异。本文介绍容器的节点资源预留策略、相关注意事项，以便在部署应用时合理设置Pod的请求资源量和限制资源量。 查询节点可分配资源 执行以下命令，查看节点的资源总量和可分配资源。 plaintext kubectl describe node [NODENAME] grep Allocatable B 7 A 6 预期输出： plaintext Capacity: cpu: 4 节点的CPU总核数。 ephemeralstorage: 123722704Ki 节点的临时存储总量，单位KiB。 hugepages1Gi: 0 hugepages2Mi: 0 memory: 7925980Ki 节点的内存总量，单位KiB。 pods: 64 Allocatable: cpu: 3900m 节点可分配的CPU核数。 ephemeralstorage: 114022843818 节点可分配的临时存储，单位KiB。 hugepages1Gi: 0 hugepages2Mi: 0 memory: 5824732Ki 节点可分配的内存，单位KiB。 pods: 64 计算节点可分配资源 可分配资源的计算公式：可分配资源（Allocatable） 总资源（Capacity）预留资源（Reserved）驱逐阈值（EvictionThreshold）

本节介绍 设置工作负载亲和/反亲和调度(podAffinity/podAntiAffinity)的用户指南。 工作负载亲和/反亲和调度概述 在Kubernetes中，工作负载亲和/反亲和调度允许您根据现有Pod的标签和拓扑域（如节点、可用区等）来调度新的Pod。这有助于优化资源利用、减少网络延迟和提高应用性能。 拓扑域 拓扑域是通过节点的标签（topologyKey）来定义的。例如，kubernetes.io/hostname可以将每个节点视为一个独立的拓扑域，而failuredomain.beta.kubernetes.io/zone则可以将每个可用区视为一个拓扑域。 调度策略类型 1. 负载亲和： 不配置：默认行为，不进行特殊调度。 优先多可用区部署：通过Pod反亲和策略，尽量将Pod分散到不同的可用区。 强制多可用区部署：强制将Pod分散到不同的可用区，如果无法满足，则Pod无法调度。 自定义亲和策略：根据Pod标签实现灵活的调度策略。 2. 自定义亲和策略： 工作负载亲和性： 1. 必须满足（硬约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod必须调度到该拓扑域。 2. 尽量满足（软约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod优先调度到该拓扑域，但不是必须的。 工作负载反亲和性： 1. 必须满足（硬约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod不能调度到该拓扑域。 2. 尽量满足（软约束）：如果满足条件的Pod已经存在于某个拓扑域，则新Pod尽量不调度到该拓扑域，但不是必须的。 3. 策略设置参数说明 参数 用途 说明 权重（Weight） 在“尽量满足”（Preferred）策略中，权重用于评估节点对Pod的适合程度。 取值范围：1100 调度器会计算每个节点的总评分，该评分由节点的其他优先级函数评分和此权重附加的评分相加得出。Pod将被调度到总评分最高的节点上。 命名空间（Namespace） 指定调度策略生效的命名空间。 调度策略将仅应用于指定命名空间内的Pod和节点。 拓扑域（Topology Domain） 通过节点的标签和标签值定义调度的节点范围。 使用topologyKey（如kubernetes.io/hostname或kubernetes.io/os）来划分拓扑域。 kubernetes.io/hostname：每个节点是一个独立的拓扑域，适用于单个节点级别的亲和性调度。 kubernetes.io/os：具有相同操作系统的节点属于同一拓扑域，适用于将多个节点作为一个整体进行调度。 标签名（Label Name） 设置工作负载亲和/反亲和性时，指定需要匹配的Pod标签。 调度器将查找具有指定标签名的Pod，并根据亲和/反亲和规则进行调度。 操作符（Operator） 定义标签匹配关系。 取值范围： In：Pod的标签值在指定的标签值列表中。 NotIn：Pod的标签值不在指定的标签值列表中。 Exists：Pod存在指定的标签名。 DoesNotExist：Pod不存在指定的标签名。 标签值（Label Value） 设置工作负载亲和/反亲和性时，指定Pod标签对应的值。 与标签名和操作符一起使用，用于确定Pod是否符合亲和/反亲和规则。

本节介绍了设置容器健康检查的用户指南。 健康检查是一项关键功能，它允许系统根据预设标准定期检查容器的运行状态。若未配置健康检查，即使容器内部的应用程序发生故障，Pod也可能无法察觉，从而导致服务中断，尽管Pod的状态仍显示为正常。 Kubernetes提供了三种类型的健康检查探针，以应对不同的监控需求： 存活探针（livenessProbe）：类似于执行系统级的进程检查（如ps命令），用于确定容器是否仍在正常运行。若存活检查失败，Kubernetes将重启该容器。 就绪探针（readinessProbe）：用于评估容器是否已准备好接收流量。对于启动时间较长或依赖外部服务的容器，此探针尤为重要。若就绪检查失败，Kubernetes将阻止流量流向该容器。 启动探针（startupProbe）：在容器启动阶段使用，以确保在存活和就绪检查之前，应用程序有足够的时间完成初始化。这有助于避免因启动缓慢而导致的误判重启。 检查机制 HTTP请求检查：适用于提供HTTP/HTTPS服务的容器。Kubernetes将定期发送GET请求至指定路径和端口，若响应码在200至399之间，则视为检查成功。 TCP端口检查：针对提供TCP服务的容器，Kubernetes将尝试建立TCP连接。若连接成功，则检查通过。 执行命令检查：用户可指定容器内的命令，Kubernetes将定期执行该命令。若命令返回0，则检查成功。 注意 执行命令时，需确保所需程序已包含在容器镜像中，且对于shell脚本，需指定脚本解析器。 GRPC检查（仅在特定版本及以上支持）：无需暴露HTTP端点或可执行文件，Kubernetes可通过GRPC连接查询应用状态。

参数名称 参数说明 污点键 标识节点的污点键。 操作符 Equal：精确匹配指定污点键（必填）及值的节点；Exists：匹配存在指定污点键的节点，此时无需指定污点值。 污点值 当操作符为Equal时，需填写对应的污点值。 污点效果 全部：匹配所有污点效果；NoSchedule、PreferNoSchedule、NoExecute：分别匹配对应的污点效果。 容忍时间 即tolerationSeconds，仅NoExecute效果时支持配置，设定Pod在污点节点上的容忍时长，超时后被移除。

本节介绍了 创建定时任务(CronJob)的用户指南。 基本概念 定时任务：即kubernetes中的“CronJob”，定时任务是按照指定时间周期运行的短任务。使用场景为在某个固定时间点，为所有运行中的节点做时间同步。 操作场景 定时任务是按照指定时间周期运行的短任务。使用场景为在某个固定时间点，为所有运行中的节点做时间同步。 定时任务是基于时间的Job，就类似于Linux系统的crontab，在指定的时间周期运行指定的Job，即：在给定时间点只运行一次；在给定时间点周期性地运行。 CronJob的典型用法如下所示： 在给定的时间点调度Job运行。 创建周期性运行的Job，例如数据库备份、发送邮件。 前提条件 在创建定时任务前，您需要存在一个可用集群。若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 步骤 1 登录容器引擎控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，选择“定时任务”，在右上角单击“创建定时任务”。 步骤 3 配置工作负载的信息。 基本信息 负载类型：选择定时任务CronJob。工作负载类型的介绍请参见工作负载概述。 负载名称：输入负载的名称，名称长度为1到63个字符，可以包含小写英文字母、数字和中划线（），并以小写英文字母开头，小写英文字母或数字结尾。 命名空间：选择工作负载的命名空间，默认为当前进入的命名空间。您可以单击后面的“创建命名空间”，命名空间的详细介绍请参见创建命名空间。

本节介绍了创建守护进程(DaemonSet)的用户指南。 基本概念 创建守护进程：即kubernetes中的“DaemonSet”，守护进程集确保全部（或者某些）节点都运行一个Pod实例，支持实例动态添加到新节点，适用于实例在每个节点上都需要运行的场景，如ceph、fluentd、Prometheus Node Exporter等。 操作场景 守护进程集（DaemonSet）可以确保全部（或者某些）节点上仅运行一个Pod实例，当有节点加入集群时，也会为他们新增一个 Pod。当有节点从集群移除时，这些Pod也会被回收。删除 DaemonSet 将会删除它创建的所有Pod。 使用DaemonSet的一些典型用法： 运行集群存储daemon，例如在每个节点上运行glusterd、ceph。 在每个节点上运行日志收集daemon，例如fluentd、logstash。 在每个节点上运行监控daemon，例如Prometheus Node Exporter、collectd、Datadog代理、New Relic代理，或Ganglia gmond。 一种简单的用法是为每种类型的守护进程在所有的节点上都启动一个DaemonSet。一个稍微复杂的用法是为同一种守护进程部署多个DaemonSet；每个具有不同的标志， 并且对不同硬件类型具有不同的内存、CPU要求。 前提条件 在创建守护进程集前，您需要存在一个可用集群。若没有可用集群，请参照购买集群中内容创建。 操作步骤及说明 步骤 1 登录云容器引擎控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，选择“守护进程”，在右上角单击“创建Daemonset”。 步骤 3 配置工作负载的信息。

避免IPVS缺陷导致的DNS概率性解析超时问题 当集群使用IPVS作为kubeproxy负载均衡模式时，您可能会在CoreDNS缩容或重启时遇到DNS概率性解析超时的问题。 您可以通过以下任意方式降低IPVS缺陷的影响： 使用节点DNS缓存NodeLocal DNSCache。 修改kubeproxy中IPVS UDP会话保持的超时时间。 使用节点DNS缓存NodeLocal DNSCache 在云容器引擎集群中部署NodeLocal DNSCache可以提升服务发现的稳定性和性能，NodeLocal DNSCache通过在集群节点上作为DaemonSet运行DNS缓存代理来提高集群DNS性能。 使用合适的CoreDNS版本 CoreDNS对Kubernetes版本实现了较好的向后兼容，建议您保持CoreDNS版本为较新的稳定版本。云容器引擎插件市场中提供了CoreDNS的安装、升级、配置能力，您可以关注插件市场中插件状态，若CoreDNS组件显示可升级，请尽快选择业务低峰期进行升级。 CoreDNS v1.7.0以下的版本存在风险隐患，包括且不仅限于以下： CoreDNS与APIServer连通性异常（例如APIServer重启、APIServer迁移、网络抖动）时，CoreDNS会因错误日志写入失败导致容器重启。 启动CoreDNS时会占用额外内存，默认采用的Memory Limit在较大规模集群下可能触发OOM（OutOfMemory）问题，严重时可能导致CoreDNS Pod反复重启无法自动恢复。 CoreDNS存在若干可能影响Headless Service域名、集群外部域名解析的问题。

本节介绍了该产品的服务等级协议。 产品服务等级协议，详情请参见这里

ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。

查看欠费账单 欠费后，可以查看欠费详情或者消费账单，具体请参见文档费用中心账单管理查看消费账单。 充值 为防止相关资源不被停止或者释放，请及时进行充值，为避免帐号将进入欠费状态，需要在约定时间内支付欠款，详细操作请参考费用中心资金管理余额充值用户充值。

资源使用超出限制 如果容器使用资源超过限制，可能会被Kubernetes终止。检查应用程序代码，确保资源使用在合理范围内。

本节介绍了:DNS FAQ的用户指南。 如何进入CoreDNS Pod执行命令？ 问题现象 使用 kubectl n kubesystem exec it {coredns pod} bash及类似命令发现无法进入到CoreDNS Pod中执行或者查看相关信息。 问题原因 CoreDNS所使用的容器镜像是基于Scratch构建，不具备Shell执行环境，所以无法使用bash命令进入。 解决方案 可以使用nsenter的方式访问CoreDNS Pod所处的容器网络环境。 kubernetes中的服务的域名不能通过coredns正确解析 问题现象 kubernetes中的服务建立成功后，无法通过域名访问。 问题原因 kubernetes中的服务的域名的格式不对。 解决方案 使用完整的域名格式进行解析，servicename.nsname.svc.cluster.local。

集群外Ingress访问请求会话保持 1、前提条件 创建一个nginx工作负载，同上 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意Session Affinity不需要设置，保持默认值即可。 确保当前命名空间已经绑定到一个负载均衡器： 创建一个生产路由（Ingress）并关联到上述服务（Service）。 添加本地hosts映射： ip为NginxIngressController的访问地址 域名为创建Ingress时填入的域名 10.142.232.160 nginx.ccse.io 2、发起服务调用 在浏览器中多次发起对服务的请求 > 这里没法通过curl来测试验证，因为curl请求时没法保持Cookie。 3、观察工作负载日志 结论：浏览器中的请求会全部转发到某一个Pod实例，进行会话保持。 集群外TCP/UDP访问 集群外通过TCP/UDP没法进行会话保持。

操作步骤 1、在插件市场选择cubeverticalpodautoscaler并安装，安装插件步骤请参考安装插件。 各参数含义如下，您也可以根据实际使用情况修改自定义参数： plaintext storage: prometheus //使用的存储，可根据历史记录（默认为8天）计算推荐值。前提是安装了ccsemonitor插件 prometheusAddress: //prometheus在集群中service的域名及端口 minReplicas: 2 //允许驱逐pod的最小副本数，避免单副本pod被驱逐导致的服务不可用 2、Yaml创建VPA自定义资源对象，并绑定负载。 配置文件示例： plaintext apiVersion: autoscaling.k8s.io/v1 kind: VerticalPodAutoscaler metadata: name: hamstervpa spec: targetRef:   //目标控制器 apiVersion:"apps/v1" kind:       Deployment name:       hamster    //按需选择对应的deployment updatePolicy:  //更新策略 updateMode:"Off" resourcePolicy:  //设置计算推荐值的约束，可约束资源的上下限，非必填 containerPolicies: containerName: ''  //设置约束的容器 minAllowed:  //设置约束的允许最小值 cpu: 100m memory: 50Mi maxAllowed:  设置约束的允许最大值 cpu:1 memory: 500Mi controlledResources:["cpu","memory"]   //设置约束的资源 其中updateMode参数有以下四种模式可供选择： "Auto"：VPA 在创建Pod和存量Pod设置资源请求。目前这是 等效于Recreate（见下文）。一旦pod请求的就地更新是可用的，它将会被自动使用。注意：VPA 的此功能是实验性的，可能会导致应用程序停机。 "Recreate"：当所请求的资源与新建议显著不同时(如果定义了pod中断预算，则尊重)，VPA会在创建pod时分配建议的资源请求，也会通过驱逐存量pod更新建议的资源请求。这种模式应该很少使用，当您需要确保在资源请求发生变化时重建pod时才使用。否则，最好选择“自动”模式，一旦就地更新可用，就可以利用就地更新重新启动。注意:VPA的这个特性是实验性的，可能会导致应用程序停机。 "Initial"：VPA 仅在新建 Pod 时修改分配资源请求，对于存量Pod 不驱逐更改它们。 "Off"：VPA 不会自动更改 Pod 的资源要求。 会计算出建议值，并且可在 VPA 对象中查看。 3、执行以下命令可以查询VPA为Deployment推荐的CPU和内存资源的requests值。 plaintext kubectl describe vpa hamstervpa

使用场景 本地存储适用于对存储I/O性能、海量存储性价比有极高要求的业务场景。

新版本服务。 path: / backend: service: name: newnginx port: number: 80 pathType: ImplementationSpecific 查看路由访问情况。执行以下命令，访问服务。 curl H"Host: www.ctyun.com" 预期输出： old 执行以下命令，请求头中满足foobar的客户端请求访问服务。 curl H"Host: www.ctyun.com"H"foo: bar" 预期输出： new 重复执行以上命令。可以看到，仅请求头中满足foobar的客户端请求，且只有50%的流量才能路由到新版本服务。重复执行以上命令。可以看到，仅请求头中满足foobar的客户端请求，且只有50%的流量才能路由到新版本服务。按照以下内容，修改步骤2创建的Ingress。 apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: grayreleasecanary annotations: 开启Canary。 nginx.ingress.kubernetes.io/canary: "true" 仅允许50%的流量会被路由到新版本服务newnginx中。 默认总值为100。 nginx.ingress.kubernetes.io/canaryweight: "50" spec: rules: host: www.ctyun.com http: paths: 新版本服务。 path: / backend: service: name: newnginx port: number: 80 pathType: ImplementationSpecific 执行以下命令，查看路由访问情况。 curl H"Host: www.ctyun.com" 重复执行以上命令，可以看到仅50%的流量路由到新版本服务。 步骤三：删除老版本服务基于Helm的发布管理 系统运行一段时间后，当新版本服务已经稳定并且符合预期后，需要下线老版本的服务，仅保留新版本服务在线上运行。为了达到该目标，需要将旧版本的Service指向新版本服务的Deployment，并且删除旧版本的Deployment和新版本的Service。修改旧版本Service，使其指向新版本服务。 apiVersion:v1 kind: Service metadata: name:oldnginx spec: ports: port:80 protocol:TCP targetPort:80 selector:

本节介绍了云容器引擎的最佳实践:Ingress。 修改自定义端口 1、点击目标容器集群名称，进入集群详情页。 2、在菜单栏【插件】中选择【插件市场】，安装nginxingresscontroller插件。 3、安装插件时指定IngressController插件http及https端口。 4、您也可通过查看插件详情，按需修改端口重新安装插件即可。 配置基础用户名和密码 步骤一：创建用户名和密码 1、使用htpasswd工具创建一个包含用户名和密码的文件auth，例如添加一个名为foo的用户，该用户的密码是123456。 2、输入 cat auth查看文件auth，即可查看htpasswd工具生成的用户名和密码的加密形式。 步骤二：新增secret文件 1、点击目标容器集群名称，进入集群详情页。 2、在菜单栏【配置管理】中选择【保密字典】，点击【新增】。 3、创建一个名为“basicauth”的Secret对象，将auth作为变量名，步骤一htpasswd工具生成的用户名和密码的加密形式作为变量值填入。 4、查看Secret的yaml文件，填入后变量值会自动进行Base64加密。 注：当使用这个Secret对象来进行身份验证时，Ingress控制器会解码这里的Base64字符串，使用其中的用户名和密码来验证用户的身份。如果提供的用户名和密码与这里存储的一致，用户将被允许访问相应的资源。

云容器引擎中发布工作负载 1、点击 工作负载 – 无状态 新增。 2、选择已推送到容器镜像实例的镜像。 3、选择已创建的镜像拉取凭证，点击发布，等待发布成功结果。

问题现象 创建LoadBalancer Service后，Service状态为pending，Service事件提示“ failed to ensure load balancer: failed to create elb, error: method not support”。 处理建议 该问题系CCM与资源委托的连接中断，可重启kubesystem命名空间下的ccsecloudcontrollermanager恢复。

配置指标告警 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警规则 进入告警规则页面，点击按钮创建告警规则 创建告警规则。 目前共提供的告警分组有Kubernetes节点、Kubernetes负载、指标采集上报和黑盒监控，其中节点、负载和指标采集上报均为基础告警，只要安装了ccsemonitor插件即可使用，黑盒监控需要应用接入黑盒监控才可使用，可参考 用户指南 > 集群可观测 > 黑盒监控 章节。 选择告警分组和告警指标后会显示告警阈值及当前集群的指标值，部分指标可以通过告警条件调整告警阈值及判断条件；告警触发条件可以选择立即触发或告警条件持续数分钟后才触发。 查看告警事件历史及告警发送历史 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警事件历史 或 告警发送历史 可分别查看集群告警事件历史及告警发送历史。 告警事件历史页面可以查看告警事件名称、事件描述、事件数量、事件状态等信息，通过右上角事件状态筛选下拉框还可以筛选指定状态的告警事件。 告警发送历史页面可以查看事件告警的告警状态、通知状态等，还可以根据告警的状态、等级等进行筛选。