本节介绍云容器引擎的最佳实践:容器与节点时区同步。 背景说明 使用Dockerfile构建容器镜像时，若未指定时区配置，那么构建的容器有可能会使用UTC时间。在云容器引擎中使用该容器镜像构建工作负载时就有可能出现容器实例与云容器引擎的节点时间不一致，相差8小时的现象。 云容器引擎的所有节点统一中国CST时间(UTC+8), 登录节点执行date R指令进行查看: [root@0000000gwcgp0q8ads ~] date R Sat, 06 Apr 2024 18:37:16 +0800 验证Pod实例的工作容器当前时间可以使用kubectl指令，例如查看default命名空间下，名为kubiamannual的pod工作容器时间: 使用kubectl exec指令可查看pod的工作负载容器当前的时间: [root@0000000gwcgp0q8ads ~] kubectl exec kubiamanual n default date R Sat, 06 Apr 2024 10:37:18 +0000 工作容器的时间戳时区为+0000，代表使用的是标准UTC时间, 中国CST时间比标准UTC时间多8个小时 解决该问题有两种方法: 1、构建容器镜像时配置时区 2、通过云容器引擎控制台进行配置 构建容器镜像时配置时区 以Dockerfile方式构建镜像为例，在镜像的Dockerfile中增加以下语句: RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 通过云容器引擎控制台进行配置 云容器控制台可以通过数据卷的方式，将节点的/etc/localtime文件挂载到Pod的工作容器实例中，以此实现时区信息同步，具体操作步骤如下: 1、登录云容器引擎控制台 2、进入【集群】【工作负载】界面，找到待处理的pod名称，点击【全量替换】按钮 全量替换 3、增加一个主机目录类型的数据卷,设置主机路径为/etc/localtime 数据卷 4、为工作容器增加挂载点 挂载点 提交更改后，容器实例会重启，使用与节点相同的时区配置； 通过云容器引擎创建新的工作负载时，可以使用的操作方法：以数据卷的方式将节点的/etc/localtime挂载到容器实例的/etc/localtime，实现节点与容器实例时间同步。

本节介绍了云容器引擎的最佳实践:通过特权容器配置内核参数。 前提条件 开通特权容器需要通过命令行模式连接到目标集群，所以需要先保存集群kubeconfig，并且配置好kubectl环境。 注意 修改主机的内核配置可能会对系统的稳定性和安全性产生影响，因此在进行这些操作时请谨慎考虑，并确保您具备足够的了解和经验。 后台操作流程 编写应用yaml，创建特权容器，示例如下： kind: DaemonSet apiVersion: apps/v1 metadata: name: daemonsettest labels: name: daemonsettest spec: selector: matchLabels: name: daemonsettest template: metadata: labels: name: daemonsettest spec: hostNetwork: true containers: name: daemonsettest image: nginx:alpine command: "/bin/sh" args: "c" while :; do time$(date);done imagePullPolicy: IfNotPresent lifecycle: postStart: exec: command: sysctl "w" net.ipv4.tcptwreuse1 securityContext: privileged: true imagePullSecrets: name: defaultsecret spec.spec.containers.lifecycle 字段是指容器启动后执行设置的命令；spec.spec.containers.securityContext.privileged: true是指开启特权容器。 使用以上yaml文件创建特权容器：kubectl apply f daemonsettest.yaml 执行后查看是否容器启动成功：kubectl get daemonset 当看到READY数量跟节点数量相同时，说明已经全部创建成功，则可以在当前主机执行kubectl get po grep daemonsettest 或者docker ps grep daemonsettest查找对应容器。 通过命令 docker exec it 356d0e5a831c /bin/sh 或 kubectl exec it podname bash 进入容器内部，然后执行命令sysctl a grep net.ipv4.tcptwreuse查看对应的内容是否有修改命令行终端确认修改系统参数成功。

本节介绍网络的用户指南:Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍网络的用户指南:NodeLocal DNSCache加速。 在集群中部署NodeLocal DNSCache可以提升服务发现的稳定性和性能，NodeLocal DNSCache通过在集群节点运行DNS缓存代理来提高集群DNS性能。 本文介绍如何安装NodeLocal DNSCache，并在应用中使用NodeLocal DNSCache。 NodeLocal DNSCache简介 云容器引擎NodeLocal DNSCache插件是基于社区开源项目NodeLocal DNSCache的一套DNS本地缓存解决方案，该方案主要由DNS本地缓存和DNSConfig动态注入控制器组成： DNSConfig动态注入控制器，基于Admission Webhook机制拦截Pod创建的请求，自动注入使用DNS缓存的Pod DNSConfig配置； DNS缓存代理，在每个集群节点上创建一个虚拟网络接口（默认监听IP 169.254.20.10），配合Pod的DNSConfig和节点上的网络配置，Pod内产生的DNS请求会被该服务所代理。 工作原理图如下图所示： 说明 1、已注入DNS本地缓存的Pod，默认会通过NodeLocal DNSCache的服务地址（169.254.20.10）解析域名; 2、NodeLocal DNSCache本地若无缓存应答解析请求，则将请求转发到CoreDNS进行解析； 3、CoreDNS对于非集群内域名，会通过节点配置的DNS服务进行解析； 4、已注入DNS本地缓存的Pod，当无法连通NodeLocal DNSCache时，会继续通过CoreDNS进行解析，此链路为备用链路； 5、未注入DNS本地缓存的Pod，会通过CoreDNS进行解析。 安装NodeLocal DNSCache 可在云容器引擎控制台安装NodeLocal DNSCache插件，步骤请参考安装插件。

本节介绍网络的用户指南:集群网络概述。 集群网络分为主机和容器两个维度，主机位于VPC中使用VPC网络，容器网络则使用容器网络插件来管理。 节点网络 VPC为集群内主机分配IP地址，订购集群时选择VPC中的子网用于集群的主机网络，子网可用IP数量直接限制了集群节点规模。 容器网络 约束条件 容器网络CNI插件为Pod分配IP地址，云容器引擎提供的CNI插件均符合kubernetes容器网络模型，具体约束如下： 1.每个Pod都拥有一个独立IP地址，Pod内容器均共享一个网络命名空间； 2.任意Pod之间均可直接通信，无需NAT； 3.任意Pod与节点间均可直接通信，无需NAT。 网络插件 当前云容器引擎提供如下CNI插件： calico容器网络：使用calico IPIP模式。该模式下，calico依旧使用BGP分发节点的容器路由信息，但在节点网络基础上通过IPIP隧道技术构建独立于节点网络平面的容器网络平面，IPIP将发给容器的IP报文封装成发给目的节点的IP报文进行隧道传输； cubecni容器网络：是云原生网络方案，直接基于VPC网络中的弹性网卡和IP资源构建容器网络。Pod通过弹性网卡资源直接分配VPC的子网IP地址，无需额外指定虚拟Pod地址段。 Cubecni和Calico对比如下： 。 对比项 Cubecni Calico隧道模式 容器网络平面 构建Underlay网络，容器和节点均在同个网络平面，支持VPC内多集群Pod直接互通及VPC内直接互通 构建Overlay网络，基于集群节点网络构建 一层覆盖网络，不支持VPC内多集群Pod直接互通及VPC内直接互通 容器网络性能 无解封包开销，整体性能优于Overlay网络，其中Cubecni独占ENI模式性能无限接近主机 有解封包损耗 节点规模 不直接限制节点规模 受限于BGP Peer连接数等限制 网络访问控制 支持网络策略Network Policy，其中Cubecni独占ENi模式支持Pod粒度安全组配置 支持网络策略Network Policy 源地址审计 Pod访问VPC网络资源，源地址是容器IP，不经节点SNAT，便于审计 Pod访问VPC网络资源，需经节点SNAT，不便于审计 地址管理 无需按节点分配地址段，随用随分配，地址无浪费 每个节点提前分配虚拟地址段 ELB 支持ELB直通Pod，性能更优 不支持ELB直通Pod，需通过NodePort转发

恢复流程 1、当节点运行异常，并持续一段时间，云容器引擎将判断节点状态，与诊断条件进行对比。控制台会将符合诊断条件的异常节点进行展示，用户可以选择一个或多个节点进行故障恢复。 2、节点故障恢复会以任务形式执行，期间会形成任务事件，查看恢复进度： 当恢复任务完成，异常状态解除，节点将恢复运行状态； 当恢复任务完成，节点状态依旧异常，事件将体现恢复失败，可以提交工单进行手动修复 说明 1. 同一节点池中的多个异常节点，故障恢复将以串行方式执行。期间一个节点恢复失败，云容器引擎将停止对该节点池其余异常节点进行恢复； 2. 多个节点池之间可以并行进行故障恢复。 恢复事件 故障恢复过程中，会将相应操作以任务事件形式记录。可以在控制台 故障恢复窗口查看恢复事件。事件类型包括： 事件 详细描述 NODEREPAIRSTART 故障恢复开始 NODEREPAIRDIAGNOSEISSUE 故障诊断确认 NODEREPAIRIGNORE 故障恢复跳过，比如主机示例异常、故障未达到阈值时间 NODEREPAIRACTION 执行故障恢复操作 NODEREPAIRFAILED 故障恢复失败，可以提交工单进行手动修复 NODEREPAIRSUCCEED 故障恢复成功

更换节点池操作系统 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“节点管理”——“节点池”； 选择指定节点池，在操作“更多”列选择“升级”； 在升级界面勾选更换操作系统选项（可选择同类型更高版本号操作系统也可选择其他类型系统，如无同类型更高版本号操作系统则当前操作系统已是最新版本），选择目标升级版本，点击“开始升级”。

本页主要介绍云容器引擎产品的kubelet配置。 名称 类型 描述 示例值 cpuManagerPolicy String CPU 管理器策略。 none kubeAPIQPS Integer 与 API Server 通信的每秒查询个数。 100 kubeAPIBurst Integer 每秒发送到 API Server 的突发请求数量上限。 100 maxPods Integer 运行的 Pod 个数上限。 110 podPidsLimit Integer Pod 中可使用的 PID 个数上限。 1 eventRecordQPS Integer 每秒可生成的事件数量。 5 eventBurst Integer 事件记录的个数的突发峰值上限。 10 topologyManagerPolicy String 使用的拓扑管理器策略名称。 none topologyManagerScope String 拓扑管理策略的资源对齐粒度 container resolvConf String 容器指定DNS解析配置文件 runtimeRequestTimeout String 除长期运行的请求之外所有运行时请求的超时时长 120s serializeImagePulls Boolean 是否逐一拉取镜像。 FALSE registryPullQPS Integer 镜像仓库的 QPS 上限。 5 registryBurst Integer 突发性镜像拉取的个数上限。 10 containerLogMaxFiles Integer 每个容器可以存在的日志文件个数上限。 20 containerLogMaxSize String 日志文件被轮转之前可以到达的最大大小。 50Mi imageGCHighThresholdPercent Integer 镜像用量超过此阈值，则镜像垃圾回收会持续执行。 80 imageGCLowThresholdPercent Integer 镜像用量低于此阈值时不会执行镜像垃圾回收操作。 70 cpuCFSQuota Boolean CPU CFS 配额约束开关。 FALSE systemReservedMem String 系统内存预留 100Mi kubeReservedMem String Kubernetes组件内存预留 100Mi evictionHard:memory.available String 硬驱动逐配置项：节点可用内存值 100Mi evictionHard:nodefs.available String 硬驱动逐配置项：Kubelet使用的文件系统的可用容量的百分比 10% evictionHard:nodefs.inodesFree String 硬驱动逐配置项：Kubelet使用的文件系统的可用inodes数的百分比 5% evictionHard:imagefs.available String 硬驱动逐配置项：容器运行时存放镜像等资源的文件系统的可用容量的百分比 10% evictionHard:imagefs.inodesFree String 硬驱动逐配置项：容器运行时存放镜像等资源的文件系统的可用inodes数的百分比 10% evictionHard:pid.available String 硬驱动逐配置项：留给分配Pod使用的可用PID数的百分比 10% evictionSoft:memory.available String 软驱逐配置项：节点可用内存值 100Mi evictionSoft:nodefs.available String 软驱逐配置项：Kubelet使用的文件系统的可用容量的百分比 10% evictionSoft:nodefs.inodesFree String 软驱逐配置项：Kubelet使用的文件系统的可用inodes数的百分比 10% evictionSoft:imagefs.available String 软驱逐配置项：容器运行时存放镜像等资源的文件系统的可用容量的百分比 10% evictionSoft:imagefs.inodesFree String 软驱逐配置项：容器运行时存放镜像等资源的文件系统的可用inodes数的百分比 10% evictionSoft:pid.available String 软驱逐配置项：留给分配Pod使用的可用PID数的百分比 10% evictionSoftGracePeriod:memory.available String 驱逐周期 10s evictionSoftGracePeriod:nodefs.available String 驱逐周期 10s evictionSoftGracePeriod:nodefs.inodesFree String 驱逐周期 10s evictionSoftGracePeriod:imagefs.available String 驱逐周期 10s evictionSoftGracePeriod:imagefs.inodesFree String 驱逐周期 10s evictionSoftGracePeriod:pid.available String 驱逐周期 10s

端口 协议 源地址 说明 全部 TCP 198.19.128.0/20 VPCE内网地址段，控制台通过VPCE访问APIServer

本节介绍网络的用户指南:ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

本节介绍了节点池概述的用户指南。 节点池概述 节点池是集群中一个或一组节点的逻辑集合，可以帮助您高效管理集群中的节点。一个集群中可以创建多个不同配置的节点池。节点池的配置包含节点的属性，例如节点规格、标签、污点等。这些属性可以在创建节点池时指定，也可以在创建完成后进行编辑修改。 您可以通过节点池扩缩容，弹出一个或多个具有相同配置的ECS节点。 通过节点池，您可以更方便地对集群节点进行分组管理和运维等。 通过节点池，您可以在同一个集群中实现不同类型的节点混合部署管理。 同一个集群中，允许创建不同节点规格的节点池。 同一个集群中，允许创建多个开启自动弹性伸缩的节点池。 节点池功能 节点池目前支持以下功能。 功能 说明 创建节点池 创建节点池，需要指定节点池的配置。 编辑节点池 重要编辑节点池时，如无特殊说明（如同步更新存量节点标签及污点），不会修改节点池已有存量节点的配置，仅作用于新增节点。 扩缩容节点池 扩容会根据节点池的配置弹出节点。 · 缩容可以选择移出节点池，也可以选择释放节点池内的节点。 弹性伸缩 弹性伸缩可以根据业务负载和策略，按需弹出不同规格节点，满足不同的节点伸缩场景，进行成本优化。

自定义度量指标 Pod度量是从某一方面的指标描述Pod， 取多个pod的平均值， 它与资源度量指标非常相像，但仅支持平均值类型，示意如下： plaintext type: Pods pods: metric: name: packetspersecond target: type: AverageValue averageValue: 1k Object度量用于描述在相同命名空间除Pod以外的其他Kubernetes对象，如Service，配置示意如下： plaintext type: Object object: metric: name: requestspersecond describedObject: apiVersion: v1 kind: Service name: mainroute target: type: Value value: 2k 通过控制台创建HPA 创建负载同时创建HPA 1. 登录云容器引擎管理控制台。 2. 在控制台左侧导航栏，单击集群。 3. 在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。 4. 在集群管理页左侧导航栏，选择工作负载 > 无状态。 5. 在无状态页面选择指标伸缩。 6. 填写伸缩规则跟伸缩范围等信息，然后单击下一步。 为已有应用开启HPA 1. 登录云容器引擎管理控制台。 2. 在控制台左侧导航栏，单击集群。 3. 在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。 4. 在集群管理页左侧导航栏，选择工作负载 > 无状态。 5. 在无状态列表页面选择对应应用的操作栏中的更多—>水平伸缩。 6. 在创建对话框中，设置伸缩的配置。 7. 单击确定。 通过kubectl命令创建HPA 您也可通过编排模板来手动创建HPA，并将其绑定到要伸缩的Deployment对象上，通过kubectl命令实现容器自动伸缩配置。 下面针对一个Nginx应用进行举例。 1、创建并复制以下内容到nginx.yml中。Deployment的编排模板如下。 plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginx labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: name: nginx image: nginx:1.7.9 replace it with your exactly ports: containerPort: 80 resources: requests:

组件名称 组件介绍 适用场景 使用限制 HPA Kubernetes内置组件，主要面向在线业务。 在线业务 适用于Deployment、StatefulSet等实现scale接口的对象。 VPA（alpha） 开源社区组件，主要面向大型单体应用。 大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。 Cubescaler CCSE自研插件，主要面向应用资源使用率存在周期性变化的场景。 周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的对象。

本节介绍网络的用户指南:LoadBalancer类型Service 云容器引擎支持将Service通过负载均衡ELB向外暴露， 云容器引擎集群内置CCM（Cloud Controller Manager）插件，当Service的类型为LoadBalancer时，CCM插件会为Service配置负载均衡，并根据Service信息配置好负载均衡的后端服务器组、健康检查和监听规则等，使得用户可以通过负载均衡访问该Service。以下是使用负载均衡的步骤指引。 使用已有负载均衡暴露服务 前提条件 用户已提前在负载均衡控制台创建ELB实例，ELB实例需要与Service所在的容器集群在同一个VPC网络下。 注意事项 不同Service可以同时复用同一个负载均衡实例，复用同一个负载均衡实例需要避免不同Service使用相同的服务端口，否则存在监听配置被覆盖的情况 不能复用由CCM自动创建的或集群ApiServer使用的负载均衡实例 当Service删除时，使用已有的负载均衡不会被删除 集群Master节点不作为负载均衡实例的后端 操作步骤 1. 登录 云容器引擎 控制台，点击进入想要操作的集群，在左侧菜单选择“网络” “服务”； 2. 如下图，点击“新建”按钮新建服务，按照参数说明配置相关的参数； 服务访问方式：选择负载均衡 负载均衡：可根据业务需要选择私网访问或公网访问，集群内或同一VPC内访问建议选择私网访问即可；选择“使用已有负载均衡”；负载均衡实例列表会根据选择的私网/公网访问方式显示出对应的实例，选择想要使用的负载均衡实例即可 标签：根据需要可以为服务配置标签 注解：根据需要可以为服务配置注解 外部流量策略：Cluster或Local。Cluster策略下，集群所有可用工作节点都会挂载到负载均衡实例；Local策略下，只有Service对应的Pod所在节点会挂载到负载均衡实例 端口映射：配置好协议、容器端口及服务端口，其中容器端口为应用本身暴露的端口，服务端口则会作为负载均衡实例的监听端口 工作负载绑定：选择服务要关联的工作负载，也可以配置自定义标签关联 3. 创建服务后，在服务列表可以看到该服务，通过服务的集群外访问地址即可以访问该服务。

参数 说明 策略类型 Infra：基础设施层资源相关的策略类型。 CISK8s：基于CIS等K8s合规规范定制的策略类型。 PSP：替代Pod Security Policy（PSP）能力的策略类型。 K8sgeneral：基于最佳安全实践对K8s资源配置进行安全加固约束的通用策略类型。 实施动作 拦截：违反策略规则约束的指定资源部署会被拦截。 告警：违反策略规则约束的指定资源仍旧可以部署，只会产生对应违规审计的告警日志。 策略名称 根据选择的策略类型，在策略名称下拉列表中选择需要部署的策略模板名称。 参数配置 如果参数配置输入框中默认为空，说明规则不需要进行参数配置。 如果输入框中包含需要配置的参数模板，则请参考策略参数说明按照指定格式配置参数。

本节介绍了用户指南: 海量文件概述。 云容器引擎支持挂载天翼云海量文件存储卷。cstorcsi插件支持使用海量文件动态存储卷和静态存储卷，通过将海量文件存储卷挂载到容器指定目录下，以满足数据持久化需求。 海量文件服务OceanFS为全托管、可扩展的海量文件系统，适用于海量数据及高带宽应用场景。OceanFS支持弹性扩展至PB级别，具备高可用性与数据持久性，适用于高性能计算、媒体处理、文件共享、内容管理及Web服务等多种场景。 使用限制 插件版本 使用海量文件存储功能，需要cstorcsi插件版本 >3.6.0 文件协议 当前cstorcsi插件仅支持NFS协议 容量 单个文件系统最小容量为100GB subpath模式 在subpath模式下，暂不支持目录配额，subpath使用的容量实际上是整个海量文件的容 其他限制 参见 海量文件使用限制 产品优势 共享访问 1. 支持多台客户端挂载访问同一文件系统，可支持连接上千个客户端实例。 2. 支持NFSv3/v4.1。 3. 支持IPv4和IPv6网络协议。 海量可扩展 1. 用户可以根据业务需要配置文件系统的初始存储容量，后续可以随着数据量的变化而扩容。 2. 支持PB级存储空间。 安全可信 1. 支持使用VPC用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 文件服务支持HA高可用，出现任何硬件故障时，业务自动切换到其他节点，服务可用性在99.95%及以上。 友好易用 1. 操作界面友好、简单易用，用户可通过控制台界面快速轻松地创建、配置和管理文件系统，省去复杂的文件系统部署工作。 2. 提供全托管服务，不必考虑复杂的安装、配置及性能调优工作，用户可轻松创建使用文件系统，只需几分钟便可使用高性能的文件系统。

创建定时伸缩任务 1. 登录云容器引擎控制台，选择集群。 2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。 3. 在无状态页面，单击应用右侧“更多”操作列下的弹性伸缩。 4. 如果 cubecronhpa 组件未被安装，页面提示点击安装。单击点击安装后，然后进行以下步骤。 5. 点击 CronHPA 策略的启用策略，添加策略规则.

本节介绍使用在离线应用优先级管理的用户指南。 在离线应用的优先级（混部规则）包括规则的创建、编辑、绑定与解绑等操作，帮助您实现资源的灵活调度与隔离。 适用场景 需要为不同类型的离线应用设置资源独占或共享等级。 通过优先级规则提升集群资源利用率与调度灵活性。 功能概览 支持新建、编辑、删除混部规则（优先级）。 支持将应用批量绑定/解绑至指定优先级。 可查看规则详情及已绑定应用列表。 操作步骤 查看混部规则列表 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。 2. 页面展示当前集群已配置的混部规则，包括规则名称、QoS 类型、是否启用负载感知调度器等信息。 3. 可在“更多”下拉菜单中进行规则的绑定应用、删除等操作。 新建混部规则 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单，点击列表左上角“新建规则”按钮，弹出新建窗口。 2. 填写唯一规则名称，选择服务质量（QoS）类型，并决定是否启用负载感知调度器。 3. 提交后，规则即出现在规则列表中。

BE 应用可使用 02 共 3 个核心 2. 增加 LS 应用负载 当 LS 应用 CPU 负载增加时（例如从 10% 增加到 90% ） 系统自动调整 BE 应用的 cpuset 范围 3. 观察 BE 应用 CPU 被压制 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 01 BE 应用被压制，CPU 使用范围减少为 01 共 2 个核心 常见问题 超卖调度相关 为什么开启超卖后，某些 BE 应用仍无法调度？ 1、检查是否正确绑定了 BE 优先级。 2、确认混部调度器已启用并正常运行。 3、节点可能存在其他资源（如内存）限制。 超卖比例如何确定？ 1、统根据历史负载和配置自动计算合理的超卖比例。 2、默认配置已适用于大多数场景，一般无需手动调整。 CPU 压制相关 BE 应用被压制后性能下降严重？ 1、属于正常现象，BE 应用设计为弹性使用剩余资源。 2、可通过调整优先级或增加节点资源来改善。 如何确认 CPU 压制是否生效？ 1、通过观察 BE 应用的 cpuset 范围变化。 2、查看 BE 应用的实际 CPU 使用率是否下降。 3、监控混部系统的事件日志。 注意 资源超卖可能导致节点负载增加，建议合理规划应用部署。 CPU 压制机制会影响 BE 应用性能，不建议将关键业务设置为 BE 优先级。 混部系统会保证 BE 应用最低资源保障，避免完全饿死。

前提条件 已创建Kubernetes集群。 Kubernetes集群连通性正常。 已在Kubernetes集群中创建节点池。 节点池节点释放规则 删除节点池时，若节点池中存在节点则不允许删除。需要将节点移出节点池再删除。 操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的删除。

配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。

本节介绍了设置负载的节点选择器(nodeSelector)的用户指南。 在Kubernetes中，调度Pod到特定节点的最简单方法是通过工作负载配置中的nodeSelector字段。它允许您指定目标节点的标签，Kubernetes将仅把Pod调度到匹配这些标签的节点上。 前提条件 为了使用nodeSelector，您首先需要为目标节点添加自定义标签。添加标签的具体步骤，请参考节点标签指南。 一旦节点被正确标记，您就可以在工作负载的定义中设置nodeSelector字段，指定希望Pod调度的节点标签。这样，Kubernetes调度器就会自动将Pod分配到符合条件的节点上，确保工作负载能够运行在您期望的环境中。 设置负载的节点选择器 进入创建负载的页面，在高级配置中，选择调度策略，在节点选择器中，选择节点标签。

配置负载亲和/反亲和调度策略 进入创建负载的页面，在高级配置中，选择调度策略，在负载亲和配置中，添加亲和与反亲和策略。 例如，将新创建的前端应用（附带appfrontend标签）负载分散调度，同时与后端应用（附带appbackend标签）尽量部署到同个zone同一个节点，在负载亲和配置中通过kubernetes.io/hostname拓扑域，每个这样的域仅包含一个节点，在执行工作负载亲和性调度时，可以确保将它们尽量部署到同一节点上；通过topology.kubernetes.io/zone拓扑域，将前后端的负载部署到同个zone。在负载反亲和配置中，通过topology.kubernetes.io/zone拓扑域，将前端负载分散到不同的zone，通过kubernetes.io/hostname拓扑域，尽量将前端负载分散到不同的节点上。

本节介绍了 配置负载容忍策略的用户指南。 调度器能够借助容忍度（Toleration）机制，将Pod部署到带有相应污点的节点之上。这一机制的实现依赖于容忍度与节点污点的协同作用。节点可配置一个或多个污点，对于缺乏对应容忍度的Pod，调度器会根据污点的具体效果进行筛选，以避免不恰当的节点分配。更多关于容忍度的应用实例，请参阅K8S官网“污点与容忍度”章节。 不同类型的污点效果 NoExecute 已在该节点运行的Pod会立即被移除。 未运行的Pod则不会被调度至此节点。 若未设定容忍时间（tolerationSeconds），Pod可持续在该节点运行。 若设定了容忍时间，Pod将在指定时间内继续运行，超时后则被移除。 PreferNoSchedule 已运行的Pod不受影响，不会被移除。 未运行的Pod尽量避免调度至此节点。 Pod可长期在该节点上运行。 NoSchedule 已运行的Pod同样不受影响。 未运行的Pod不会被调度至此节点。 Pod能持续在该节点上运行。 容忍策略配置参数详解 参数名称 参数说明 污点键 标识节点的污点键。 操作符 Equal：精确匹配指定污点键（必填）及值的节点；Exists：匹配存在指定污点键的节点，此时无需指定污点值。 污点值 当操作符为Equal时，需填写对应的污点值。 污点效果 全部：匹配所有污点效果；NoSchedule、PreferNoSchedule、NoExecute：分别匹配对应的污点效果。 容忍时间 即tolerationSeconds，仅NoExecute效果时支持配置，设定Pod在污点节点上的容忍时长，超时后被移除。

容器配置 Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器。 容器名称：为容器命名。 镜像更新策略：选择是否总是拉取镜像。 镜像名称：选择容器使用的镜像，支持多种镜像来源。 镜像版本：选择需要部署的镜像版本。 资源配额：配置 CPU 和内存的申请值和限制值。 初始化容器：选择是否作为初始化容器。 生命周期：设置容器生命周期 环境变量：设置容器运行环境的变量。 镜像访问凭证：选择访问镜像仓库的凭证。 高级配置 设置任务参数，设置标签与注解、网络配置等。 任务设置参数 并发策略：支持如下三种模式。 允许Allow（默认）：CronJob 允许并发 Job 执行。 禁止Forbid：CronJob 不允许并发执行；如果新 Job 的执行时间到了而老 Job 没有执行完，CronJob 会忽略新 Job 的执行。 另请注意，当老 Job 执行完成时，仍然会考虑 .spec.startingDeadlineSeconds，可能会导致新的 Job 执行。 Replace：如果新 Job 的执行时间到了而老 Job 没有执行完，CronJob 会用新 Job 替换当前正在运行的 Job。 执行策略：选择CronJob的执行周期，即每隔这个时间周期CronJob就会执行一次。 单击右下角“创建工作负载”完成创建。

本节介绍了事件中心的用户指南。 K8S Event是集群中某个事件的报告，它一般表示系统的某些状态变化，通过事件可以查看集群的状态变更，包括创建Pod、运行Pod、删除Pod、组件异常等。事件中心提供集群中最近一小时的所有事件的查询；通过安装日志插件及事件中心插件，可以把集群的事件持久化到日志服务，从而能够查询更长时间的事件。 操作步骤 查询集群最近一小时的事件 可以通过以下两种方式查询集群最近一小时的事件。 方式一：在集群概览页中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【集群信息】中选择【概览】Tab页即可查看集群一小时内的事件。 2、您也可以点击【下载】将事件保存为Excel文件。 方式二：在事件中心中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【运维管理】中选择【事件中心】。 2、选择【事件列表】Tab页即可查看集群一小时内的事件。您也可以选择级别、命名空间、类型、名称对事件列表进行过滤。 将集群事件持久化到日志服务 1、选择指定容器集群，确保已开通云日志服务并安装ctglogoperator插件和cubeeventer插件，插件安装可参考 用户指南 > 插件 章节。 2、在菜单栏【运维管理】中选择【事件中心】。 3、选择【事件查询】，可以通过开始时间、结束时间、关键词过滤事件日志。

基本信息 负载类型：选择守护进程DaemonSet。工作负载类型的介绍请参见工作负载概述。 负载名称：填写工作负载的名称。 命名空间：选择工作负载的命名空间，默认为当前进入的命名空间。您可以单击后面的“创建命名空间”，命名空间的详细介绍请参见创建命名空间。 时区同步：选择是否开启时区同步。开启后容器与节点使用相同时区（时区同步功能依赖容器中挂载的本地磁盘，请勿修改删除），时区同步详细介绍请参见时区同步。 说明 DaemonSet负载没有实例数量的配置。 容器配置 Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器。 容器名称：为容器命名。 镜像更新策略：选择是否总是拉取镜像。 镜像名称：选择容器使用的镜像，支持多种镜像来源。 镜像版本：选择需要部署的镜像版本。 资源配额：配置 CPU 和内存的申请值和限制值。 初始化容器：选择是否作为初始化容器。 生命周期：配置容器生命周期的特定操作。 健康检查：设置存活探针、就绪探针及启动探针。 环境变量：设置容器运行环境的变量。 数据存储：挂载本地存储或云存储。 安全设置：对容器权限进行设置，保护系统和其他容器不受其影响。请输入用户ID，容器将以当前用户权限运行。 镜像访问凭证：选择访问镜像仓库的凭证。

容器信息 容器信息Pod中可以配置多个容器，您可以单击右侧“添加容器”为Pod配置多个容器。 容器名称：为容器命名。 镜像更新策略：选择是否总是拉取镜像。 镜像名称：选择容器使用的镜像，支持多种镜像来源。 镜像版本：选择需要部署的镜像版本。 资源配额：配置 CPU 和内存的申请值和限制值。 初始化容器：选择是否作为初始化容器。 生命周期：配置容器生命周期的特定操作。 健康检查：设置存活探针、就绪探针及启动探针。 环境变量：设置容器运行环境的变量。 数据存储：挂载本地存储或云存储。 安全设置：对容器权限进行设置，保护系统和其他容器不受其影响。请输入用户ID，容器将以当前用户权限运行。 特权容器：选择是否启用特权容器。 镜像访问凭证：选择访问镜像仓库的凭证。 服务配置 服务（Service）是用来解决Pod访问问题的。每个Service有一个固定IP地址，Service将访问流量转发给Pod，而且Service可以给这些Pod做负载均衡。您也可以在创建完工作负载之后再创建Service，Service的概念和使用方法请参见Service概述。 高级配置 设置升级策略、调度策略、标签与注解、DNS 配置、性能管理配置、网络配置等。单击右下角“创建工作负载”完成创建。

合理分配CoreDNS副本运行的位置 建议您在部署CoreDNS副本时，应将CoreDNS副本打散在不同可用区、不同集群节点上，避免单节点、单可用区故障。CoreDNS默认配置了按节点的弱反亲和性，可能会因为节点资源不足导致部分或全部副本部署在同一节点上，如果遇到这种情况，请删除Pod重新触发其调度来调整。 CoreDNS所运行的集群节点应避免CPU、内存用满的情况，否则会影响域名解析的QPS和响应延迟。当集群节点条件允许时，可以考虑使用自定义参数将CoreDNS调度至独立的集群节点上，以提供稳定的域名解析服务。关于CoreDNS调度至独立的集群节点的方式，请参见使用自定义参数完成CoreDNS独占部署。 手动扩容副本数 当集群节点数长时间较为固定时，您可以通过以下命令扩容CoreDNS副本数。 kubectl scale replicas{target} deployment/coredns n kubesystem 基于CPU负载指标自动扩容副本数（HPA） 由于HPA会频繁触发CoreDNS副本缩容，建议您不要使用容器水平扩缩容（HPA），如果您的场景下必须依赖于HPA，请参考以下基于CPU负载的策略配置： apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata: name: corednshpa namespace: kubesystem spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: coredns minReplicas: 2 maxReplicas: 10 metrics: type: Resource resource: name: cpu targetAverageUtilization: 50 合理配置CoreDNS 云容器引擎仅提供CoreDNS的默认配置，您应关注配置中的各个参数、优化其配置，以使CoreDNS可以为您的业务容器正常提供DNS服务。CoreDNS的配置非常灵活。 早期版本随Kubernetes集群部署的CoreDNS默认配置可能存在一些风险，推荐您按以下方式检查和优化： 合理调整CoreDNS的资源Request和Limit 关闭kubedns服务的亲和性配置 配置CoreDNS优雅退出 配置Ready就绪探针插件

NodeComponent检查 检查项名称 说明 修复方案 检查节点CNI组件状态是否正常 检查节点上CNI组件Pod是否正常。 请检查集群网络组件状态。具体操作，请参见Pod异常问题排查。 检查节点CSI组件状态是否正常 检查节点上CSI组件Pod是否正常。 请检查集群件存储组件状态。具体操作，请参见Pod异常问题排查。

本节介绍了该产品的服务协议。 产品服务协议，详情请参见这里

本节介绍了设置容器规格的用户指南。 在Kubernetes中，设置容器规格是确保应用程序在集群中有效运行的关键步骤。通过配置容器的资源请求和限制，可以优化资源使用，提升应用程序的稳定性和性能。 在Kubernetes中，资源请求（requests）和限制（limits）是用于指定容器所需的最小和最大资源量的设置。主要资源包括CPU和内存。 资源请求（requests）：容器运行时所需的最小资源量。根据申请值调度该实例到满足条件的节点去部署工作负载。 资源限制（limits）：容器允许使用的最大资源量。如果容器尝试使用超过限制的资源，可能会被终止。 通过控制台中设置容器规格 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载 ”，切换至“无状态 ”页签，单击“创建Deployment”。 3、在实例内容器设置CPU/内存限制。 4、点击“提交”，创建完成。 常见问题和解决方法 Pod调度失败 确保节点有足够的资源满足容器的资源请求。 检查集群资源配额设置，确保配额没有被超出。