字段 说明 apiVersion API版本，固定值 autoscaling.ctyun.com/v1beta1 kind API类型，固定值 CronHorizontalPodAutoscaler metadata.name CronHPA策略名称。 metadata.labels 策略标签 metadata.namespace CronHPA策略所在的命名空间。 spec.scaleTargetRef 指定CronHPA的扩缩容对象，可配置以下字段： apiVersion：CronHPA扩缩容对象的API版本。 kind：CronHPA扩缩容对象的API类型。 name：CronHPA扩缩容对象的名称。CronHPA支持HPA策略或Deployment。 spec.jobs CronHPA策略规则，可添加多个规则。每个规则可配置以下字段： name：CronHPA规则名称，该名称需唯一。 schedule：指定任务运行时间与周期，参数格式与gocron类似，请参见下表。 targetSize：扩缩容的Pod数目。 disable：参数值为“true”或“false”。其中“false”表示该规则生效，“true”则表示该规则不生效。

注解 含义 koordinator.sh/blkioQOS Pod 磁盘限速 JSON 注解

配置Pod标签，工作负载实例间反亲和 matchExpressions: key: app operator: In values: demo namespaces: default topologyKey: topology.kubernetes.io/zone 拓扑域为可用区 weight: 50 podAffinityTerm: labelSelector: 配置Pod标签，工作负载实例间反亲和 matchExpressions: key: app operator: In values: demo namespaces: default topologyKey: kubernetes.io/hostname 拓扑域为节点 创建该工作负载，查看创建的Pod： $ kubectl get pod owide NAME READY STATUS RESTARTS AGE IP NODE demo3hjgd8bb64aawck 1/1 Running 0 21s 192.168.0.32 ccseagent1b54ffbc17 demo3hjgd8bb64plary 1/1 Running 0 21s 192.168.1.25 ccseagenta7527e3e80 将实例数扩容到3，可见新建Pod被调度到另一个节点，3个实例所在3个节点属3个不同可用区。 $ kubectl scale deploy/demo replicas3 deployment.apps/demo scaled $ kubectl get pod owide NAME READY STATUS RESTARTS AGE IP NODE demo3hjgd8bb64aawck 1/1 Running 0 3s 192.168.0.32 ccseagent1b54ffbc17 demo3hjgd8bb64plary 1/1 Running 0 45s 192.168.1.25 ccseagenta7527e3e80 demo3hjgd8bb64ccgum 1/1 Running 0 45s 192.168.2.16 ccseagent59ab9e7689 根据上述工作负载反亲和性规则，可将Pod按照可用区和节点做较为均匀的分布，实现应用的高可用部署。

本节介绍了云容器引擎的最佳实践：某量子云平台迁移项目。 项目概述 某量子云平台对外提供量子计算机实验/实操服务，其应用架构由他云迁移到天翼云，通过天翼云实现应用组件化和容器化，通过K8S统一部署和管理业务。 该平台包括官网、博客网站、web管理后台等系统。 容器支撑方案 迁移使用的容器架构图如下： 研发迭代更高效：使用crs镜像服务一键部署应用 便于扩容快弹性高：使用HPA弹缩pod 解决内外网互连互通：使用Nginx+Spring GateWay实现内外网流量隔离和路由转发 底层资源占用少：使用csi插件动态挂载sfs存储 助力运维更便捷：使用云日志插件采集容器日志 最终效果 2023年6月迁移至天翼云试运行，12月已付费容器并运营至今，现业务稳定运行。

验证权限 查询default命名空间下的pod资源。 kubectl get pod n default kubeconfigtest.config 被拒绝访问其他命名空间的pod资源。 kubectl get pod n testrq kubeconfigtest.config 不可以删除default命名空间下的pod资源。 kubectl delete pod n default cephfsprovisioner8689474666d2gsw kubeconfigtest.config 基于ClusterRole实现集群权限精细化管理的配置步骤 请参考：集群命名空间RBAC授权

云容器引擎控制台创建Kubernetes自定义授权策略 注意 本步骤展示创建自定义ClusterRole，过程和创建Role类似。您可以根据实际的场景调整相应操作。 第一步：登录天翼云，进入到云容器引擎控制台，在左侧导航栏选择集群。 第二步：在集群管理界面，点击目标集群名称，然后在左侧导航栏，选择安全管理 > 角色。 第三步：在角色页面，点击Cluster Role页签，然后点击创建Cluster Role。 第四步：当点击创建Cluster Role后，会弹出一个YAML面板，您需要在面板上输入自定义策略的YAML内容，点击确定即可创建成功。 第五步：在左侧导航栏，选择安全管理 >授权，进入授权页面，选择子账号下面的用户，点击添加权限。 第六步：进入集群RBAC配置，点击添加权限，选择命名空间，选择自定义，然后选择里之前创建好的Cluster Role，点击下一步。 第七步：授权成功。 第八步：验证。 首先按照下图获取到对应的config，登录到集群主机保存test.config文件中。 查询集群的Pod。 kubectl get pod kubeconfigtest.config 没有权限查看集群的Service，提示forbidden。 kubectl get services kubeconfigtest.config 注意 当前云容器引擎授权管理仅支持自定义Cluster Role角色与集群内RABAC权限的绑定，暂不支持自定义Role角色与集群内RBAC权限的绑定。

本节介绍云容器引擎的最佳实践：容器与节点时区同步。 背景说明 使用Dockerfile构建容器镜像时，若未指定时区配置，那么构建的容器有可能会使用UTC时间。在云容器引擎中使用该容器镜像构建工作负载时就有可能出现容器实例与云容器引擎的节点时间不一致，相差8小时的现象。 云容器引擎的所有节点统一中国CST时间(UTC+8), 登录节点执行date R指令进行查看: [root@0000000gwcgp0q8ads ~] date R Sat, 06 Apr 2024 18:37:16 +0800 验证Pod实例的工作容器当前时间可以使用kubectl指令，例如查看default命名空间下，名为kubiamannual的pod工作容器时间: 使用kubectl exec指令可查看pod的工作负载容器当前的时间: [root@0000000gwcgp0q8ads ~] kubectl exec kubiamanual n default date R Sat, 06 Apr 2024 10:37:18 +0000 工作容器的时间戳时区为+0000，代表使用的是标准UTC时间, 中国CST时间比标准UTC时间多8个小时 解决该问题有两种方法: 1、构建容器镜像时配置时区 2、通过云容器引擎控制台进行配置 构建容器镜像时配置时区 以Dockerfile方式构建镜像为例，在镜像的Dockerfile中增加以下语句: RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 通过云容器引擎控制台进行配置 云容器控制台可以通过数据卷的方式，将节点的/etc/localtime文件挂载到Pod的工作容器实例中，以此实现时区信息同步，具体操作步骤如下: 1、登录云容器引擎控制台 2、进入【集群】【工作负载】界面，找到待处理的pod名称，点击【全量替换】按钮 全量替换 3、增加一个主机目录类型的数据卷,设置主机路径为/etc/localtime 数据卷 4、为工作容器增加挂载点 挂载点 提交更改后，容器实例会重启，使用与节点相同的时区配置； 通过云容器引擎创建新的工作负载时，可以使用的操作方法：以数据卷的方式将节点的/etc/localtime挂载到容器实例的/etc/localtime，实现节点与容器实例时间同步。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行 plaintext echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行 plaintext cat /ccsetmp/test.log 预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

指向新版本服务。 run:newnginx sessionAffinity:None type:NodePort 执行以下命令，请求头中满足foobar的客户端请求访问服务。 curl H"Host: www.ctyun.com" 预期输出： new 重复执行以上命令，可以看到请求全部被路由到了新版本的服务。执行以下命令，删除Canary Ingress资源grayreleasecanary。 kubectldeleteingress grayreleasecanary 删除旧版本的Deployment和新版本的Service。执行以下命令，删除旧版本的Deployment。 kubectldeletedeployoldnginx 执行以下命令，删除新版本的Service。 kubectldeletesvcnewnginx

本节介绍了设置容器规格的用户指南。 在Kubernetes中，设置容器规格是确保应用程序在集群中有效运行的关键步骤。通过配置容器的资源请求和限制，可以优化资源使用，提升应用程序的稳定性和性能。 在Kubernetes中，资源请求（requests）和限制（limits）是用于指定容器所需的最小和最大资源量的设置。主要资源包括CPU和内存。 资源请求（requests）：容器运行时所需的最小资源量。根据申请值调度该实例到满足条件的节点去部署工作负载。 资源限制（limits）：容器允许使用的最大资源量。如果容器尝试使用超过限制的资源，可能会被终止。 通过控制台中设置容器规格 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载 ”，切换至“无状态 ”页签，单击“创建Deployment”。 3、在实例内容器设置CPU/内存限制。 4、点击“提交”，创建完成。 常见问题和解决方法 Pod调度失败 确保节点有足够的资源满足容器的资源请求。 检查集群资源配额设置，确保配额没有被超出。

步骤三、Ingress配置 当用户访问这个Ingress路由时，Ingress控制器会要求用户提供之前创建的“basicauth”Secret中存储的用户名和密码进行身份验证，只有成功验证的用户才能访问后端服务。 1、点击目标容器集群名称，进入集群详情页； 2、在菜单栏【网络】中选择【路由（Ingress）】，点击【新增】； 3、在新增页面添加以下注解： 身份验证类型：nginx.ingress.kubernetes.io/authtype:basic 包含用户名和密码的Secret对象名：nginx.ingress.kubernetes.io/authsecret: basicauth 需要身份验证的提示信息：nginx.ingress.kubernetes.io/authrealm:'Authentication Required foo' 详情可参考社区官方的ingressnginx controller介绍。

本节介绍了用户指南： 对象存储概述。 云容器引擎支持使用天翼云对象存储作为存储卷。当前cstorcsi插件支持使用对象存储动态存储卷和静态存储卷，通过将对象存储挂载到容器指定目录下，以实现数据持久化需求。 天翼云对象存储为客户提供海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 使用限制 服务开通 使用前请在云容器引擎集群所在资源池，相应开通对象存储服务，参照指引：点这里 开通地域选择参见：点这里 存储类型 当前cstorcsi仅支持标准、低频两种存储类型 数据加密 暂不支持加密 其他 对象存储产品本身使用限制参见：点这里 产品规格 cstorcsi支持标准存储、低频存储 两种存储类型，这些存储类型具有不同的特点和适用场景，详见：对象存储性能说明 注意 当CSI版本为4.0.0及其以上版本时，删除不为空的对象存储pvc时，将保留对象存储bucket但删除对应的pvc和pv，您可以通过对象存储控制台删除对应的bucket。

集群外Ingress访问请求会话保持 1、前提条件 创建一个nginx工作负载，同上 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意Session Affinity不需要设置，保持默认值即可。 确保当前命名空间已经绑定到一个负载均衡器： 创建一个生产路由（Ingress）并关联到上述服务（Service）。 添加本地hosts映射： ip为NginxIngressController的访问地址 域名为创建Ingress时填入的域名 10.142.232.160 nginx.ccse.io 2、发起服务调用 在浏览器中多次发起对服务的请求 > 这里没法通过curl来测试验证，因为curl请求时没法保持Cookie。 3、观察工作负载日志 结论：浏览器中的请求会全部转发到某一个Pod实例，进行会话保持。 集群外TCP/UDP访问 集群外通过TCP/UDP没法进行会话保持。

本节介绍了云容器引擎的最佳实践：使用存储子目录为工作负载提供存储。 当需要将存储的特定子目录直接挂载至工作负载以实现高效数据存储时，云容器引擎提供了多种实现方式以支持该能力。 需求场景 当用户创建大容量文件存储时，为充分利用现有资源，可将不同子目录分配给多个工作负载使用。 若需实现数据层面的权限控制，可限制容器仅访问指定子目录。 对于习惯开源NFS使用方式的用户，可在已有文件存储基础上，通过为不同子目录创建独立的PVC并分配给对应工作负载，实现资源隔离。 每个工作负载拥有不同的子目录的方式便于管理，且可通过Pod名称区分子目录，提升运维效率。 方案选择 有以下两种方案： （1）复用现有存储：用户已有的存储对应一个PVC，无需额外创建PVC，可将同一PVC下的不同子目录分配给多个工作负载使用。 （2）动态分配子目录：用户使用海量文件存储时，每次可为不同工作负载动态分配一个子目录作为独立PVC。（注：此功能仅海量文件存储支持，其他存储产品不适用于子目录挂载场景。） 方案一：子目录挂载（多个子目录共享同一PVC） 在工作负载的数据存储配置界面，设置挂载路径为 /test，即存储卷将挂载至容器内的 /test 目录。子路径可选择 subPath 或 subPathExpr 模式。 subPath：简单直接，工作负载的所有副本均使用存储卷的同一子目录。 subPathExpr：支持通过环境变量动态调整子目录路径，实现同一工作负载中不同副本使用独立子目录。 若选择 subPath，直接填写子目录名称即可；若目录不存在，K8S会自动创建。若选择 subPathExpr，需按以下方式配置： 在第二个绿色箭头所指的框中，根据实际需求填写路径表达式。例如可使用 $(PODNAMESPACE)/$(PODNAME) 或 $(PODNAME)，也支持自定义格式。此处以 $(PODNAMESPACE)/$(PODNAME) 为例，需确保相关变量已在环境变量中预先定义。 根据以上示例，红框处需正确填写变量名，绿框处需选择变量值的来源。即从Pod的metadata.name字段获取PODNAME变量值，从metadata.namespace字段获取PODNAMESPACE变量值，并组合为存储的子目录路径。 例如：一个两副本的无状态工作负载位于命名空间cstor下，Pod名称分别为podA和podB。按此配置后，一个副本会将PVC对应存储下的cstor/podA子目录挂载至容器内的/test路径，另一副本则挂载cstor/podB子目录至相同路径。 若通过工作负载的YAML文件实现，相关字段配置如下： plaintext volumeMounts: name: workdir1 mountPath: /logs subPathExpr: $(PODNAMESPACE)/$(PODNAME) yaml的env的设置如下： plaintext spec: containers: name: container1 env: name: PODNAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name name: PODNAMESPACE valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.namespace

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

约束与限制 存量的master节点不支持更换操作系统。 基于私有镜像的节点不支持节点池升级，因此也不支持更换操作系统。 功能说明 升级方式 说明 实现方式 开通新集群 新版本的操作系统发布后，集群订购页默认提供最新版本的操作系统，旧版本的操作系统将不在集群订购页面提供，因此可以通过开通新集群的 方式来获取并使用最新版本的操作系统。 通过选择所需操作系统开通新集群实现 新建节点池并扩容 新版本的操作系统发布后，节点池订购页默认提供最新版本的操作系统，旧版本的操作系统将不在节点池订购页面提供，因此可以通过新建节点池 的方式来获取并使用最新版本的操作系统。 通过选择所需操作系统新建节点池并扩容节点实现 更换节点池操作系统 升级节点池可以选择更换操作系统，因此可以选择升级到新版本的操作系统，该功能通过节点重置方式实现。 通过升级节点池的更换操作系统功能实现 操作步骤 开通新集群 开通新集群操作步骤参见订购集群，其中master节点默认采用最新版本CTyunOS操作系统，工作节点用户根据需要选择所需类型的的操作系统。 新建节点池并扩容 新建节点池步骤参见节点池管理，节点池扩容参见扩缩容节点池，通过扩容节点池可以应用新版本的操作系统，通过缩容节点池可以弃用旧版本的操作系统。

配置多个集群的kubectl访问凭证 下面用2个集群为例演示如何修改config文件访问多个集群。 获取集群A的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16261" name: 1626117120288662000021 currentcontext: 1626117120288662000021 kind: Config preferences: {} users: name: "16261" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clustera，用户名修改成clusterauser： apiVersion: v1 clusters: cluster: server: name: clustera contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 获取集群B的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16262" name: 1626217120288662000022 currentcontext: 1626217120288662000022 kind: Config preferences: {} users: name: "16262" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clusterb，用户名修改成clusterbuser： apiVersion: v1 clusters: cluster: server: name: clusterb contexts: context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusterbcontext kind: Config preferences: {} users: name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把两份凭证合并到同个config文件，把两份文件中的cluster、user、contenxt合并到同一父路径下： apiVersion: v1 clusters: cluster: server: name: clustera cluster: server: name: clusterb contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2...

步骤 2 创建集群 登录CCE控制台，在右上角选择“创建集群”。 网络配置请按如下设置，其余配置可参考 新建集群 虚拟私有云：选择已开启IPV6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPV6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点和工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求：Service CIDRV6网段需属于fc00::/8网段内。IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个。 步骤 3 购买和加入共享带宽 默认IPv6地址只具备私网通信能力，如果您需要通过IPv6地址访问Internet或被Internet上的IPv6客户端访问，您需要购买和绑定共享带宽。如您已有共享带宽，可以不用重新购买，直接将IPv6地址加入共享带宽即可。 在虚拟私有云 VPC中左侧导航栏，选择“弹性公网IP和带宽 > 共享带宽”。 在共享带宽列表页，单击操作列的“添加公网IP”。 将IPv6地址加入共享带宽。 结果验证：登录到ECS实例，ping一个公网上的IPv6服务，验证连通性。例如：ping6 ipv6.ctyun.cn。

本节介绍云容器引擎的最佳实践：集群规格推荐规划。 集群规格规划 Kubernetes集群的稳定性受到两方面因素的影响，一方面是资源对象的数量，另一方面是节点的规格和数量。对于后者而言，选择小数量、大规格的ECS搭建集群或者大数量、小规格的ECS搭建集群都可能存在较大的隐患。因此对集群规格进行合理规划显得尤为重要。 在考虑ECS规格时，需要考虑以下因素： 网络带宽：大规格ECS的网络带宽优于小规格，适用于对带宽需求较大的应用。 网络通信：容器在同一大规格ECS内部建立链路的比例增大，可以避免跨ECS访问，减少网络开销。 容量：ECS系统需要预留一部分CPU、内存、磁盘等节点资源，用于集群管理和基础设施组件的运行。小规格ECS由于抢占资源等因素，使得集群的稳定性和可靠性降低的概率大增。 碎片化：节点资源分配时，小规格ECS更容易被少数甚至一个容器独占，导致不一致或不连续的资源需求难以有效组合，进而造成资源浪费。 镜像拉取：大规格ECS更能有效地利用容器镜像的分层机制，提升拉取镜像的效率。 ECS数量的考量因素： 小数量的ECS，在节点故障时，由于资源冗余不足，可能导致无法及时处理故障节点外排的业务。 大数量的ECS极大地考验Master的性能和稳定性。

本节介绍了容器云服务引擎CCSE的最佳实践，以弹性伸缩举例。 容器水平伸缩 容器云服务引擎CCSE支持在控制台界面上快速创建支持HPA的应用，实现容器资源的弹性伸缩。您也可通过定义HPA（Horizontal Pod Autoscaling）的YAML来进行配置。 背景信息 从v1.18开始，K8s v2beta2 API允许通过HPA的behavior字段配置扩缩行为。 在behavior字段中的scaleUp和scaleDown分别指定扩容和缩容行为。当您在使用HPA时，希望只进行扩容或者只进行缩容的Pod伸缩，则可以通过开启指标伸缩，单击禁止缩容或者禁止扩容来实现。默认值：均不禁止。禁止扩容：selectPolicy的值Disabled会关闭给定方向的扩容。因此使用以下策略，将会阻止扩容。 behavior: scaleUp: selectPolicy:Disabled 禁用缩容：selectPolicy的值Disabled会关闭给定方向的缩容。因此使用以下策略，将会阻止缩容。 behavior: scaleDown: selectPolicy:Disabled 通过容器服务控制台创建HPA应用 天翼云容器云服务引擎已经集成了HPA，您可以简便地通过容器服务控制台进行创建。您可以在创建应用的时候创建HPA，也可以在已有应用的基础上开启HPA。 方式一：在创建应用过程中，开启HPA 登录容器云服务引擎CCSE管理控制台。 在控制台左侧导航栏中，单击集群。 在集群列表页面中，单击目标集群名称。 在集群管理页左侧导航栏中，选择工作负载 > 无状态。 点击左上角的新增按钮。 填写基本信息，在实例数量中选择自动伸缩，设置伸缩的条件和配置。 Resource规则，支持CPU和内存，支持百分比和平均值等计值方式。 Pod规则，支持Pod指标对象，支持平均值的计值方式，支持指定指标。 Object规则，支持Service指标对象，支持阈值的计值方式，支持指定指标。 单击左下角的提交，一个支持HPA的Deployment就已经创建完毕。 结果验证：单击工作负载 > 无状态中单击应用名称，您可在部署的详情中查看伸缩组信息。在实际使用环境中，应用会根据CPU负载进行伸缩。您也可在测试环境中验证弹性伸缩，通过给Pod进行CPU压测，可以发现Pod即可完成水平的扩展。

ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。

本节介绍了：基础资源监控的用户指南。 应用场景 云容器引擎监控体系提供基础资源监控能力，通过安装ccsemonitor插件可以无侵入地采集集群基础资源指标。可以通过监控面板查看节点、工作负载、Pod的CPU、内存、网络、磁盘等基础资源的使用情况和健康状态，确保集群稳定运行。 前提条件 已创建集群，具体操作请参见 用户指南 > 集群 > 新建集群 章节。若已有集群，无需重复操作。 集群已安装ccsemonitor插件，可参考 用户指南 > 插件 章节。 通过Grafana仪表盘查看集群监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 运维管理 > 监控 查看Grafana仪表盘，可以查看集群监控概览、核心组件监控、节点监控、应用监控、网络监控等监控面板。 查看节点的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 节点 > 节点 进入节点列表页，点击要查看监控的节点进入节点详情页，在节点详情页可以查看节点的监控信息

本节介绍了：DNS FAQ的用户指南。 如何进入CoreDNS Pod执行命令？ 问题现象 使用 kubectl n kubesystem exec it {coredns pod} bash及类似命令发现无法进入到CoreDNS Pod中执行或者查看相关信息。 问题原因 CoreDNS所使用的容器镜像是基于Scratch构建，不具备Shell执行环境，所以无法使用bash命令进入。 解决方案 可以使用nsenter的方式访问CoreDNS Pod所处的容器网络环境。 kubernetes中的服务的域名不能通过coredns正确解析 问题现象 kubernetes中的服务建立成功后，无法通过域名访问。 问题原因 kubernetes中的服务的域名的格式不对。 解决方案 使用完整的域名格式进行解析，servicename.nsname.svc.cluster.local。

本节介绍网络的用户指南：NGINX Ingress Controller。 NGINX Ingress Controller是一种常见的Ingress Controller实现，它利用NGINX的高级性能和灵活性来处理服务的路由和负载均衡。当一个Ingress资源在Kubernetes集群中被创建或更新时，Ingress Controller会检测到这些变化。然后，它会根据Ingress资源定义的规则，自动生成对应的NGINX配置，以实现请求的路由和负载均衡。 NGINX配置包括如何处理进入的网络请求（例如，基于主机名或URL路径进行路由），以及如何将请求路由到后端的服务实例。NGINX Ingress Controller会定期检查Ingress资源的变化，如果检测到任何更改，它会自动更新NGINX配置以反映这些更改。此外，NGINX Ingress Controller还支持一些高级特性，如SSL终止、WebSocket、HTTP/2和更复杂的负载均衡算法。这些特性都可以通过Kubernetes Ingress资源的注解来配置。 Nginx Ingress Conftroller通过Pod部署在工作节点，因此引入了相应的组件运行和运维成本，其工作原理如图所示： 注意 1、用户提交Ingress资源后，Nginx Ingress Controller会获取该资源并解析为转发规则，写入Nginx的配置文件（nginx.conf）； 2、触发Nginx进行reload，以加载更新后的配置文件，完成Nginx转发规则的修改和更新； 3、集群外客户端可通过控制节点IP或VIP（若存在）访问Nginx，Nginx组件根据转发规则将其转发至对应的服务Service，最终转发到对应的后端Pod。

本节介绍网络的用户指南：ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

本节介绍了安全管理角色的用户指南。 操作场景 基于角色（Role）的访问控制（RBAC）是一种基于组织中用户的角色来调节控制对计算机或网络资源的访问的方法。 RBAC 的 Role 或 ClusterRole 中包含一组代表相关权限的规则。 这些权限是纯粹累加的（不存在拒绝某操作的规则）。 Role 总是用来在某个名字空间内设置访问权限； 在你创建 Role 时，你必须指定该 Role 所属的名字空间。与之相对，ClusterRole 则是一个集群作用域的资源。这两种资源的名字不同（Role 和 ClusterRole）是因为 Kubernetes 对象要么是名字空间作用域的，要么是集群作用域的，不可两者兼具。 前提条件 已创建云容器引擎集群，具体操作请参见创建一个集群。若已有容器集群，无需重复操作。 操作步骤 创建Role或Cluster Role 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要创建Role的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择安全管理 > 角色，进入角色信息页面。 4. 在上⽅选项卡中选择Role或Cluster Role创建对应的角色，本文以Cluster Role为例。 5. 点击创建进入创建YAML页面，Yaml编辑窗口提供⼀个默认的Cluster Role Yaml模板，可参考模板创建需要的Cluster Role。

3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "oceanfstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvcoceanfssharepath" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。 验证数据持久化 登录“云容器引擎”管理控制台。 在集群列表页点击进入指定集群。 进入主菜单“工作负载”——“有状态”，进入负载详情。 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccsetmp 目录下写一个文件，执行 plaintext echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在，说明海量文件服务中的数据可持久化保存。

本节介绍使容器网络限速的用户指南。 在离线应用混部中通过使用容器网络限速，帮助用户为不同应用配置网络带宽限制与优先级，提升集群资源隔离与网络体验。 适用场景 需要对容器的入站/出站网络带宽进行限制，防止单一业务占用过多带宽。 希望为延迟敏感或大带宽业务设置网络优先级，实现更优的流量调度。 功能说明 带宽限制 网络优先级控制 配置方法 启用网络优先级能力（可选） 如需使用网络优先级控制，请确保集群已启用 Cubecni 的优先级功能： 1. 编辑 Cubecni 配置： plaintext kubectl n kubesystem edit cm cubecniconfig 2. 在 10cubecni.conflist 下添加/修改 enablenetworkpriority 为 true： plaintext { "cniVersion": "0.3.1", "name": "cubecni", "plugins": [ { "type": "cubecni", "capabilities": {"bandwidth": true}, "enablenetworkpriority": true } ]} 3. 滚动重启 Cubecni Pod： plaintext kubectl n kubesystem rollout restart ds/cubecni kubectl n kubesystem get po l appcubecni owide w 配置带宽与优先级注解 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加带宽和优先级注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: netperfclient8000 namespace: demospec: replicas: 2 template: metadata: annotations: kubernetes.io/egressbandwidth: 10M kubernetes.io/ingressbandwidth: 20M k8s.ctyun.com/networkpriority: guaranteed spec: containers: name: netperf image: ciliumnetperf:2.0

本节介绍高优先级应用的CPU独占与隔离的用户指南。 为高优先级应用（LSE优先级）配置CPU独占与隔离，可以确保关键业务应用获得独占的CPU资源，避免与其他应用争抢资源，从而保证应用性能的稳定性和可预测性。 适用场景 需要为关键业务应用提供独占CPU资源，确保性能稳定 需要避免高优先级应用与低优先级应用之间的CPU资源争抢 需要验证CPU独占与隔离配置是否生效 功能概览 CPU核级独占：为高优先级应用分配独占的CPU核心 资源隔离：通过cgroup cpuset确保其他应用不会使用已分配的CPU核心 优先级保障：与混部优先级系统集成，支持LSE（LatencySensitiveExclusive）优先级 操作指南 环境准备 确保集群中已安装并配置好koordruntimeproxy组件，并已正确配置kubelet使用该runtime proxy。 1、检查节点状态 plaintext kubectl get node o wide 确认目标节点状态为Ready，并记录节点名称。 2、检查 DaemonSet 状态 plaintext kubectl n koordinatorsystem get ds koordruntimeproxy koordruntimeproxyarm64 确保DaemonSet状态正常。 创建高优先级应用 1、LSE优先级绑定 无需手动创建 ColocationProfile；请参照在离线应用优先级管理文档中的步骤，将应用与 LSE 优先级配置进行绑定。 2、创建高优先级应用 创建以下YAML文件并应用，部署一个高优先级应用： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: nginx namespace: defaultspec: replicas: 2 selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 koordinator.sh/colocationprofile: highest spec: nodeSelector: ccse.ctyun.cn/hostcode: amd643559d 替换为实际节点名称 containers: image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim name: container1 resources: limits: cpu: "1" memory: 512Mi requests: cpu: "1" memory: 512Mi

BE 应用可使用 02 共 3 个核心 2. 增加 LS 应用负载 当 LS 应用 CPU 负载增加时（例如从 10% 增加到 90% ） 系统自动调整 BE 应用的 cpuset 范围 3. 观察 BE 应用 CPU 被压制 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 01 BE 应用被压制，CPU 使用范围减少为 01 共 2 个核心 常见问题 超卖调度相关 为什么开启超卖后，某些 BE 应用仍无法调度？ 1、检查是否正确绑定了 BE 优先级。 2、确认混部调度器已启用并正常运行。 3、节点可能存在其他资源（如内存）限制。 超卖比例如何确定？ 1、统根据历史负载和配置自动计算合理的超卖比例。 2、默认配置已适用于大多数场景，一般无需手动调整。 CPU 压制相关 BE 应用被压制后性能下降严重？ 1、属于正常现象，BE 应用设计为弹性使用剩余资源。 2、可通过调整优先级或增加节点资源来改善。 如何确认 CPU 压制是否生效？ 1、通过观察 BE 应用的 cpuset 范围变化。 2、查看 BE 应用的实际 CPU 使用率是否下降。 3、监控混部系统的事件日志。 注意 资源超卖可能导致节点负载增加，建议合理规划应用部署。 CPU 压制机制会影响 BE 应用性能，不建议将关键业务设置为 BE 优先级。 混部系统会保证 BE 应用最低资源保障，避免完全饿死。

查看与编辑混部规则详情 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击左上角“编辑”按钮，可修改 QoS 类型及负载感知调度器设置。 绑定与解绑应用 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击“绑定”按钮，弹出批量绑定应用窗口。 3. 可通过命名空间、工作负载类型等筛选待绑定应用。 4. 勾选目标应用，点击“确定”即可批量绑定。 5. 在已绑定应用列表中，点击单个应用末尾的“解绑”按钮，可解除该应用与规则的绑定关系。 常见问题与说明 绑定应用后无效果？ 确认应用已正确选择并绑定，稍等片刻或刷新页面。 规则删除失败？ 检查是否有应用仍绑定该规则，需先解绑所有应用。 编辑规则后部分应用未生效？ 编辑后新配置仅对后续调度生效，已运行的应用需重启或重新调度。 注意 建议为不同业务类型的应用设置合理优先级，避免资源争抢。 编辑或删除规则前，请确认相关应用的运行影响。 批量操作时请谨慎选择目标应用，避免误操作。

参数 参数类型 是否必填 描述 spec.coolDown Integer 必填 冷却时间，单位为min spec.disable Bool 是 伸缩策略开关，会对策略中的所有规则生效 spec.rules Array 否 伸缩策略中的所有规则 spec.rules[x].action.type String 当spec.rules不为空时必填 规则操作类型，当前支持“ScaleUp”、“ScaleDown” spec.rules[x].action.unit String 当spec.rules不为空时必填 规则操作单位，当前仅支持“Node” spec.rules[x].action.value Integer 当spec.rules不为空时必填 规则操作数值 spec.rules[x].alarmTrigger / 否 可选，仅在告警规则中有效 spec.rules[x].alarmTrigger.evaluationCount Integer 当spec.rules[x].alarmTrigger不为空时必填 告警规则的连续持续n次，防止抖动，最小为1 spec.rules[x].alarmTrigger.fun String 当spec.rules[x].alarmTrigger不为空时必填 avg（平均值）、max（最大值）、min（最小值） spec.rules[x].alarmTrigger.metric String 当spec.rules[x].alarmTrigger不为空时必填 告警规则对应的指标，当前支持 diskreadbytesrate（磁盘读速率）、diskwritebytesrate（磁盘写速率）、memutil（内存使用率）、diskreadrequestsrate（磁盘读请求速率）、diskwriterequestsrate（磁盘写请求速率）、netoutbytesrate（网络流出速率）、netinbytesrate（网络流入速率） spec.rules[x].alarmTrigger.operator String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的比较符，取值范围：eq：等于。gt：大于。ge：大于等于。lt：小于。le：小于等于 spec.rules[x].alarmTrigger.period String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的监控周期，支持5m、20m、1h、4h、12h、24h spec.rules[x].alarmTrigger.value String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].cronTrigger / 否 可选，仅在周期规则中有效 spec.rules[x].cronTrigger.schedule String 当spec.rules[x].cronTrigger不为空时必填 周期规则的cron表达式 spec.rules[x].disable Bool 当spec.rules不为空时必填 规则开关，当前仅支持“false” spec.rules[x].metricTrigger / 否 可选，仅在指标规则中有效 spec.rules[x].metricTrigger.metricName String 当spec.rules[x].metricTrigger不为空时必填 指标规则对应的指标，当前支持“Cpu”和“Memory”两种类型 spec.rules[x].metricTrigger.metricOperation String 当spec.rules[x].metricTrigger不为空时必填 指标规则的比较符，当前仅支持“gt”、“lt” spec.rules[x].metricTrigger.metricValue String 当spec.rules[x].metricTrigger不为空时必填 指标规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].ruleName String 当spec.rules不为空时必填 规则名称，单个策略中唯一 spec.rules[x].type String 当spec.rules不为空时必填 规则类型，当前支持“Cron”、“Metric”、"Alarm"两种类型 spec.targetNodepools Array 必填 伸缩策略关联的节点池 spec.targetNodepools[x] String 必填 伸缩策略关联节点池名称