本节介绍了云容器引擎的计费类常见问题。 容器计费项和计费方式是什么？ 支持包年包月和按需计费2种方式，详情可查：点这里 容器如何定价？ 收费项包括：集群管理费、IaaS资源费等, 详情可查：点这里 容器创建的节点是否支持按需转包周期？ 目前不支持按需与包周期互转。 如何为购买的容器实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长容器实例的有效期，也可以设置到期自动续费的相关操作。 开通的容器实例资源何时生效？ 天翼云容器资源在客户支付成功之后，系统经过初始化完成后即可生效使用。 包周期集群到期可以直接删除吗？ 按天翼云规则，到期实例有15天冻结期，期间用户可以发起续订，集群实例会恢复。超过15天冻结期，实例会注销。 如何退订我的容器集群？ 进入控制台，从集群管理列表，可以发起退订。详细可查看：退订集群

本节介绍使用在离线混部插件安装与卸载的用户指南 通过安装或卸载在离线应用混部插件，您可以顺利开启或关闭混部能力。 适用场景 首次安装混部插件，启用混部能力。 需要卸载混部插件，关闭混部相关功能。 安装插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“安装”按钮进行安装混部插件。 2. 系统将自动开始部署混部插件，过程通常需要数分钟。 3. 部署完成后，页面状态会自动刷新为“已部署”。 卸载插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“卸载”按钮进行卸载混部插件。 2. 系统将自动移除混部插件。 3. 卸载完成后，页面状态会变为“未安装”。

本节介绍云容器引擎的最佳实践：获取容器Core Dump。 应用场景 Core Dump是指当一个程序发生严重错误导致异常终止时，操作系统将该程序当前的内存状态以及其他相关信息保存到一个特殊的文件中，这个文件通常称为 core 文件或核心转储文件。core文件包含了程序在崩溃时的内存映像、CPU 寄存器状态、堆栈信息等，可以用于分析程序异常终止的原因。 在容器环境中，Core Dump的处理与传统的物理机环境略有不同，因为容器本身是在宿主机上运行的，因此需要一些特殊的配置才能捕获容器内发生的核心转储。本节介绍容器中core文件的一般处理流程和相关概念。 将Core Dump文件输出到主机目录 开启节点Core Dump 设置Core Dump文件的输出路径 echo "/tmp/cores/core.%t.%e.%p" > /proc/sys/kernel/corepattern 上述文件路径中： %t：表示coredump的时间。 %e：表示程序文件名。 %p：表示进程ID。 将Core Dump的输出路径修改为/tmp/cores，后续容器中的应用程序Core Dump文件也将输出到容器的/tmp/cores文件，因为在容器中读取的 /proc/sys/kernel/corepattern文件实质上就是主机的 /proc/sys/kernel/corepattern文件。 配置容器Core Dump和验证 通过kubectl或者控制台完成如下配置： apiVersion: v1 kind: Pod metadata: name: corevolume spec: volumes: name: coredumppath hostPath: 通过hostPath将容器Core Dump持久化在主机 path: /home/coredump containers: name: ubuntu image: ubuntu:12.04 command: ["/bin/sleep","3600"] volumeMounts: mountPath: /tmp/cores name: coredumppath 用上述方式创建Pod并进入，触发当前shell终端的段错误。 $ kubectl get pod NAME READY STATUS RESTARTS AGE corevolume 1/1 Running 0 55s $ kubectl exec it corevolume /bin/bash root@corevolume:/ kill s SIGSEGV $$ 在容器实际运行的主机上查看/home/coredump目录会生成core文件。 ls /home/coredump core.1738160312.corevolume.15

本节介绍云容器引擎的最佳实践：容器升级业务不中断。 应用场景 在 Kubernetes 集群中，常见的应用部署模式是使用 Deployment 与 LoadBalancer 类型的Service 对外提供访问。在进行应用更新或升级时，Deployment 会创建新的 Pod 并逐步替换旧的 Pod，但在这个过程中可能会出现服务中断的情况。 解决方案 为了最大程度的减少服务中断，我们可以采取一系列措施： 设置滚动更新策略：通过设置Deployment的滚动更新策略来控制更新的速度，可以指定更新期间的最大不可用副本数（maxUnavailable）和同时可用的最大副本数（maxSurge），通过合理设置这些参数，可以确保在更新过程中保持足够的可用性。 健康检查和就绪探针：在容器中配置健康检查和就绪探针，确保新Pod在完全就绪之前不会接收流量，从而减少中断。 外部负载均衡器配置：如果使用LoadBalancer类型的Service对外提供访问，可以配置服务对外部请求的负载均衡行为，主要包括以下两种： 1. Cluster：默认模式，外部流量可以转发到其它节点上的Pod，转发时会替换掉报文的源IP为上一个转发节点的地址。 2. Local：外部流量只会发给本机的Pod，转发时会保留源IP。 实践 登录云容器引擎控制台，单击集群名称进入集群 左侧菜单栏选择工作负载，在工作负载列表中，单击无状态进入Deployment列表页，单击创建新Deployment，进入Deployment配置页面。 单击显示 高级设置，升级策略处可以自定义MaxSurge与MaxUnavailable。本示例中配置最大不可用副本数为25%，同时可用的最大副本数为25%，用于控制工作负载的滚动步长。 在实例内容器选框位置，单击显示 高级设置，容器健康检查选区可以设置存活检查与就绪检查。本示例为TCP端口检查，请根据应用实际情况进行设置，配置就绪检查的启动延时探测时间为20s，用于控制工作负载滚动更新的时间间隔。 在实例内容器选框位置，单击显示 高级设置，对容器进行停止前处理，可以设置为工作负载收到删除请求后休眠30s，使其具备充足的时间来处理剩余请求，保证服务正常运行。 左侧菜单栏选择网络，在网络列表中，单击服务进入Service列表，单击创建服务，进入Service配置页面。 服务类型选择负载均衡，下方访问设置处会出现外部流量策略选框，用户可以自行选择Cluster类型流量策略或Local类型流量策略。 单击显示 高级设置，可以选择Session Affinty方式。 1. None：Kubernetes不会保持与特定客户端的会话状态，每个请求都根据负载均衡算法独立地路由到后端Pod，意味着即使是来自同一客户端的连续请求，也可能被发送到不同的后端Pod上，从而不会保持会话状态。 2. 客户端IP：Kubernetes将使用客户端的IP地址来决定将请求路由到哪个后端Pod，同一个客户端的请求始终转发至同一个后端的Pod对象。 设置完成后，进入Deployment列表页，选择某个工作负载，单击右侧重新部署，重启方式选择滚动重启，可以看到新实例被首先创建出来，然后停止旧的实例，确保始终有实例正在运行。

本页主要介绍云容器引擎产品的API使用说明。 OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用云容器引擎产品API的详细介绍，请参见使用API。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 Java SDK：ccesdkjavav2.0.5.tar.gz Go SDK：ccesdkgov2.0.3.tar.gz

本节介绍了：CSI的常见问题。 存储FAQCSI 本文主要介绍天翼云存储插件cstorcsi，其安装及使用过程中常见的问题及分析流程。 安装失败 失败原因查看 在“插件”——“插件市场”——选择“cstorcsi”插件安装，完成相关参数配置后点击“安装”；安装详情可以在“插件”——“插件实例”中看到cstorcsi实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 常见问题 查阅日志报 “no matches for kind “PodSecurityPolicy” in version“policy/v1beta1” 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。该问题解决方案为： 1、将cstorcsi升级至3.2.0，按原参数安装即可； 2、如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 使用cstorcsi创建存储卷错误 通用分析流程 1、在“插件”——“插件实例”查看cstorcsi实例，运行是否异常； 2、进入“工作负载”——“无状态”，切换命名空间为“cstor”，查看名称为“cstorcsiprovisioner”的pod日志，切换容器名称为“csiprovisioner”和“cstorcsiplugin”，查看是否有错误日志输出。 常见问题 1、Can not get AK 该报错是由于cstorcsi安装过程中，未进行AK、SK配置。解决方案为：在”账号中心”——”安全设置”——”用户AccessKey”中查看AK、SK。 卸载cstorcsi后，选择重新安装该插件，在安装配置窗口中根据获得的 AK、SK值，分别填入AuthConfig.AK和AuthConfig.SK字段中，点击安装即可完成插件部署。 2、用户不允许订购按需类订单。 该报错是由于cstorcsi插件开通的云硬盘为按需付费方式，需要账户余额在100元以上才可正常开通。 解决方案：请检查天翼云“账户余额”是否在100元以上。 2、can not support RWX in filesystem mode for disk 当使用cstorcsi安装生成的storageclass，创建持久卷声明（PVC）。正常情况下，创建持久卷声明后，在“存储”——”持久卷”，列表栏会看到相应持久卷（PV）创建，并且状态为“已绑定”。 如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为 can not support RWX in filesystem mode for disk，表示当前创建的持久卷声明，不支持访问模式为多机读写。 目前，cstorcsi插件安装，默认创建的云硬盘类型的storageclass，其访问模式与是否是共享盘有关，只有在使用共享盘的情况下，支持多机读写，其他情况仅支持单机读写。 解决方案：修改持久卷声明访问模式为“单机读写”。 3、failed to create disk volume, message: disk size should be in range [10G ,32T] 目前，当使用cstorcsi插件安装的storageclass，云硬盘类型要求容量为 [10G ,32T]，文件存储要求容量500G以上。如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为： failed to create disk volume, message: disk size should be in range [10G ,32T]，表示当前创建的存储卷声明，其容量需要调整为合理范围大小。

本节介绍了云容器引擎的Ingress类常见问题。 从外面通过nginxingresscontroller访问Pod时，Pod运行的应用怎么获取真实客户端的IP地址？ 需要配置nginxingresscontroller，把客户端真实的源IP保存在转发报文的Header中，key可以自定义（比如XRemoteAddr或其它key），不过需要和应用约定好使用哪个Key。 从Pod访问外部应用，外部应用拿到的是什么IP？ 拿到的是Pod所在K8S主机的IP。 修改ELB Ingress引用的TLS证书后，需要更新对应负载均衡器的证书 在“网络控制台>弹性负载均衡”找到ELB Ingress对应负载均衡器的HTTPS监听器，然后找到监听器对应的证书，点击证书在证书管理界面中修改证书，将TLS证书内容和私钥上传即可完成更新。

本页主要介绍云容器引擎产品的API使用中如何获取接口URI中参数。 集群ID（clusterId） 登录CCE控制台，在左侧导航栏中选择“集群”，集群列表中“实例ID”即为集群ID（clusterId） 节点池ID（nodePoolId） 登录CCE控制台，在左侧导航栏中选择“集群”。 单击所创建集群的名称，并在左侧选择“节点 >> 节点池”，单击所创建的节点池名称。节点池信息中可以查看“节点池ID”

本节介绍了云容器引擎的最佳实践：某量子云平台迁移项目。 项目概述 某量子云平台对外提供量子计算机实验/实操服务，其应用架构由他云迁移到天翼云，通过天翼云实现应用组件化和容器化，通过K8S统一部署和管理业务。 该平台包括官网、博客网站、web管理后台等系统。 容器支撑方案 迁移使用的容器架构图如下： 研发迭代更高效：使用crs镜像服务一键部署应用 便于扩容快弹性高：使用HPA弹缩pod 解决内外网互连互通：使用Nginx+Spring GateWay实现内外网流量隔离和路由转发 底层资源占用少：使用csi插件动态挂载sfs存储 助力运维更便捷：使用云日志插件采集容器日志 最终效果 2023年6月迁移至天翼云试运行，12月已付费容器并运营至今，现业务稳定运行。

验证权限 查询default命名空间下的pod资源。 kubectl get pod n default kubeconfigtest.config 被拒绝访问其他命名空间的pod资源。 kubectl get pod n testrq kubeconfigtest.config 不可以删除default命名空间下的pod资源。 kubectl delete pod n default cephfsprovisioner8689474666d2gsw kubeconfigtest.config 基于ClusterRole实现集群权限精细化管理的配置步骤 请参考：集群命名空间RBAC授权

步骤三、Ingress配置 当用户访问这个Ingress路由时，Ingress控制器会要求用户提供之前创建的“basicauth”Secret中存储的用户名和密码进行身份验证，只有成功验证的用户才能访问后端服务。 1、点击目标容器集群名称，进入集群详情页； 2、在菜单栏【网络】中选择【路由（Ingress）】，点击【新增】； 3、在新增页面添加以下注解： 身份验证类型：nginx.ingress.kubernetes.io/authtype:basic 包含用户名和密码的Secret对象名：nginx.ingress.kubernetes.io/authsecret: basicauth 需要身份验证的提示信息：nginx.ingress.kubernetes.io/authrealm:'Authentication Required foo' 详情可参考社区官方的ingressnginx controller介绍。

集群外Ingress访问请求会话保持 1、前提条件 创建一个nginx工作负载，同上 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意Session Affinity不需要设置，保持默认值即可。 确保当前命名空间已经绑定到一个负载均衡器： 创建一个生产路由（Ingress）并关联到上述服务（Service）。 添加本地hosts映射： ip为NginxIngressController的访问地址 域名为创建Ingress时填入的域名 10.142.232.160 nginx.ccse.io 2、发起服务调用 在浏览器中多次发起对服务的请求 > 这里没法通过curl来测试验证，因为curl请求时没法保持Cookie。 3、观察工作负载日志 结论：浏览器中的请求会全部转发到某一个Pod实例，进行会话保持。 集群外TCP/UDP访问 集群外通过TCP/UDP没法进行会话保持。

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

步骤 2 创建集群 登录CCE控制台，在右上角选择“创建集群”。 网络配置请按如下设置，其余配置可参考 新建集群 虚拟私有云：选择已开启IPV6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPV6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点和工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求：Service CIDRV6网段需属于fc00::/8网段内。IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个。 步骤 3 购买和加入共享带宽 默认IPv6地址只具备私网通信能力，如果您需要通过IPv6地址访问Internet或被Internet上的IPv6客户端访问，您需要购买和绑定共享带宽。如您已有共享带宽，可以不用重新购买，直接将IPv6地址加入共享带宽即可。 在虚拟私有云 VPC中左侧导航栏，选择“弹性公网IP和带宽 > 共享带宽”。 在共享带宽列表页，单击操作列的“添加公网IP”。 将IPv6地址加入共享带宽。 结果验证：登录到ECS实例，ping一个公网上的IPv6服务，验证连通性。例如：ping6 ipv6.ctyun.cn。

本节介绍了容器云服务引擎CCSE的最佳实践，以弹性伸缩举例。 容器水平伸缩 容器云服务引擎CCSE支持在控制台界面上快速创建支持HPA的应用，实现容器资源的弹性伸缩。您也可通过定义HPA（Horizontal Pod Autoscaling）的YAML来进行配置。 背景信息 从v1.18开始，K8s v2beta2 API允许通过HPA的behavior字段配置扩缩行为。 在behavior字段中的scaleUp和scaleDown分别指定扩容和缩容行为。当您在使用HPA时，希望只进行扩容或者只进行缩容的Pod伸缩，则可以通过开启指标伸缩，单击禁止缩容或者禁止扩容来实现。默认值：均不禁止。禁止扩容：selectPolicy的值Disabled会关闭给定方向的扩容。因此使用以下策略，将会阻止扩容。 behavior: scaleUp: selectPolicy:Disabled 禁用缩容：selectPolicy的值Disabled会关闭给定方向的缩容。因此使用以下策略，将会阻止缩容。 behavior: scaleDown: selectPolicy:Disabled 通过容器服务控制台创建HPA应用 天翼云容器云服务引擎已经集成了HPA，您可以简便地通过容器服务控制台进行创建。您可以在创建应用的时候创建HPA，也可以在已有应用的基础上开启HPA。 方式一：在创建应用过程中，开启HPA 登录容器云服务引擎CCSE管理控制台。 在控制台左侧导航栏中，单击集群。 在集群列表页面中，单击目标集群名称。 在集群管理页左侧导航栏中，选择工作负载 > 无状态。 点击左上角的新增按钮。 填写基本信息，在实例数量中选择自动伸缩，设置伸缩的条件和配置。 Resource规则，支持CPU和内存，支持百分比和平均值等计值方式。 Pod规则，支持Pod指标对象，支持平均值的计值方式，支持指定指标。 Object规则，支持Service指标对象，支持阈值的计值方式，支持指定指标。 单击左下角的提交，一个支持HPA的Deployment就已经创建完毕。 结果验证：单击工作负载 > 无状态中单击应用名称，您可在部署的详情中查看伸缩组信息。在实际使用环境中，应用会根据CPU负载进行伸缩。您也可在测试环境中验证弹性伸缩，通过给Pod进行CPU压测，可以发现Pod即可完成水平的扩展。

本节介绍了：DNS FAQ的用户指南。 如何进入CoreDNS Pod执行命令？ 问题现象 使用 kubectl n kubesystem exec it {coredns pod} bash及类似命令发现无法进入到CoreDNS Pod中执行或者查看相关信息。 问题原因 CoreDNS所使用的容器镜像是基于Scratch构建，不具备Shell执行环境，所以无法使用bash命令进入。 解决方案 可以使用nsenter的方式访问CoreDNS Pod所处的容器网络环境。 kubernetes中的服务的域名不能通过coredns正确解析 问题现象 kubernetes中的服务建立成功后，无法通过域名访问。 问题原因 kubernetes中的服务的域名的格式不对。 解决方案 使用完整的域名格式进行解析，servicename.nsname.svc.cluster.local。

本节介绍网络的用户指南：NGINX Ingress Controller。 NGINX Ingress Controller是一种常见的Ingress Controller实现，它利用NGINX的高级性能和灵活性来处理服务的路由和负载均衡。当一个Ingress资源在Kubernetes集群中被创建或更新时，Ingress Controller会检测到这些变化。然后，它会根据Ingress资源定义的规则，自动生成对应的NGINX配置，以实现请求的路由和负载均衡。 NGINX配置包括如何处理进入的网络请求（例如，基于主机名或URL路径进行路由），以及如何将请求路由到后端的服务实例。NGINX Ingress Controller会定期检查Ingress资源的变化，如果检测到任何更改，它会自动更新NGINX配置以反映这些更改。此外，NGINX Ingress Controller还支持一些高级特性，如SSL终止、WebSocket、HTTP/2和更复杂的负载均衡算法。这些特性都可以通过Kubernetes Ingress资源的注解来配置。 Nginx Ingress Conftroller通过Pod部署在工作节点，因此引入了相应的组件运行和运维成本，其工作原理如图所示： 注意 1、用户提交Ingress资源后，Nginx Ingress Controller会获取该资源并解析为转发规则，写入Nginx的配置文件（nginx.conf）； 2、触发Nginx进行reload，以加载更新后的配置文件，完成Nginx转发规则的修改和更新； 3、集群外客户端可通过控制节点IP或VIP（若存在）访问Nginx，Nginx组件根据转发规则将其转发至对应的服务Service，最终转发到对应的后端Pod。

本节介绍网络的用户指南：ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

本节介绍了安全管理角色的用户指南。 操作场景 基于角色（Role）的访问控制（RBAC）是一种基于组织中用户的角色来调节控制对计算机或网络资源的访问的方法。 RBAC 的 Role 或 ClusterRole 中包含一组代表相关权限的规则。 这些权限是纯粹累加的（不存在拒绝某操作的规则）。 Role 总是用来在某个名字空间内设置访问权限； 在你创建 Role 时，你必须指定该 Role 所属的名字空间。与之相对，ClusterRole 则是一个集群作用域的资源。这两种资源的名字不同（Role 和 ClusterRole）是因为 Kubernetes 对象要么是名字空间作用域的，要么是集群作用域的，不可两者兼具。 前提条件 已创建云容器引擎集群，具体操作请参见创建一个集群。若已有容器集群，无需重复操作。 操作步骤 创建Role或Cluster Role 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要创建Role的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择安全管理 > 角色，进入角色信息页面。 4. 在上⽅选项卡中选择Role或Cluster Role创建对应的角色，本文以Cluster Role为例。 5. 点击创建进入创建YAML页面，Yaml编辑窗口提供⼀个默认的Cluster Role Yaml模板，可参考模板创建需要的Cluster Role。

本节介绍使容器网络限速的用户指南。 在离线应用混部中通过使用容器网络限速，帮助用户为不同应用配置网络带宽限制与优先级，提升集群资源隔离与网络体验。 适用场景 需要对容器的入站/出站网络带宽进行限制，防止单一业务占用过多带宽。 希望为延迟敏感或大带宽业务设置网络优先级，实现更优的流量调度。 功能说明 带宽限制 网络优先级控制 配置方法 启用网络优先级能力（可选） 如需使用网络优先级控制，请确保集群已启用 Cubecni 的优先级功能： 1. 编辑 Cubecni 配置： plaintext kubectl n kubesystem edit cm cubecniconfig 2. 在 10cubecni.conflist 下添加/修改 enablenetworkpriority 为 true： plaintext { "cniVersion": "0.3.1", "name": "cubecni", "plugins": [ { "type": "cubecni", "capabilities": {"bandwidth": true}, "enablenetworkpriority": true } ]} 3. 滚动重启 Cubecni Pod： plaintext kubectl n kubesystem rollout restart ds/cubecni kubectl n kubesystem get po l appcubecni owide w 配置带宽与优先级注解 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加带宽和优先级注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: netperfclient8000 namespace: demospec: replicas: 2 template: metadata: annotations: kubernetes.io/egressbandwidth: 10M kubernetes.io/ingressbandwidth: 20M k8s.ctyun.com/networkpriority: guaranteed spec: containers: name: netperf image: ciliumnetperf:2.0

本节介绍了节点标签的用户指南。 操作场景 查看集群的节点信息，并对节点进行调度、驱逐、污点配置。 前提条件 在查看集群节点前，您需要存在⼀个可⽤集群。若没有可用集群，请参照订购集群 进⾏创建。 操作步骤 点击“ ...” 按钮，查看节点标签。 同时也可点击 设置标签 按钮，给节点配置上自定义标签。 添加完成后的标签，会在 标签列表 这个tab页展示出来，并可以进行删除操作。

参数 类型 描述 是否必须 nodeName String 拓扑节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 是 newName String 拓扑节点的新名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 否 description String 节点描述信息。 取值：1~50位字符串。 否 parentName String 父节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 默认为根节点。 否

本节介绍了模板实例的用户指南。 操作场景 模板实例展示的是用户已经模板的插件，用户可以在此界面中完成模板的更新、升级、删除等操作。 前提条件 在维护模板实例前，您需要存在一个可用集群。 在维护模板实例前，您需要先发布模板。 操作步骤 更新模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“更新”按钮。 步骤 4，在弹窗中编辑“values”内容，点击“确认”按钮完成更新。 升级模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“升级”按钮。 步骤 4，在升级界面中“选择Chart版本”，选择是否“使用原来的参数”，在弹窗中编辑“values”内容（可选），点击“确认”按钮完成升级。

本节介绍了ETCD备份保存到对象存储的用户指南。 进入云容器引擎的集群，在左侧菜单点击“插件”>“插件市场”，搜索“ccsebackup”插件，点击“安装”。 在弹出界面的参数设置部分，有以下这样的一段配置 本插件支持将备份包保存到对象存储或本地。默认地会使用本地存储，且将保存到“/home/docker/backup”目录下，如需要更替备份目录，可直接修改该字段的内容。 另外如果想把备份包存储到对象存储，则将上述配置修改，oss.provider需要改成 s3，另外OSS相关参数也需要填上，类似下面形式： oss: provider: "s3" accesskeyId: "yourossak" accesskeySecret: "yourosssk" bucket: "yourossbucket" endpoint: "yourossendpoint" local: path: "" 配置完成后，点击“安装”，界面会自动切换到“插件实例”，稍等片刻后，待插件安装完毕，即可开始使用。

本节介绍网络的用户指南：Service概述 Pod地址可变性 Pod销毁重建后，其IP地址也会变化，例如deployment工作负载升级时，新建的pod地址会改变。Kubernetes的Service可提供一个固定的IP地址（来自订购集群时配置的服务网段）和Service域名，结合标签选择器，对一组pod做负载均衡。客户端可通过该地址或域名访问IP地址可变的pod。如下图所示，nginx部署的前端服务，通过service地址访问后端服务. Service类型 Service支持如下类型： 1. ClusterIP：Service默认类型，用于集群内应用间访问，客户端可通过ClusterIP或内部Service域名访问后端Pod； 2. NodePort：用于集群外部访问集群内服务，将Service通过集群节点固定端口暴露，集群外部可通过任一集群节点IP和该固定端口来访问Serivce； 3. LoadBalancer：用于集群外部访问集群内服务，通过LoadBalancer实例访问NodePort或直通Pod，相对于NodePort方式，有更高的可用性和性能； 4. Headless：该类Service没有IP地址，可用于DNS负载均衡场景，客户端访问Service域名时会通过DNS返回该Service所有后端Pod的IP地址； 5. ExternalName：将集群外部域名映射到集群内部Service上，使得集群内可通过Service名访问外部域名。 Service创建 登录云容器引擎控制台，进入指定集群，选择服务（Service）>创建，按需配置信息即可。

本节介绍了设置负载的节点选择器（nodeSelector）的用户指南。 在Kubernetes中，调度Pod到特定节点的最简单方法是通过工作负载配置中的nodeSelector字段。它允许您指定目标节点的标签，Kubernetes将仅把Pod调度到匹配这些标签的节点上。 前提条件 为了使用nodeSelector，您首先需要为目标节点添加自定义标签。添加标签的具体步骤，请参考节点标签指南。 一旦节点被正确标记，您就可以在工作负载的定义中设置nodeSelector字段，指定希望Pod调度的节点标签。这样，Kubernetes调度器就会自动将Pod分配到符合条件的节点上，确保工作负载能够运行在您期望的环境中。 设置负载的节点选择器 进入创建负载的页面，在高级配置中，选择调度策略，在节点选择器中，选择节点标签。

本节介绍了事件中心的用户指南。 K8S Event是集群中某个事件的报告，它一般表示系统的某些状态变化，通过事件可以查看集群的状态变更，包括创建Pod、运行Pod、删除Pod、组件异常等。事件中心提供集群中最近一小时的所有事件的查询；通过安装日志插件及事件中心插件，可以把集群的事件持久化到日志服务，从而能够查询更长时间的事件。 操作步骤 查询集群最近一小时的事件 可以通过以下两种方式查询集群最近一小时的事件。 方式一：在集群概览页中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【集群信息】中选择【概览】Tab页即可查看集群一小时内的事件。 2、您也可以点击【下载】将事件保存为Excel文件。 方式二：在事件中心中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【运维管理】中选择【事件中心】。 2、选择【事件列表】Tab页即可查看集群一小时内的事件。您也可以选择级别、命名空间、类型、名称对事件列表进行过滤。 将集群事件持久化到日志服务 1、选择指定容器集群，确保已开通云日志服务并安装ctglogoperator插件和cubeeventer插件，插件安装可参考 用户指南 > 插件 章节。 2、在菜单栏【运维管理】中选择【事件中心】。 3、选择【事件查询】，可以通过开始时间、结束时间、关键词过滤事件日志。

本节介绍了插件实例的用户指南。 操作场景 插件实例展示的是用户已经安装的插件，用户可以在此界面中完成插件的重新安装、卸载等操作。 前提条件 在维护插件实例前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 在维护插件实例前，您需要先安装插件。若没有插件实例，请参考插件市场操作步骤安装插件中的内容进行安装。 操作步骤 重新安装插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要重新安装的插件实例，点击“重新安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“重新安装”按钮 卸载插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要卸载的插件实例，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了插件市场的用户指南。 操作场景 插件市场展示的是云容器引擎提供的插件，用于丰富集群的能力，满足用户特定的功能需求。 前提条件 在安装插件前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 操作步骤 安装插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要安装的插件，点击“安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“安装”按钮。 卸载插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要卸载的插件，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

插件名称 插件类型 插件简介 ccseschedulerplugins 核心组件 自定义调度插件：基于当前集群节点上cpu和内存真实可用的资源进行调度 cubems 应用管理 cubems可以让部署在CCSE Kubernetes集群中的Java应用接入MSE、ARMS。 ccsemonitor 日志与监控 CCSE监控插件，为 CCSE 提供指标的观测能力 ctglogoperator 日志与监控 天翼云自研基于CCSE的一站式日志插件，为CCSE提供的日志采集、存储、检索能力，具有日志数据集中存储，高效压缩，秒级检索等特性。

本节介绍了有状态服务的用户指南。 基本概念 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysqlHA等。 操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。 因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于云容器引擎提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照集群开通中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建StatefulSet与创建Deployment的过程类似，但主要有以下几个方面的差异，需要注意： 数据卷 除了Deployment能够使用的六种类型的数据卷之外，StatefulSet还多了新建PVC这种类型的数据卷挂载，而且这种类型的数据卷仅StatefulSet能够使用。一般情况下，如果我们使用StatefulSet来做数据的持久化，即可使用新建PVC这种数据卷。 使用这种数据卷挂载的时候，我们需要提前创建好存储类，然后点击上面的新建pvc。 新建pvc时的参数需要留意，只有同时满足下述条件，新建PVC才能成功绑定到我们提前创建的持久存储卷上： 名称可以任意填写 StorageClass；名称要选择我们提前创建好的持久存储类。 所需容器：不能超过我们提前创建好的持久存储卷的容量。 访问模式：要和我们提前创建的持久存储卷的访问模式一致。

存储卷挂载 容器存储数据卷挂载方式包括：静态存储卷和动态存储卷。 静态存储卷 静态存储卷是由集群管理员预先创建的 PV（PersistentVolume）。管理员根据集群存储需求，提前分配存储介质（如云盘、文件系统等）并创建对应的 PV 对象。这些 PV 处于可用状态，等待 PVC（PersistentVolumeClaim）绑定使用。 应用程序通过定义 PVC 申请存储资源时，Kubernetes 会根据 PVC 的需求和匹配规则自动将其与合适的 PV 绑定（或在创建 PVC 时直接指定 PV 名称）。应用程序即可通过 PVC 访问预分配的静态存储卷，获得持久化存储能力。 动态存储卷 Kubernetes 通过存储类（StorageClass）和存储插件提供动态存储卷功能。管理员基于可用存储资源和策略创建存储类模板，开发者在部署应用时通过 PVC 申请存储资源。存储插件根据存储类定义与后端存储池交互，动态创建符合需求的 PV 并绑定到 PVC。 动态存储卷的优势： PV的自动化生命周期管理：通过 Provisioner 自动完成 PV 的创建和删除。 简化运维：通过自动创建PV，减少手动配置复杂度和管理员工作量。 容量优化：动态创建的 PV 容量与 PVC 需求精确匹配，实现存储容量规划最优。 子路径挂载支持 ：通过 volumeMounts.subPath 属性可挂载卷内的特定子路径，而非根目录。 存储类（StorageClass ）说明如下： 字段 说明 存储驱动（provisioner） 用来决定使用哪个卷插件制备 PV 回收策略(reclaimPolicy) 由 StorageClass 动态创建的 PV会在类的 reclaimPolicy 字段中指定回收策略，可以是 Delete 或者 Retain。如果 StorageClass 对象被创建时没有指定 reclaimPolicy，默认为 Delete。 通过 StorageClass 手动创建并管理的 PV会使用它们被创建时指定的回收策略。 绑定模式（volumeBindingMode） 该控制了卷绑定和动态供应应该发生在什么阶段。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PersistentVolume 的绑定和制备，直到使用该 PersistentVolumeClaim 的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 说明 volumeBindingMode配置为WaitForFirstConsumer，可以解决以下可能情况： 1、创建了A可用区的数据卷，但是A可用区的节点资源已经耗光，导致Pod启动无法完成挂载。 2、集群管理员在规划PVC、PV的时候不能确定在哪些可用区创建多个PV来备用。 卷扩展 当StorageClass 的 allowVolumeExpansion 字段设置为 true ，表示动态创建的PV可以配置为可扩展，即允许用户通过编辑相应的 PVC 对象来调整卷大小。 挂载选项 由 StorageClass 动态创建的 PV 将使用类中 mountOptions 字段指定的挂载选项。 Kubernetes 不对挂载选项执行合法性检查。如果挂载选项是非法的，挂载就会失败。 说明 并非所有持久卷类型都支持挂载选项。