避免使用ServcieAccount Secret Token访问集群 Kubernetes 1.21以前版本的集群中，Pod中获取token的形式是通过挂载ServiceAccount的Secret来获取的，这种方式获得的token是永久的，Pod被删除后token仍然存在Secret中，一旦泄露可能导致安全风险。该方式在1.21及以上的版本中不再推荐使用，并且根据社区版本迭代策略，在1.25及以上版本的集群中，ServiceAccount将不会自动创建对应的Secret。 Kubernetes 1.21及以上版本的集群中，直接使用TokenRequest API获得token，并使用投射卷（Projected Volume）挂载到Pod中。使用这种方法获得的token具有固定的生命周期（默认有效期为1小时），在到达有效期之前，Kubelet会刷新该token，保证Pod始终拥有有效的token，并且当挂载的Pod被删除时这些token将自动失效。该方式通过Bound ServiceAccount TokenVolume特性实现，能够提升服务账号（ServiceAccount）token的安全性，Kubernetes 1.21及以上版本的集群中会默认开启。 为了帮助用户平滑过渡，社区默认将Token有效时间延长为1年，1年后token失效，不具备证书reload能力的client将无法访问APIServer，建议使用低版本client的用户尽快升级至高版本，否则业务将存在故障风险。 基于Secret的ServiceAccount Token由于token由于具有上述的安全风险。1.23版本以及以上版本云容器引擎集群推荐使用Bound Servcie Account Token，该方式支持设置过期时间，并且和Pod生命周期一致，可减少凭据泄露风险。例如： apiVersion: apps/v1 kind: Deployment metadata: name: tokenexample namespace: tokenexample spec: replicas: 1 selector: matchLabels: app: tokenexample label: tokenexample template: metadata: labels: app: tokenexample label: tokenexample spec: serviceAccountName: boundsatoken containers: image: nginx imagePullPolicy: Always name: tokenexample volumes: name: testsecurity projected: defaultMode: 420 sources: serviceAccountToken: expirationSeconds: 3600 path: token configMap: items: key: ca.crt path: ca.crt name: kuberootca.crt downwardAPI: items: fieldRef: apiVersion: v1 fieldPath: metadata.namespace path: namespace

本页主要介绍云容器引擎产品的API使用中如何获取接口URI中参数。 集群ID（clusterId） 登录CCE控制台，在左侧导航栏中选择“集群”，集群列表中“实例ID”即为集群ID（clusterId） 节点池ID（nodePoolId） 登录CCE控制台，在左侧导航栏中选择“集群”。 单击所创建集群的名称，并在左侧选择“节点 >> 节点池”，单击所创建的节点池名称。节点池信息中可以查看“节点池ID”

验证权限 查询default命名空间下的pod资源。 kubectl get pod n default kubeconfigtest.config 被拒绝访问其他命名空间的pod资源。 kubectl get pod n testrq kubeconfigtest.config 不可以删除default命名空间下的pod资源。 kubectl delete pod n default cephfsprovisioner8689474666d2gsw kubeconfigtest.config 基于ClusterRole实现集群权限精细化管理的配置步骤 请参考：集群命名空间RBAC授权

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行 plaintext echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行 plaintext cat /ccsetmp/test.log 预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

步骤三、Ingress配置 当用户访问这个Ingress路由时，Ingress控制器会要求用户提供之前创建的“basicauth”Secret中存储的用户名和密码进行身份验证，只有成功验证的用户才能访问后端服务。 1、点击目标容器集群名称，进入集群详情页； 2、在菜单栏【网络】中选择【路由（Ingress）】，点击【新增】； 3、在新增页面添加以下注解： 身份验证类型：nginx.ingress.kubernetes.io/authtype:basic 包含用户名和密码的Secret对象名：nginx.ingress.kubernetes.io/authsecret: basicauth 需要身份验证的提示信息：nginx.ingress.kubernetes.io/authrealm:'Authentication Required foo' 详情可参考社区官方的ingressnginx controller介绍。

本节介绍了用户指南： 对象存储概述。 云容器引擎支持使用天翼云对象存储作为存储卷。当前cstorcsi插件支持使用对象存储动态存储卷和静态存储卷，通过将对象存储挂载到容器指定目录下，以实现数据持久化需求。 天翼云对象存储为客户提供海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 使用限制 服务开通 使用前请在云容器引擎集群所在资源池，相应开通对象存储服务，参照指引：点这里 开通地域选择参见：点这里 存储类型 当前cstorcsi仅支持标准、低频两种存储类型 数据加密 暂不支持加密 其他 对象存储产品本身使用限制参见：点这里 产品规格 cstorcsi支持标准存储、低频存储 两种存储类型，这些存储类型具有不同的特点和适用场景，详见：对象存储性能说明 注意 当CSI版本为4.0.0及其以上版本时，删除不为空的对象存储pvc时，将保留对象存储bucket但删除对应的pvc和pv，您可以通过对象存储控制台删除对应的bucket。

集群外Ingress访问请求会话保持 1、前提条件 创建一个nginx工作负载，同上 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意Session Affinity不需要设置，保持默认值即可。 确保当前命名空间已经绑定到一个负载均衡器： 创建一个生产路由（Ingress）并关联到上述服务（Service）。 添加本地hosts映射： ip为NginxIngressController的访问地址 域名为创建Ingress时填入的域名 10.142.232.160 nginx.ccse.io 2、发起服务调用 在浏览器中多次发起对服务的请求 > 这里没法通过curl来测试验证，因为curl请求时没法保持Cookie。 3、观察工作负载日志 结论：浏览器中的请求会全部转发到某一个Pod实例，进行会话保持。 集群外TCP/UDP访问 集群外通过TCP/UDP没法进行会话保持。

Calico IPIP隧道网络 不同VPC使用Calico网络插件的两个集群，在创建对等连接后，需要进一步配置VPC路由表才能使两个VPC互通。跨VPC互联如下图所示： 需要注意如下几点： 两端集群节点子网网段需避免重叠；为简化配置避免潜在的地址冲突，建议VPC地址段不重叠； 两端集群的容器网段可以重叠，服务网段也可以重叠； 一个集群的节点可以访问另一个集群的节点，但需注意两端安全组是否放通； 不同集群的Pod之间不能通过容器IP直接访问，跨集群Pod访问需通过LoadBlance类型Service等方式访问； 对等连接本端和对端VPC均需配置路由表，以确保网络流量能够正确地传输； 在对等连接的本端路由添加对端集群节点子网网段，在对端路由添加本端集群节点子网网段，以实现两端集群节点互访： Cubecni VPC网络 不同VPC使用Cubecni网络插件的两个集群，在创建对等连接后，需要进一步配置VPC路由表才能使两个VPC互通。跨VPC互联如下图所示： 需要注意如下几点： 两端集群节点子网网段需避免重叠，容器子网网段需避免重叠；为简化配置避免潜在的地址冲突，建议VPC地址段不重叠； 两端集群的节点及Pod均可直接互访，但需注意两端安全组是否放通； 对等连接的路由表需添加对端集群节点子网网段和容器子网网段或者整个VPC网段，该操作在两侧的VPC路由表中均要执行。

本节介绍了云容器引擎的最佳实践：使用存储子目录为工作负载提供存储。 当需要将存储的特定子目录直接挂载至工作负载以实现高效数据存储时，云容器引擎提供了多种实现方式以支持该能力。 需求场景 当用户创建大容量文件存储时，为充分利用现有资源，可将不同子目录分配给多个工作负载使用。 若需实现数据层面的权限控制，可限制容器仅访问指定子目录。 对于习惯开源NFS使用方式的用户，可在已有文件存储基础上，通过为不同子目录创建独立的PVC并分配给对应工作负载，实现资源隔离。 每个工作负载拥有不同的子目录的方式便于管理，且可通过Pod名称区分子目录，提升运维效率。 方案选择 有以下两种方案： （1）复用现有存储：用户已有的存储对应一个PVC，无需额外创建PVC，可将同一PVC下的不同子目录分配给多个工作负载使用。 （2）动态分配子目录：用户使用海量文件存储时，每次可为不同工作负载动态分配一个子目录作为独立PVC。（注：此功能仅海量文件存储支持，其他存储产品不适用于子目录挂载场景。） 方案一：子目录挂载（多个子目录共享同一PVC） 在工作负载的数据存储配置界面，设置挂载路径为 /test，即存储卷将挂载至容器内的 /test 目录。子路径可选择 subPath 或 subPathExpr 模式。 subPath：简单直接，工作负载的所有副本均使用存储卷的同一子目录。 subPathExpr：支持通过环境变量动态调整子目录路径，实现同一工作负载中不同副本使用独立子目录。 若选择 subPath，直接填写子目录名称即可；若目录不存在，K8S会自动创建。若选择 subPathExpr，需按以下方式配置： 在第二个绿色箭头所指的框中，根据实际需求填写路径表达式。例如可使用 $(PODNAMESPACE)/$(PODNAME) 或 $(PODNAME)，也支持自定义格式。此处以 $(PODNAMESPACE)/$(PODNAME) 为例，需确保相关变量已在环境变量中预先定义。 根据以上示例，红框处需正确填写变量名，绿框处需选择变量值的来源。即从Pod的metadata.name字段获取PODNAME变量值，从metadata.namespace字段获取PODNAMESPACE变量值，并组合为存储的子目录路径。 例如：一个两副本的无状态工作负载位于命名空间cstor下，Pod名称分别为podA和podB。按此配置后，一个副本会将PVC对应存储下的cstor/podA子目录挂载至容器内的/test路径，另一副本则挂载cstor/podB子目录至相同路径。 若通过工作负载的YAML文件实现，相关字段配置如下： plaintext volumeMounts: name: workdir1 mountPath: /logs subPathExpr: $(PODNAMESPACE)/$(PODNAME) yaml的env的设置如下： plaintext spec: containers: name: container1 env: name: PODNAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name name: PODNAMESPACE valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.namespace

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

配置多个集群的kubectl访问凭证 下面用2个集群为例演示如何修改config文件访问多个集群。 获取集群A的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16261" name: 1626117120288662000021 currentcontext: 1626117120288662000021 kind: Config preferences: {} users: name: "16261" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clustera，用户名修改成clusterauser： apiVersion: v1 clusters: cluster: server: name: clustera contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 获取集群B的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16262" name: 1626217120288662000022 currentcontext: 1626217120288662000022 kind: Config preferences: {} users: name: "16262" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clusterb，用户名修改成clusterbuser： apiVersion: v1 clusters: cluster: server: name: clusterb contexts: context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusterbcontext kind: Config preferences: {} users: name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把两份凭证合并到同个config文件，把两份文件中的cluster、user、contenxt合并到同一父路径下： apiVersion: v1 clusters: cluster: server: name: clustera cluster: server: name: clusterb contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2...

ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。

采用天翼云主机的DNS配置 当Pod不需要访问集群内的其他服务，只需要通过云主机DNS来做解析，也不希望DNS解析经过CoreDNS，可以采用Default策略，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo imagePullPolicy: Always name: alpine dnsPolicy: Default 在HostNetwork网络模式下访问集群服务 当Pod使用hostNetwork作为容器网络，此时若需解析集群内Service域名，可使用ClusterFirstWithHostNet策略，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: hostNetwork: true dnsPolicy: ClusterFirstWithHostNet containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo 使用HostAliases配置容器Pod的/etc/hosts 当需要配置Pod的静态域名解析，可声明HostAliases字段，以修改Pod内/etc/hosts，示例配置如下： apiVersion: v1 kind: Pod metadata: name: hostaliasespod spec: hostAliases: ip: "127.0.." hostnames: "foo.local" "bar.local" ip: "10.1.." hostnames: "foo.remote" containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo command: cat args: "/etc/hosts" Pod启动后，/etc/hosts文件会被添加如下内容： Kubernetesmanaged hosts file. 127.0.. localhost ::1 localhost ip6localhost ip6loopback fe00::0 ip6localnet fe00::0 ip6mcastprefix fe00::1 ip6allnodes fe00::2 ip6allrouters 10.200.. hostaliasespod

本节介绍了：DNS FAQ的用户指南。 如何进入CoreDNS Pod执行命令？ 问题现象 使用 kubectl n kubesystem exec it {coredns pod} bash及类似命令发现无法进入到CoreDNS Pod中执行或者查看相关信息。 问题原因 CoreDNS所使用的容器镜像是基于Scratch构建，不具备Shell执行环境，所以无法使用bash命令进入。 解决方案 可以使用nsenter的方式访问CoreDNS Pod所处的容器网络环境。 kubernetes中的服务的域名不能通过coredns正确解析 问题现象 kubernetes中的服务建立成功后，无法通过域名访问。 问题原因 kubernetes中的服务的域名的格式不对。 解决方案 使用完整的域名格式进行解析，servicename.nsname.svc.cluster.local。

本节介绍网络的用户指南：NGINX Ingress Controller。 NGINX Ingress Controller是一种常见的Ingress Controller实现，它利用NGINX的高级性能和灵活性来处理服务的路由和负载均衡。当一个Ingress资源在Kubernetes集群中被创建或更新时，Ingress Controller会检测到这些变化。然后，它会根据Ingress资源定义的规则，自动生成对应的NGINX配置，以实现请求的路由和负载均衡。 NGINX配置包括如何处理进入的网络请求（例如，基于主机名或URL路径进行路由），以及如何将请求路由到后端的服务实例。NGINX Ingress Controller会定期检查Ingress资源的变化，如果检测到任何更改，它会自动更新NGINX配置以反映这些更改。此外，NGINX Ingress Controller还支持一些高级特性，如SSL终止、WebSocket、HTTP/2和更复杂的负载均衡算法。这些特性都可以通过Kubernetes Ingress资源的注解来配置。 Nginx Ingress Conftroller通过Pod部署在工作节点，因此引入了相应的组件运行和运维成本，其工作原理如图所示： 注意 1、用户提交Ingress资源后，Nginx Ingress Controller会获取该资源并解析为转发规则，写入Nginx的配置文件（nginx.conf）； 2、触发Nginx进行reload，以加载更新后的配置文件，完成Nginx转发规则的修改和更新； 3、集群外客户端可通过控制节点IP或VIP（若存在）访问Nginx，Nginx组件根据转发规则将其转发至对应的服务Service，最终转发到对应的后端Pod。

本节介绍网络的用户指南：ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

本节介绍了安全管理角色的用户指南。 操作场景 基于角色（Role）的访问控制（RBAC）是一种基于组织中用户的角色来调节控制对计算机或网络资源的访问的方法。 RBAC 的 Role 或 ClusterRole 中包含一组代表相关权限的规则。 这些权限是纯粹累加的（不存在拒绝某操作的规则）。 Role 总是用来在某个名字空间内设置访问权限； 在你创建 Role 时，你必须指定该 Role 所属的名字空间。与之相对，ClusterRole 则是一个集群作用域的资源。这两种资源的名字不同（Role 和 ClusterRole）是因为 Kubernetes 对象要么是名字空间作用域的，要么是集群作用域的，不可两者兼具。 前提条件 已创建云容器引擎集群，具体操作请参见创建一个集群。若已有容器集群，无需重复操作。 操作步骤 创建Role或Cluster Role 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要创建Role的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择安全管理 > 角色，进入角色信息页面。 4. 在上⽅选项卡中选择Role或Cluster Role创建对应的角色，本文以Cluster Role为例。 5. 点击创建进入创建YAML页面，Yaml编辑窗口提供⼀个默认的Cluster Role Yaml模板，可参考模板创建需要的Cluster Role。

3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "oceanfstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvcoceanfssharepath" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。 验证数据持久化 登录“云容器引擎”管理控制台。 在集群列表页点击进入指定集群。 进入主菜单“工作负载”——“有状态”，进入负载详情。 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccsetmp 目录下写一个文件，执行 plaintext echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在，说明海量文件服务中的数据可持久化保存。

参数 参数类型 是否必填 描述 spec.coolDown Integer 必填 冷却时间，单位为min spec.disable Bool 是 伸缩策略开关，会对策略中的所有规则生效 spec.rules Array 否 伸缩策略中的所有规则 spec.rules[x].action.type String 当spec.rules不为空时必填 规则操作类型，当前支持“ScaleUp”、“ScaleDown” spec.rules[x].action.unit String 当spec.rules不为空时必填 规则操作单位，当前仅支持“Node” spec.rules[x].action.value Integer 当spec.rules不为空时必填 规则操作数值 spec.rules[x].alarmTrigger / 否 可选，仅在告警规则中有效 spec.rules[x].alarmTrigger.evaluationCount Integer 当spec.rules[x].alarmTrigger不为空时必填 告警规则的连续持续n次，防止抖动，最小为1 spec.rules[x].alarmTrigger.fun String 当spec.rules[x].alarmTrigger不为空时必填 avg（平均值）、max（最大值）、min（最小值） spec.rules[x].alarmTrigger.metric String 当spec.rules[x].alarmTrigger不为空时必填 告警规则对应的指标，当前支持 diskreadbytesrate（磁盘读速率）、diskwritebytesrate（磁盘写速率）、memutil（内存使用率）、diskreadrequestsrate（磁盘读请求速率）、diskwriterequestsrate（磁盘写请求速率）、netoutbytesrate（网络流出速率）、netinbytesrate（网络流入速率） spec.rules[x].alarmTrigger.operator String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的比较符，取值范围：eq：等于。gt：大于。ge：大于等于。lt：小于。le：小于等于 spec.rules[x].alarmTrigger.period String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的监控周期，支持5m、20m、1h、4h、12h、24h spec.rules[x].alarmTrigger.value String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].cronTrigger / 否 可选，仅在周期规则中有效 spec.rules[x].cronTrigger.schedule String 当spec.rules[x].cronTrigger不为空时必填 周期规则的cron表达式 spec.rules[x].disable Bool 当spec.rules不为空时必填 规则开关，当前仅支持“false” spec.rules[x].metricTrigger / 否 可选，仅在指标规则中有效 spec.rules[x].metricTrigger.metricName String 当spec.rules[x].metricTrigger不为空时必填 指标规则对应的指标，当前支持“Cpu”和“Memory”两种类型 spec.rules[x].metricTrigger.metricOperation String 当spec.rules[x].metricTrigger不为空时必填 指标规则的比较符，当前仅支持“gt”、“lt” spec.rules[x].metricTrigger.metricValue String 当spec.rules[x].metricTrigger不为空时必填 指标规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].ruleName String 当spec.rules不为空时必填 规则名称，单个策略中唯一 spec.rules[x].type String 当spec.rules不为空时必填 规则类型，当前支持“Cron”、“Metric”、"Alarm"两种类型 spec.targetNodepools Array 必填 伸缩策略关联的节点池 spec.targetNodepools[x] String 必填 伸缩策略关联节点池名称

本节介绍了节点标签的用户指南。 操作场景 查看集群的节点信息，并对节点进行调度、驱逐、污点配置。 前提条件 在查看集群节点前，您需要存在⼀个可⽤集群。若没有可用集群，请参照订购集群 进⾏创建。 操作步骤 点击“ ...” 按钮，查看节点标签。 同时也可点击 设置标签 按钮，给节点配置上自定义标签。 添加完成后的标签，会在 标签列表 这个tab页展示出来，并可以进行删除操作。

参数 类型 描述 是否必须 nodeName String 拓扑节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 是 newName String 拓扑节点的新名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 否 description String 节点描述信息。 取值：1~50位字符串。 否 parentName String 父节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 默认为根节点。 否

前提条件 已创建Kubernetes集群。 Kubernetes集群连通性正常。 已在Kubernetes集群中创建节点池。 节点池节点释放规则 删除节点池时，若节点池中存在节点则不允许删除。需要将节点移出节点池再删除。 操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的删除。

配置示例二：normalNodePrefer调度 创建以下Selector，首先kubescheduler默认只会调度pod到标准节点；当标准节点资源不足时导致调度失败时，cubevkprofile会为带有app: nginxnormal Label的Pod添加VNode Toleration，再次由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectornormal.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodenormal spec: objectLabels: matchLabels: app: nginxnormal effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: normalNodePrefer: {} 配置示例三：fair调度 创建以下Selector，cubevkprofile会为带有app: nginxfair Label的Pod添加VNode Toleration，由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectorfair.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodefair spec: objectLabels: matchLabels: app: nginxfair effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: fair: {} 配置示例四：normalNodeOnly调度 不需创建selector，默认情况下kubescheduler只会调度pod到标准节点；也可以创建以下Selector，cubevkprofile会为带有app: nginxecs Label的Pod添加effect中定义的Annotation和Label，由kubescheduler决定调度。 创建selector自定义资源对象，selectorecs.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testnginxecs spec: objectLabels: matchLabels: app: nginxecs effect: annotations: ccse.ctyun.cn/imagecache: "true" labels: ccseecs: "true" policy: normalNodeOnly: {}

本节介绍了 设置节点亲和调度（nodeAffinity）的用户指南。 在Kubernetes中，节点亲和性调度是一种强大的机制，它允许您根据节点的标签将工作负载精确地调度到具有特定属性（如GPU支持）的节点上。以下是如何配置和使用节点亲和性调度策略的简明指南。 配置节点亲和性调度策略 1. 标记节点：首先，确保您的GPU节点已被标记。在本例中，GPU节点被标记为gputrue。 2. 选择调度策略： 不配置：如果不设置节点亲和策略，Kubernetes将按照默认调度策略随机分配Pod。 指定节点调度：直接指定Pod部署的节点，适用于已知确切部署位置的情况。 指定节点池调度：指定Pod部署的节点池，适用于节点池管理策略。 自定义亲和策略：根据节点标签实现灵活调度。 3. 配置自定义亲和策略： 选择规则：在“自定义亲和策略”中，选择“必须满足”或“尽量满足”规则。 必须满足：硬约束，Pod只能调度到满足所有指定条件的节点上。 尽量满足：软约束，调度器会尝试调度到满足条件的节点，但即使不满足也会进行调度。 设置参数： 权重（仅“尽量满足”）：取值1100，作为调度时的附加评分项。 标签名：需要匹配的节点标签。 操作符：六种匹配关系（In、NotIn、Exists、DoesNotExist、Gt、Lt），用于定义标签与值的匹配逻辑。 标签值：与标签名对应的值。 4. 添加策略：在调度策略配置中，点击“添加策略”并填写上述参数。 5. 快速选择（可选）：通过“指定节点调度”或“指定节点池调度”快速选择目标节点或节点池，这些选项本质上也是基于标签实现的便捷操作。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，提供了一些建议参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： vers：表示指定 NFS 协议的版本 wsize：表示指定了 NFS 协议中用于写入的数据块大小（以字节为单位），设置较大的写入块大小可以提高写入性能 rsize：类似于 wsize，但用于读取的数据块大小 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 弹性文件存储类型：参数键为type，支持参数值如下： capacity：SFS Turbo标准型 performance：SFS Turbo性能型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有并行文件，再进行选择。 存储加密：选择加密后，需要选择具体的秘钥。用户需要提前创建好秘钥，供ccse控制台调用，当前仅支持默认秘钥和按需秘钥。

本节介绍了模板实例的用户指南。 操作场景 模板实例展示的是用户已经模板的插件，用户可以在此界面中完成模板的更新、升级、删除等操作。 前提条件 在维护模板实例前，您需要存在一个可用集群。 在维护模板实例前，您需要先发布模板。 操作步骤 更新模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“更新”按钮。 步骤 4，在弹窗中编辑“values”内容，点击“确认”按钮完成更新。 升级模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“升级”按钮。 步骤 4，在升级界面中“选择Chart版本”，选择是否“使用原来的参数”，在弹窗中编辑“values”内容（可选），点击“确认”按钮完成升级。

本节介绍了ETCD备份保存到对象存储的用户指南。 进入云容器引擎的集群，在左侧菜单点击“插件”>“插件市场”，搜索“ccsebackup”插件，点击“安装”。 在弹出界面的参数设置部分，有以下这样的一段配置 本插件支持将备份包保存到对象存储或本地。默认地会使用本地存储，且将保存到“/home/docker/backup”目录下，如需要更替备份目录，可直接修改该字段的内容。 另外如果想把备份包存储到对象存储，则将上述配置修改，oss.provider需要改成 s3，另外OSS相关参数也需要填上，类似下面形式： oss: provider: "s3" accesskeyId: "yourossak" accesskeySecret: "yourosssk" bucket: "yourossbucket" endpoint: "yourossendpoint" local: path: "" 配置完成后，点击“安装”，界面会自动切换到“插件实例”，稍等片刻后，待插件安装完毕，即可开始使用。

名称 说明 名称 必填，还原任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且还原任务是当前集群中唯一 重定义命名空间 选填，可以将备份包中指定命名空间的资源还原到目标命名空间中 数据清洗 选填，此属于高级选项，可对导入资源的Annotation和Lable值进行增删替换操作

本节介绍了云审计的用户指南。 操作场景 本服务现已对接天翼云++云审计++，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考++使用限制云审计++。 操作步骤 1. 开通云审计服务。 参见++开通云审计服务云审计++。 2. 查看云审计事件。 参见++查看审计事件云审计++。 3. 在事件列表中，选择事件来源为“容器”，资源类型选择“云容器引擎”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考++用户指南、++++常见问题++。

本节介绍了设置负载的节点选择器（nodeSelector）的用户指南。 在Kubernetes中，调度Pod到特定节点的最简单方法是通过工作负载配置中的nodeSelector字段。它允许您指定目标节点的标签，Kubernetes将仅把Pod调度到匹配这些标签的节点上。 前提条件 为了使用nodeSelector，您首先需要为目标节点添加自定义标签。添加标签的具体步骤，请参考节点标签指南。 一旦节点被正确标记，您就可以在工作负载的定义中设置nodeSelector字段，指定希望Pod调度的节点标签。这样，Kubernetes调度器就会自动将Pod分配到符合条件的节点上，确保工作负载能够运行在您期望的环境中。 设置负载的节点选择器 进入创建负载的页面，在高级配置中，选择调度策略，在节点选择器中，选择节点标签。

NodeComponent检查 检查项名称 说明 修复方案 检查节点CNI组件状态是否正常 检查节点上CNI组件Pod是否正常。 请检查集群网络组件状态。具体操作，请参见Pod异常问题排查。 检查节点CSI组件状态是否正常 检查节点上CSI组件Pod是否正常。 请检查集群件存储组件状态。具体操作，请参见Pod异常问题排查。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。