本页主要介绍云容器引擎产品的API使用说明。 OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用云容器引擎产品API的详细介绍，请参见使用API。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 Java SDK：ccesdkjavav2.0.5.tar.gz Go SDK：ccesdkgov2.0.3.tar.gz

指定后端服务为grayv2deploy port: number: 80 path: "/" 路径 pathType: "Prefix" 执行命令进行访问测试： curl H 'Host: testgray.com' v1 curl H 'Host: testgray.com' cookie 'versionalways' v2 curl H 'Host: testgray.com' v1 curl H 'Host: testgray.com' cookie 'versionalways' v2 其中， 为Nginx Ingress对外暴露的IP。可以看出，仅当Cookie中包含version且值为always的流量已切分到新版本服务。 步骤4：下线旧版本Service v1 将常规Ingress grayv1ing 的服务名称改为grayv2deploy 删除Canary Ingress grayv2ing 删除旧无状态应用 grayv1deploy 和配置项 grayv1 场景二：将一定比例的流量切分到新版本 应用运行了一套对外提供7层服务的Service v1，现需发布新版本Service v2。应用希望将20%的流量灰度到Service v2，待稳定运行后，逐步全量切到Service v2，平滑下线Service v1。示意图如下： 步骤1：部署旧版本Service v1和常规Ingresss 同 “场景一：将匹配的业务流量切分到新版本” 步骤2：部署新版本Service v2 同 “场景一：将匹配的业务流量切分到新版本” 步骤3：灰度发布新版本 基于服务权重创建Canary Ingress grayv2ing apiVersion: "networking.k8s.io/v1" kind: "Ingress" metadata: annotations: kubernetes.io/ingress.class: "nginxingresscontroller" nginx.ingress.kubernetes.io/canary: "true" 启用Canary nginx.ingress.kubernetes.io/canaryweight: "50" 50%的请求转发到此Canary Ingress labels: ingressName: "grayv1ing" ingressNamespace: "graytest" name: "grayv2ing" namespace: "graytest" spec: rules: host: "testgray.com" 域名 http: paths: backend: service: name: "grayv2deploy" 指定后端服务为grayv2deploy port: number: 80 path: "/" 路径 pathType: "Prefix" 执行命令进行访问测试： for i in {1..10}; do curl H 'Host: testgray.com'; done; v2 v2 v2 v2 v1 v1 v1 v2 v1 v2 其中， 为Nginx Ingress对外暴露的IP。可以看出，有近50%的流量切分到新版本服务，当请求的数量越多时比例会越接近50%。

云容器引擎中发布工作负载 1、点击 工作负载 – 无状态 新增。 2、选择已推送到容器镜像实例的镜像。 3、选择已创建的镜像拉取凭证，点击发布，等待发布成功结果。

检查CoreDNS Pod的网络连通性 登录CoreDNS Pod所在集群节点。 执行ps aux grep coredns，查询CoreDNS的进程ID。 执行nsenter t n bash，进入CoreDNS所在容器网络命名空间，其中pid为上一步得到的进程ID。 测试网络连通性 运行telnet 6443，测试Kubernetes API Server的连通性。其中apiserverclusterip为default命名空间下Kubernetes服务的IP地址，默认为10.96.0.1。 运行dig @ ，测试CoreDNS Pod到上游DNS服务器的连通性。其中domain为测试域名，upstreamdnsserverip为上游DNS服务器地址。 常见问题 现象 原因 处理方案 业务Pod无法通过CoreDNS服务IP解析 机器负载高、kubeproxy没有正常运行、安全组没有放开UDP协议53端口等。 检查安全组是否放开UDP 53端口，若已放开请提交工单排查。 业务Pod无法连通CoreDNS容器副本 容器网络异常或安全组没有放开ICMP。 检查安全组是否放开ICMP，若已放开请提交工单排查。 业务Pod无法通过CoreDNS容器IP解析 机器负载高、安全组没有放开UDP协议53端口等。 检查安全组是否放开UDP 53端口，若已放开请提交工单排查。 检查业务Pod到CoreDNS的网络连通性 选择以下任意一种方式，进入客户端Pod容器网络。 方法一（适合镜像本身含有sh、ping等命令的Pod）： 使用kubectl exec it n /bin/sh命令进入到Pod中。 方法二（适合镜像本身不含常用命令、且稳定运行的Pod）： 登录业务Pod所在集群节点。 执行ps aux grep 命令，查询业务容器的进程ID。 执行nsenter t n bash命令，进入业务Pod所在容器网络命名空间。其中pid为上一步得到的进程ID。 方法三：（适合频繁重启的Pod） 如果运行时是docker：登录业务Pod所在集群节点。 执行docker ps a grep 命令，查询k8sPOD 开头、使用镜像为pause的沙箱容器，记录容器ID。 执行docker inspect grep netns命令，查询/var/run/docker/netns/xxxx的容器网络命名空间路径。 执行nsenter n bash命令，进入容器网络命名空间。(其中netns 路径为上一步得到的路径，且n和 之间不加空格)。 如果运行时是containerd：登录业务Pod所在集群节点，执行crictl ps a grep 根据Pod名称查看容器id。 根据查到的容器id，执行ctr n k8s.io container ls grep 查找完整的容器id（ctr使用的时候，必须写全，而docker对于id的长度没要求） 执行ctr n k8s.io container info grep i pid C 3获取业务Pod中pause容器的pid path里面的数字即为pause容器的pid。 执行nsenter t n 进入容器网络命名空间。 进入容器网络命名空间后，测试网络连通性。 执行dig @ 命令，测试业务Pod到CoreDNS服务kubedns解析查询的连通性。其中 为测试域名， 为kubesystem命名空间中kubedns的服务IP。默认为10.96.0.10。 执行ping 命令，测试业务Pod到CoreDNS容器副本的连通性。其中 为kubesystem命名空间中CoreDNS Pod的IP。 执行dig @ 命令，测试业务Pod到CoreDNS容器副本解析查询的连通性。其中 为测试域名， 为kubesystem命名空间中CoreDNS Pod的IP。 常见问题 现象 原因 处理方案 业务Pod无法通过CoreDNS服务IP解析 机器负载高、kubeproxy没有正常运行、安全组没有放开UDP协议53端口等。 检查安全组是否放开UDP 53端口，若已放开请提交工单排查。 业务Pod无法连通CoreDNS容器副本 容器网络异常或安全组没有放开ICMP。 检查安全组是否放开ICMP，若已放开请提交工单排查。 业务Pod无法通过CoreDNS容器IP解析 机器负载高、安全组没有放开UDP协议53端口等。 检查安全组是否放开UDP 53端口，若已放开请提交工单排查。 当无法定位问题时，需要抓包进行辅助诊断。在正常情况下，抓包对业务无影响，仅会增加小部分的CPU负载和磁盘写入。 登录出现异常的业务Pod、CoreDNS Pod所在节点。 在ECS（非容器内）执行以下命令 tcpdump i any port 53 C 20 W 200 w /tmp/clientdns.pcap ，可以将最近所有的53端口信息抓取到文件中。以上命令会对抓取到的包进行rotate，最多可以写200个20 MB的.pcap文件。 结合业务日志的报错定位到精准的报错时间的报文信息。

使用限制 根据业务场景需要自行安装CSI，并确定存储驱动名称。具体CSI插件安装有两种方式： 1、CSI插件为Helm Chart形态：通过模版市场上传CSI插件Chart包，并通过模版实例来发布CSI插件； 2、CSI插件为独立工作负载形态：通过云容器引擎服务“工作负载”自行创建DaemonSet、Deployment或者Statefulset； 自定义存储类 通过控制台创建流程如下： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 这里选择“通用” 存储驱动 对应StorageClass yaml中provisioner，配置为自行安装CSI对应的存储驱动名称 回收策略 回收策略，默认为Deleted。 1、Retained（保留）：用户可以手动回收资源。当PVC对象被删除时，PV卷仍然存在，对应的数据卷被视为"已释放（released）"。 2、Deleted（删除）：对于支持Delete回收策略的卷插件，删除动作会将PV对象从Kubernetes中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 1、Immediate模式：表示一旦创建了PVC，也就完成了卷绑定和动态供应。对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道Pod调度要求的情况下绑定或者制备。 2、WaitForFirstConsumer模式：该模式将延迟PV的绑定和制备，直到使用该PVC的Pod被创建。PV会根据Pod调度约束指定的拓扑来选择或供应。 支持扩展 由自行安装CSI支持情况决定 参数 根据自行安装CSI支持情况及业务需求配置 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。 通用存储类YAML示例如下： apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: {StorageClassName} provisioner: {YOURCSIPROVISIONER} parameters: {PARAMKEY}: {PARAMVALUE} reclaimPolicy: Retain allowVolumeExpansion: true mountOptions: debug volumeBindingMode: Immediate

PV和 PVC 并非所有的Kubernetes数据卷（Volume）具有持久化特征，为了实现持久化的实现，容器存储需依赖于一个远程存储服务。为此Kubernetes引入了PV和PVC两个资源对象，将存储实现的细节从其如何被使用中抽象出来，并解耦存储使用者和系统管理员的职责。PV和PVC的概念如下： PV，PV是PersistentVolume的缩写，译为持久化存储卷。PV在Kubernetes中代表一个具体存储类型的卷，其对象中定义了具体存储类型和卷参数。即目标存储服务所有相关的信息都保存在PV中，Kubernetes引用PV中的存储信息执行挂载操作。PVC，PVC是PersistentVolumeClaim的缩写，译为存储声明。PVC是在Kubernetes中一种抽象的存储卷类型，代表了某个具体类型存储的数据卷表达。其设计意图是分离存储与应用编排，将存储细节抽象出来并实现存储的编排。这样Kubernetes中存储卷对象独立于应用编排而单独存在，在编排层面使应用和存储解耦。 PVC和PV的绑定：PVC与PV是一一对应关系，不能一个PVC挂载多个PV，也不能一个PV挂载多个PVC。为应用配置存储时，需要声明一个存储需求声明（PVC），而Kubernetes会通过最佳匹配的方式选择一个满足PVC需求的PV，并与之绑定。所以从职责上PVC是应用所需要的存储对象，属于应用作用域。PV是存储平面的存储对象，属于整个存储域。 PVC只有绑定了PV之后才能被Pod使用，而PVC绑定PV的过程即是消费PV的过程，这个过程是有一定规则的，以下规则都满足的PV才能被PVC绑定。 VolumeMode：被消费PV的VolumeMode需要和PVC一致。 AccessMode：被消费PV的AccessMode需要和PVC一致。 StorageClassName：如果PVC定义了此参数，PV必须有相关的参数定义才能进行绑定。 LabelSelector：通过标签（labels）匹配的方式从PV列表中选择合适的PV绑定。 Size：被消费PV的capacity必须大于或者等于PVC的存储容量需求才能被绑定。 PVC和PV里面的size字段作用如下： PVC、PV绑定时，会根据各自的size进行筛选。 通过PVC、StorageClass动态创建PV时，有些存储类型会参考PVC的size创建相应大小的PV和后端存储。 对于支持Resize操作的存储类型，PVC的size作为扩容后PV、后端存储的容量值。 一个PVC、PV的size值只是在执行一些PVC和PV管控操作的时候，作为配置参数来使用。 真正的存储卷数据流写数据的时候，不会参考PVC和PV的size字段，而是依赖底层存储介质的实际容量。

本节介绍了：CSI的常见问题。 存储FAQCSI 本文主要介绍天翼云存储插件cstorcsi，其安装及使用过程中常见的问题及分析流程。 安装失败 失败原因查看 在“插件”——“插件市场”——选择“cstorcsi”插件安装，完成相关参数配置后点击“安装”；安装详情可以在“插件”——“插件实例”中看到cstorcsi实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 常见问题 查阅日志报 “no matches for kind “PodSecurityPolicy” in version“policy/v1beta1” 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。该问题解决方案为： 1、将cstorcsi升级至3.2.0，按原参数安装即可； 2、如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 使用cstorcsi创建存储卷错误 通用分析流程 1、在“插件”——“插件实例”查看cstorcsi实例，运行是否异常； 2、进入“工作负载”——“无状态”，切换命名空间为“cstor”，查看名称为“cstorcsiprovisioner”的pod日志，切换容器名称为“csiprovisioner”和“cstorcsiplugin”，查看是否有错误日志输出。 常见问题 1、Can not get AK 该报错是由于cstorcsi安装过程中，未进行AK、SK配置。解决方案为：在”账号中心”——”安全设置”——”用户AccessKey”中查看AK、SK。 卸载cstorcsi后，选择重新安装该插件，在安装配置窗口中根据获得的 AK、SK值，分别填入AuthConfig.AK和AuthConfig.SK字段中，点击安装即可完成插件部署。 2、用户不允许订购按需类订单。 该报错是由于cstorcsi插件开通的云硬盘为按需付费方式，需要账户余额在100元以上才可正常开通。 解决方案：请检查天翼云“账户余额”是否在100元以上。 2、can not support RWX in filesystem mode for disk 当使用cstorcsi安装生成的storageclass，创建持久卷声明（PVC）。正常情况下，创建持久卷声明后，在“存储”——”持久卷”，列表栏会看到相应持久卷（PV）创建，并且状态为“已绑定”。 如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为 can not support RWX in filesystem mode for disk，表示当前创建的持久卷声明，不支持访问模式为多机读写。 目前，cstorcsi插件安装，默认创建的云硬盘类型的storageclass，其访问模式与是否是共享盘有关，只有在使用共享盘的情况下，支持多机读写，其他情况仅支持单机读写。 解决方案：修改持久卷声明访问模式为“单机读写”。 3、failed to create disk volume, message: disk size should be in range [10G ,32T] 目前，当使用cstorcsi插件安装的storageclass，云硬盘类型要求容量为 [10G ,32T]，文件存储要求容量500G以上。如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为： failed to create disk volume, message: disk size should be in range [10G ,32T]，表示当前创建的存储卷声明，其容量需要调整为合理范围大小。

本节介绍了云容器引擎的Ingress类常见问题。 从外面通过nginxingresscontroller访问Pod时，Pod运行的应用怎么获取真实客户端的IP地址？ 需要配置nginxingresscontroller，把客户端真实的源IP保存在转发报文的Header中，key可以自定义（比如XRemoteAddr或其它key），不过需要和应用约定好使用哪个Key。 从Pod访问外部应用，外部应用拿到的是什么IP？ 拿到的是Pod所在K8S主机的IP。 修改ELB Ingress引用的TLS证书后，需要更新对应负载均衡器的证书 在“网络控制台>弹性负载均衡”找到ELB Ingress对应负载均衡器的HTTPS监听器，然后找到监听器对应的证书，点击证书在证书管理界面中修改证书，将TLS证书内容和私钥上传即可完成更新。

本节介绍了启动实例失败时的重试机制是怎样的？ 启动实例失败时的重试机制是怎样的？ 云容器引擎是基于原生Kubernetes的云容器引擎服务，完全兼容Kubernetes社区原生版本，与社区最新版本保持紧密同步，完全兼容Kubernetes API和Kubectl。 在Kubernetes中，Pod的spec中包含一个restartPolicy字段，其取值包括：Always、OnFailure和Never，默认值为：Always。Always：当容器失效时，由kubelet自动重启该容器。 OnFailure：当容器终止运行且退出不为0时（正常退出），由kubelet自动重启该容器。 Never：不论容器运行状态如何，kubelet都不会重启该容器。 restartPolicy适用于Pod中的所有容器。 restartPolicy仅针对同一节点上kubelet的容器重启动作。当Pod中的容器退出时，kubelet 会按指数回退方式计算重启的延迟（10s、20s、40s...），其最长延迟为5分钟。 一旦某容器执行了10分钟并且没有出现问题，kubelet对该容器的重启回退计时器执行重置操作。 每种控制器对Pod的重启策略要求如下： Replication Controller（RC）和DaemonSet：必须设置为Always，需要保证该容器的持续运行。 Job：OnFailure或Never，确保容器执行完成后不再重启。

名称 类型 描述 示例值 cpuManagerPolicy String CPU 管理器策略。 none kubeAPIQPS Integer 与 API Server 通信的每秒查询个数。 100 kubeAPIBurst Integer 每秒发送到 API Server 的突发请求数量上限。 100 maxPods Integer 运行的 Pod 个数上限。 110 podPidsLimit Integer Pod 中可使用的 PID 个数上限。 1 eventRecordQPS Integer 每秒可生成的事件数量。 5 eventBurst Integer 事件记录的个数的突发峰值上限。 10 topologyManagerPolicy String 使用的拓扑管理器策略名称。 none topologyManagerScope String 拓扑管理策略的资源对齐粒度 container resolvConf String 容器指定DNS解析配置文件 runtimeRequestTimeout String 除长期运行的请求之外所有运行时请求的超时时长 120s serializeImagePulls Boolean 是否逐一拉取镜像。 FALSE registryPullQPS Integer 镜像仓库的 QPS 上限。 5 registryBurst Integer 突发性镜像拉取的个数上限。 10 containerLogMaxFiles Integer 每个容器可以存在的日志文件个数上限。 20 containerLogMaxSize String 日志文件被轮转之前可以到达的最大大小。 50Mi imageGCHighThresholdPercent Integer 镜像用量超过此阈值，则镜像垃圾回收会持续执行。 80 imageGCLowThresholdPercent Integer 镜像用量低于此阈值时不会执行镜像垃圾回收操作。 70 cpuCFSQuota Boolean CPU CFS 配额约束开关。 FALSE systemReservedMem String 系统内存预留 100Mi kubeReservedMem String Kubernetes组件内存预留 100Mi evictionHard:memory.available String 硬驱动逐配置项：节点可用内存值 100Mi evictionHard:nodefs.available String 硬驱动逐配置项：Kubelet使用的文件系统的可用容量的百分比 10% evictionHard:nodefs.inodesFree String 硬驱动逐配置项：Kubelet使用的文件系统的可用inodes数的百分比 5% evictionHard:imagefs.available String 硬驱动逐配置项：容器运行时存放镜像等资源的文件系统的可用容量的百分比 10% evictionHard:imagefs.inodesFree String 硬驱动逐配置项：容器运行时存放镜像等资源的文件系统的可用inodes数的百分比 10% evictionHard:pid.available String 硬驱动逐配置项：留给分配Pod使用的可用PID数的百分比 10% evictionSoft:memory.available String 软驱逐配置项：节点可用内存值 100Mi evictionSoft:nodefs.available String 软驱逐配置项：Kubelet使用的文件系统的可用容量的百分比 10% evictionSoft:nodefs.inodesFree String 软驱逐配置项：Kubelet使用的文件系统的可用inodes数的百分比 10% evictionSoft:imagefs.available String 软驱逐配置项：容器运行时存放镜像等资源的文件系统的可用容量的百分比 10% evictionSoft:imagefs.inodesFree String 软驱逐配置项：容器运行时存放镜像等资源的文件系统的可用inodes数的百分比 10% evictionSoft:pid.available String 软驱逐配置项：留给分配Pod使用的可用PID数的百分比 10% evictionSoftGracePeriod:memory.available String 驱逐周期 10s evictionSoftGracePeriod:nodefs.available String 驱逐周期 10s evictionSoftGracePeriod:nodefs.inodesFree String 驱逐周期 10s evictionSoftGracePeriod:imagefs.available String 驱逐周期 10s evictionSoftGracePeriod:imagefs.inodesFree String 驱逐周期 10s evictionSoftGracePeriod:pid.available String 驱逐周期 10s

避免使用ServcieAccount Secret Token访问集群 Kubernetes 1.21以前版本的集群中，Pod中获取token的形式是通过挂载ServiceAccount的Secret来获取的，这种方式获得的token是永久的，Pod被删除后token仍然存在Secret中，一旦泄露可能导致安全风险。该方式在1.21及以上的版本中不再推荐使用，并且根据社区版本迭代策略，在1.25及以上版本的集群中，ServiceAccount将不会自动创建对应的Secret。 Kubernetes 1.21及以上版本的集群中，直接使用TokenRequest API获得token，并使用投射卷（Projected Volume）挂载到Pod中。使用这种方法获得的token具有固定的生命周期（默认有效期为1小时），在到达有效期之前，Kubelet会刷新该token，保证Pod始终拥有有效的token，并且当挂载的Pod被删除时这些token将自动失效。该方式通过Bound ServiceAccount TokenVolume特性实现，能够提升服务账号（ServiceAccount）token的安全性，Kubernetes 1.21及以上版本的集群中会默认开启。 为了帮助用户平滑过渡，社区默认将Token有效时间延长为1年，1年后token失效，不具备证书reload能力的client将无法访问APIServer，建议使用低版本client的用户尽快升级至高版本，否则业务将存在故障风险。 基于Secret的ServiceAccount Token由于token由于具有上述的安全风险。1.23版本以及以上版本云容器引擎集群推荐使用Bound Servcie Account Token，该方式支持设置过期时间，并且和Pod生命周期一致，可减少凭据泄露风险。例如： apiVersion: apps/v1 kind: Deployment metadata: name: tokenexample namespace: tokenexample spec: replicas: 1 selector: matchLabels: app: tokenexample label: tokenexample template: metadata: labels: app: tokenexample label: tokenexample spec: serviceAccountName: boundsatoken containers: image: nginx imagePullPolicy: Always name: tokenexample volumes: name: testsecurity projected: defaultMode: 420 sources: serviceAccountToken: expirationSeconds: 3600 path: token configMap: items: key: ca.crt path: ca.crt name: kuberootca.crt downwardAPI: items: fieldRef: apiVersion: v1 fieldPath: metadata.namespace path: namespace

本页主要介绍云容器引擎产品的API使用中如何获取接口URI中参数。 集群ID（clusterId） 登录CCE控制台，在左侧导航栏中选择“集群”，集群列表中“实例ID”即为集群ID（clusterId） 节点池ID（nodePoolId） 登录CCE控制台，在左侧导航栏中选择“集群”。 单击所创建集群的名称，并在左侧选择“节点 >> 节点池”，单击所创建的节点池名称。节点池信息中可以查看“节点池ID”

字段 说明 apiVersion API版本，固定值 autoscaling.ctyun.com/v1beta1 kind API类型，固定值 CronHorizontalPodAutoscaler metadata.name CronHPA策略名称。 metadata.labels 策略标签 metadata.namespace CronHPA策略所在的命名空间。 spec.scaleTargetRef 指定CronHPA的扩缩容对象，可配置以下字段： apiVersion：CronHPA扩缩容对象的API版本。 kind：CronHPA扩缩容对象的API类型。 name：CronHPA扩缩容对象的名称。CronHPA支持HPA策略或Deployment。 spec.jobs CronHPA策略规则，可添加多个规则。每个规则可配置以下字段： name：CronHPA规则名称，该名称需唯一。 schedule：指定任务运行时间与周期，参数格式与gocron类似，请参见下表。 targetSize：扩缩容的Pod数目。 disable：参数值为“true”或“false”。其中“false”表示该规则生效，“true”则表示该规则不生效。

注解 含义 koordinator.sh/blkioQOS Pod 磁盘限速 JSON 注解

配置Pod标签，工作负载实例间反亲和 matchExpressions: key: app operator: In values: demo namespaces: default topologyKey: topology.kubernetes.io/zone 拓扑域为可用区 weight: 50 podAffinityTerm: labelSelector: 配置Pod标签，工作负载实例间反亲和 matchExpressions: key: app operator: In values: demo namespaces: default topologyKey: kubernetes.io/hostname 拓扑域为节点 创建该工作负载，查看创建的Pod： $ kubectl get pod owide NAME READY STATUS RESTARTS AGE IP NODE demo3hjgd8bb64aawck 1/1 Running 0 21s 192.168.0.32 ccseagent1b54ffbc17 demo3hjgd8bb64plary 1/1 Running 0 21s 192.168.1.25 ccseagenta7527e3e80 将实例数扩容到3，可见新建Pod被调度到另一个节点，3个实例所在3个节点属3个不同可用区。 $ kubectl scale deploy/demo replicas3 deployment.apps/demo scaled $ kubectl get pod owide NAME READY STATUS RESTARTS AGE IP NODE demo3hjgd8bb64aawck 1/1 Running 0 3s 192.168.0.32 ccseagent1b54ffbc17 demo3hjgd8bb64plary 1/1 Running 0 45s 192.168.1.25 ccseagenta7527e3e80 demo3hjgd8bb64ccgum 1/1 Running 0 45s 192.168.2.16 ccseagent59ab9e7689 根据上述工作负载反亲和性规则，可将Pod按照可用区和节点做较为均匀的分布，实现应用的高可用部署。

本节介绍了云容器引擎的最佳实践：某量子云平台迁移项目。 项目概述 某量子云平台对外提供量子计算机实验/实操服务，其应用架构由他云迁移到天翼云，通过天翼云实现应用组件化和容器化，通过K8S统一部署和管理业务。 该平台包括官网、博客网站、web管理后台等系统。 容器支撑方案 迁移使用的容器架构图如下： 研发迭代更高效：使用crs镜像服务一键部署应用 便于扩容快弹性高：使用HPA弹缩pod 解决内外网互连互通：使用Nginx+Spring GateWay实现内外网流量隔离和路由转发 底层资源占用少：使用csi插件动态挂载sfs存储 助力运维更便捷：使用云日志插件采集容器日志 最终效果 2023年6月迁移至天翼云试运行，12月已付费容器并运营至今，现业务稳定运行。

验证权限 查询default命名空间下的pod资源。 kubectl get pod n default kubeconfigtest.config 被拒绝访问其他命名空间的pod资源。 kubectl get pod n testrq kubeconfigtest.config 不可以删除default命名空间下的pod资源。 kubectl delete pod n default cephfsprovisioner8689474666d2gsw kubeconfigtest.config 基于ClusterRole实现集群权限精细化管理的配置步骤 请参考：集群命名空间RBAC授权

云容器引擎控制台创建Kubernetes自定义授权策略 注意 本步骤展示创建自定义ClusterRole，过程和创建Role类似。您可以根据实际的场景调整相应操作。 第一步：登录天翼云，进入到云容器引擎控制台，在左侧导航栏选择集群。 第二步：在集群管理界面，点击目标集群名称，然后在左侧导航栏，选择安全管理 > 角色。 第三步：在角色页面，点击Cluster Role页签，然后点击创建Cluster Role。 第四步：当点击创建Cluster Role后，会弹出一个YAML面板，您需要在面板上输入自定义策略的YAML内容，点击确定即可创建成功。 第五步：在左侧导航栏，选择安全管理 >授权，进入授权页面，选择子账号下面的用户，点击添加权限。 第六步：进入集群RBAC配置，点击添加权限，选择命名空间，选择自定义，然后选择里之前创建好的Cluster Role，点击下一步。 第七步：授权成功。 第八步：验证。 首先按照下图获取到对应的config，登录到集群主机保存test.config文件中。 查询集群的Pod。 kubectl get pod kubeconfigtest.config 没有权限查看集群的Service，提示forbidden。 kubectl get services kubeconfigtest.config 注意 当前云容器引擎授权管理仅支持自定义Cluster Role角色与集群内RABAC权限的绑定，暂不支持自定义Role角色与集群内RBAC权限的绑定。

本节介绍云容器引擎的最佳实践：容器与节点时区同步。 背景说明 使用Dockerfile构建容器镜像时，若未指定时区配置，那么构建的容器有可能会使用UTC时间。在云容器引擎中使用该容器镜像构建工作负载时就有可能出现容器实例与云容器引擎的节点时间不一致，相差8小时的现象。 云容器引擎的所有节点统一中国CST时间(UTC+8), 登录节点执行date R指令进行查看: [root@0000000gwcgp0q8ads ~] date R Sat, 06 Apr 2024 18:37:16 +0800 验证Pod实例的工作容器当前时间可以使用kubectl指令，例如查看default命名空间下，名为kubiamannual的pod工作容器时间: 使用kubectl exec指令可查看pod的工作负载容器当前的时间: [root@0000000gwcgp0q8ads ~] kubectl exec kubiamanual n default date R Sat, 06 Apr 2024 10:37:18 +0000 工作容器的时间戳时区为+0000，代表使用的是标准UTC时间, 中国CST时间比标准UTC时间多8个小时 解决该问题有两种方法: 1、构建容器镜像时配置时区 2、通过云容器引擎控制台进行配置 构建容器镜像时配置时区 以Dockerfile方式构建镜像为例，在镜像的Dockerfile中增加以下语句: RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 通过云容器引擎控制台进行配置 云容器控制台可以通过数据卷的方式，将节点的/etc/localtime文件挂载到Pod的工作容器实例中，以此实现时区信息同步，具体操作步骤如下: 1、登录云容器引擎控制台 2、进入【集群】【工作负载】界面，找到待处理的pod名称，点击【全量替换】按钮 全量替换 3、增加一个主机目录类型的数据卷,设置主机路径为/etc/localtime 数据卷 4、为工作容器增加挂载点 挂载点 提交更改后，容器实例会重启，使用与节点相同的时区配置； 通过云容器引擎创建新的工作负载时，可以使用的操作方法：以数据卷的方式将节点的/etc/localtime挂载到容器实例的/etc/localtime，实现节点与容器实例时间同步。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行 plaintext echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行 plaintext cat /ccsetmp/test.log 预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

指向新版本服务。 run:newnginx sessionAffinity:None type:NodePort 执行以下命令，请求头中满足foobar的客户端请求访问服务。 curl H"Host: www.ctyun.com" 预期输出： new 重复执行以上命令，可以看到请求全部被路由到了新版本的服务。执行以下命令，删除Canary Ingress资源grayreleasecanary。 kubectldeleteingress grayreleasecanary 删除旧版本的Deployment和新版本的Service。执行以下命令，删除旧版本的Deployment。 kubectldeletedeployoldnginx 执行以下命令，删除新版本的Service。 kubectldeletesvcnewnginx

本节介绍了设置容器规格的用户指南。 在Kubernetes中，设置容器规格是确保应用程序在集群中有效运行的关键步骤。通过配置容器的资源请求和限制，可以优化资源使用，提升应用程序的稳定性和性能。 在Kubernetes中，资源请求（requests）和限制（limits）是用于指定容器所需的最小和最大资源量的设置。主要资源包括CPU和内存。 资源请求（requests）：容器运行时所需的最小资源量。根据申请值调度该实例到满足条件的节点去部署工作负载。 资源限制（limits）：容器允许使用的最大资源量。如果容器尝试使用超过限制的资源，可能会被终止。 通过控制台中设置容器规格 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载 ”，切换至“无状态 ”页签，单击“创建Deployment”。 3、在实例内容器设置CPU/内存限制。 4、点击“提交”，创建完成。 常见问题和解决方法 Pod调度失败 确保节点有足够的资源满足容器的资源请求。 检查集群资源配额设置，确保配额没有被超出。

服务类型 说明 负载均衡 ELB访问方式，是通过弹性负载均衡ELB产品来实现负载均衡。通过创建LoadBalancer SVC时，指定注解方式开启XForwardedFor。当通过ELB访问工作负载时，可以通过XForwardedFor头部提取到源地址。 节点端口（NodePort） NodePort访问方式，是将容器端口映射到节点端口，实现获取客户端源IP有以下方式： 当配置SVC外部流量策略为Local时，表示请求不经过转发，可以获取客户端源ip； 当配置SVC外部流量策略为Cluster时，需要通过手动创建监听器及后端主机组，开启XForwardedFor实现。

本节介绍云容器引擎的最佳实践：CoreDNS配置优化实践。 概述 DNS作为k8s的关键基础服务，在配置不合理，集群规模较大时，DNS容易出现解析超时、解析失败等现象。本文介绍Kubernetes集群中CoreDNS配置优化的最佳实践，帮助您避免此类问题。 前提条件 创建一个云容器引擎集群，具体操作步骤请参见新建云容器引擎集群。 通过kubectl连接集群，详情请参见通过kubectl连接集群。 安装CoreDNS插件（推荐安装CoreDNS最新版本），详情请参见CoreDNS介绍。 实践方案 CoreDNS配置优化方案包含客户端和服务端的实践。 在客户端，您可以通过使用合适的容器镜像，优化域名解析请求，增加节点DNS缓存等方式来降低解析时延和减少解析异常。 优化域名解析请求 选择合适的容器镜像 避免IPVS缺陷导致的DNS概率性解析超时 使用节点DNS缓存（NodeLocal DNSCache） 谨慎调整节点的DNS配置 在服务端，您可以合理的调整CoreDNS部署状态或者调整CoreDNS配置来提升集群CoreDNS的可用性和吞吐量。 监控CoreDNS运行状态 合理调整CoreDNS部署状态 合理配置CoreDNS

步骤三、Ingress配置 当用户访问这个Ingress路由时，Ingress控制器会要求用户提供之前创建的“basicauth”Secret中存储的用户名和密码进行身份验证，只有成功验证的用户才能访问后端服务。 1、点击目标容器集群名称，进入集群详情页； 2、在菜单栏【网络】中选择【路由（Ingress）】，点击【新增】； 3、在新增页面添加以下注解： 身份验证类型：nginx.ingress.kubernetes.io/authtype:basic 包含用户名和密码的Secret对象名：nginx.ingress.kubernetes.io/authsecret: basicauth 需要身份验证的提示信息：nginx.ingress.kubernetes.io/authrealm:'Authentication Required foo' 详情可参考社区官方的ingressnginx controller介绍。

本节介绍了插件FAQ。 云容器引擎提供了诸多类型的组件，涵盖容器核心组件、应用管理、日志监控、存储等方面，用户可以根据需求进行相应组件的安装、卸载、实例查看等。 本文所涉及组件可以在指定容器集群——“插件”——“插件市场”获取插件列表，主要介绍插件安装及使用过程中常见的问题及分析流程。 安装失败 在“插件”——“插件市场”——选择插件安装，完成相关参数配置后点击“安装”； 安装详情可以在“插件”——“插件实例”中看到相应插件实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 以下是常见的插件安装失败问题： 1、cstorcsi插件安装报 no matches for kind “PodSecurityPolicy” in version “policy/v1beta1 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。 该问题解决方案有以下两种方式： 将cstorcsi升级至3.2.0，按原参数安装即可； 如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 2、cubenodelocaldns插件安装报 resource mapping not found for name: "ccsenodelocaldnsadmissioncontroller namespace "kubesystem" from "": no matches for kind "Certificate" in version "certmanager.io/v1"” 该报错是由于cubenodelocaldns插件安装依赖certmanager组件，请先在插件市场中安装certmanager，再重新安装cubenodelocaldns即可。

本节介绍了用户指南： 对象存储概述。 云容器引擎支持使用天翼云对象存储作为存储卷。当前cstorcsi插件支持使用对象存储动态存储卷和静态存储卷，通过将对象存储挂载到容器指定目录下，以实现数据持久化需求。 天翼云对象存储为客户提供海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 使用限制 服务开通 使用前请在云容器引擎集群所在资源池，相应开通对象存储服务，参照指引：点这里 开通地域选择参见：点这里 存储类型 当前cstorcsi仅支持标准、低频两种存储类型 数据加密 暂不支持加密 其他 对象存储产品本身使用限制参见：点这里 产品规格 cstorcsi支持标准存储、低频存储 两种存储类型，这些存储类型具有不同的特点和适用场景，详见：对象存储性能说明 注意 当CSI版本为4.0.0及其以上版本时，删除不为空的对象存储pvc时，将保留对象存储bucket但删除对应的pvc和pv，您可以通过对象存储控制台删除对应的bucket。

集群外Ingress访问请求会话保持 1、前提条件 创建一个nginx工作负载，同上 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意Session Affinity不需要设置，保持默认值即可。 确保当前命名空间已经绑定到一个负载均衡器： 创建一个生产路由（Ingress）并关联到上述服务（Service）。 添加本地hosts映射： ip为NginxIngressController的访问地址 域名为创建Ingress时填入的域名 10.142.232.160 nginx.ccse.io 2、发起服务调用 在浏览器中多次发起对服务的请求 > 这里没法通过curl来测试验证，因为curl请求时没法保持Cookie。 3、观察工作负载日志 结论：浏览器中的请求会全部转发到某一个Pod实例，进行会话保持。 集群外TCP/UDP访问 集群外通过TCP/UDP没法进行会话保持。

NodePort+Nginx+LVS 如果流量大，还需要支持HTTPS，则需要使用该种方案。 在kubeproxy的前面手动搭建Nginx，在Nginx的前面手动搭建LVS，如下： LVS需要手动安装，同时需要安装keepalived绑定VIP，以保证访问入口的高可用； Nginx需要手动安装，手动配置HTTPS证书 ；LVS处只需要配置一个端口，转发到Nginx的同端口；Nginx只需要监听一个端口，通过不同的域名，转发到kubeproxy上不同的端口；kubeproxy根据不同的端口，转发到的集群内的不同的应用。 Ingress Ingress是一种不同于NodePort的方案，如下： IngressController只监听一个端口，通过不同的域名转发到K8S集群中不同的应用；所以该方案只支持域名访问，不支持IP访问。 只有K8S的Master主机上才会有IngressController，Master主机上已经有VIP，所以DNS服务器把域名解析为VIP，即可保证入口的高可用。 在云容器引擎管理台页面上，通过为应用创建不同的Ingress对象，来为不同的应用指定不同的域名。 IngressController目前不支持配置HTTPS证书，后续会支持。所以该方案目前不支持HTTPS，只支持HTTP。 Ingress+LVS 上面的Ingress方案，由于VIP只在一台主机上，所以不适合大访问量的场景。如果访问量较大，可以使用Ingress+LVS，如下： LVS需要手动安装与配置，LVS主机上需要安装keepalived绑定VIP以保证入口高可用 。LVS只需要监听一个端口（IngressController监听的端口） 。浏览器通过域名访问，DNS服务器把域名解析为LVS的VIP，LVS把请求转给其中某个IngressController，IngressController通过域名转发到不同的集群内的应用。该方案与上面方案一样，目前不支持HTTPS，后续会支持。

Calico IPIP隧道网络 不同VPC使用Calico网络插件的两个集群，在创建对等连接后，需要进一步配置VPC路由表才能使两个VPC互通。跨VPC互联如下图所示： 需要注意如下几点： 两端集群节点子网网段需避免重叠；为简化配置避免潜在的地址冲突，建议VPC地址段不重叠； 两端集群的容器网段可以重叠，服务网段也可以重叠； 一个集群的节点可以访问另一个集群的节点，但需注意两端安全组是否放通； 不同集群的Pod之间不能通过容器IP直接访问，跨集群Pod访问需通过LoadBlance类型Service等方式访问； 对等连接本端和对端VPC均需配置路由表，以确保网络流量能够正确地传输； 在对等连接的本端路由添加对端集群节点子网网段，在对端路由添加本端集群节点子网网段，以实现两端集群节点互访： Cubecni VPC网络 不同VPC使用Cubecni网络插件的两个集群，在创建对等连接后，需要进一步配置VPC路由表才能使两个VPC互通。跨VPC互联如下图所示： 需要注意如下几点： 两端集群节点子网网段需避免重叠，容器子网网段需避免重叠；为简化配置避免潜在的地址冲突，建议VPC地址段不重叠； 两端集群的节点及Pod均可直接互访，但需注意两端安全组是否放通； 对等连接的路由表需添加对端集群节点子网网段和容器子网网段或者整个VPC网段，该操作在两侧的VPC路由表中均要执行。

本节介绍了云容器引擎的最佳实践：使用存储子目录为工作负载提供存储。 当需要将存储的特定子目录直接挂载至工作负载以实现高效数据存储时，云容器引擎提供了多种实现方式以支持该能力。 需求场景 当用户创建大容量文件存储时，为充分利用现有资源，可将不同子目录分配给多个工作负载使用。 若需实现数据层面的权限控制，可限制容器仅访问指定子目录。 对于习惯开源NFS使用方式的用户，可在已有文件存储基础上，通过为不同子目录创建独立的PVC并分配给对应工作负载，实现资源隔离。 每个工作负载拥有不同的子目录的方式便于管理，且可通过Pod名称区分子目录，提升运维效率。 方案选择 有以下两种方案： （1）复用现有存储：用户已有的存储对应一个PVC，无需额外创建PVC，可将同一PVC下的不同子目录分配给多个工作负载使用。 （2）动态分配子目录：用户使用海量文件存储时，每次可为不同工作负载动态分配一个子目录作为独立PVC。（注：此功能仅海量文件存储支持，其他存储产品不适用于子目录挂载场景。） 方案一：子目录挂载（多个子目录共享同一PVC） 在工作负载的数据存储配置界面，设置挂载路径为 /test，即存储卷将挂载至容器内的 /test 目录。子路径可选择 subPath 或 subPathExpr 模式。 subPath：简单直接，工作负载的所有副本均使用存储卷的同一子目录。 subPathExpr：支持通过环境变量动态调整子目录路径，实现同一工作负载中不同副本使用独立子目录。 若选择 subPath，直接填写子目录名称即可；若目录不存在，K8S会自动创建。若选择 subPathExpr，需按以下方式配置： 在第二个绿色箭头所指的框中，根据实际需求填写路径表达式。例如可使用 $(PODNAMESPACE)/$(PODNAME) 或 $(PODNAME)，也支持自定义格式。此处以 $(PODNAMESPACE)/$(PODNAME) 为例，需确保相关变量已在环境变量中预先定义。 根据以上示例，红框处需正确填写变量名，绿框处需选择变量值的来源。即从Pod的metadata.name字段获取PODNAME变量值，从metadata.namespace字段获取PODNAMESPACE变量值，并组合为存储的子目录路径。 例如：一个两副本的无状态工作负载位于命名空间cstor下，Pod名称分别为podA和podB。按此配置后，一个副本会将PVC对应存储下的cstor/podA子目录挂载至容器内的/test路径，另一副本则挂载cstor/podB子目录至相同路径。 若通过工作负载的YAML文件实现，相关字段配置如下： plaintext volumeMounts: name: workdir1 mountPath: /logs subPathExpr: $(PODNAMESPACE)/$(PODNAME) yaml的env的设置如下： plaintext spec: containers: name: container1 env: name: PODNAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name name: PODNAMESPACE valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.namespace

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。