云容器引擎 CCE 提供高度可扩展的、高性能的Kubernetes集群、一站式容器服务;兼容主流国产化服务器和操作系统,取得全栈国产化适配认证证书。其整合了镜像、监控、日志、负载均衡、灰度/蓝绿、多种弹性策略、高效调度、集群插件、模板市场等基础能力,帮助企业快速构建和运行可弹性扩展的应用,实现业务的快速交付与持续创新。

本节介绍了云容器引擎的最佳实践: 自定义存储资源对象。 自定义云存储StorageClass 默认存储类 存储插件cstorcsi安装完成后，会默认根据当前资源池已上线云存储产品情况创建默认存储类，用户可以使用默认存储类创建持久卷声明。 默认创建的存储类名称、对应驱动及应用场景等参见cstorcsi插件中“插件使用”介绍。 自定义存储类 当默认存储类不满足业务需求，比如用户是从自建Kubernetes或其他Kubernetes服务迁移到到天翼云云容器引擎时，期望使用与云业务同名StorageClass或者用户期望自定义存储类的参数时，用户可以选择自定义云存储类型StorageClass。 通过自定义存储类，用户可以实现定制StorageClass名称、云存储类型、绑定策略、挂载选项等。具体各云存储产品描述如下： 云硬盘：通过控制台或通过kubectl命令行自定义存储类参见使用云盘动态存储卷； 弹性文件：通过控制台或通过kubectl命令行自定义存储类参见使用SFS动态存储卷； 对象存储：通过控制台或通过kubectl命令行自定义存储类参见使用ZOS动态存储卷。 自定义通用StorageClass 云容器引擎除支持通过cstorcsi插件使用云存储产品之外，也支持用户定制安装CSI，并自定义创建存储类。

配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载

本节介绍了:连接信息。 操作场景 获取集群的连接信息，通过API或者kubectl访问集群。 前提条件 ● 在查看集群信息前，您需要存在⼀个可用集群。若没有可⽤集群，请参照 订购集群 内容进⾏创建。 ● 如果需要公网访问，请提前绑定好弹性IP（EIP）。 操作步骤 1. 点击 复制 ，生成的配置可以直接在公网或者内网使⽤。 2. 可以吊销KubeConfig，当前的配置会失效并重新生成。 3. 选择生成临时KubeConfig，然后选择有效期，点击 生成临时KubeConfig ，最后点击 确认 ，即可重新⽣成⼀份新的配置信息。

对比： 方案 四层或七层转发 支持高可用 支持HTTPS 优缺点 适用场景 NodePort 四层 是 否 优点：使用简单，无须额外配置 TCP或HTTP服务、访问量不大 NodePort+Nginx 七层 是 是 缺点：需要额外手动部署与配置Nginx HTTPS服务，访问量不大 NodePort+LVS 四层 是 否 缺点：需要额外手动部署与配置LVS TCP或HTTP服务，访问量大 NodePort+Nginx+LVS 七层 是 是 缺点：需要额外手动部署与配置Nginx和LVS HTTPS服务，访问量大 Ingress 七层 是 当前不支持，后续会支持 优点：使用简单；缺点：只支持域名访问，不支持IP访问，需要自行配置DNS服务器 HTTP服务(后续支持HTTPS服务)，访问量不大 Ingress+LVS 七层 是 当前不支持，后续会支持 缺点：需要额外部署LVS，只支持域名访问，不支持IP访问，需自行配置DNS服务器 HTTP服务(后续支持HTTPS服务)，访问量大

TCP请求获取客户端真实源IP地址 针对TCP请求，可以通过在后端主机配置TOA插件获取客户端的真实源IP地址，详情可参见：TCP请求获取客户端真实源IP地址

阶段四：Pod运行问题 OOM 当集群中的容器使用超过其限制的内存，容器可能会被终止，触发OOM（Out Of Memory）事件，导致容器异常退出。 OOM可能原因 说明 推荐的解决方案 系统内存不足 查看Pod所在节点的内核日志/var/log/messages，日志中存在Killed Process，但不存在kubepods相关日志；且主机内存使用量较高，表明是主机操作系统内存不足。 可能是系统全局内存不足、内存碎片化严重、内存泄露等。可提单排查。 Pod内存不足 查看Pod所在节点的内核日志/var/log/messages，日志中存在类似Task in /kubepods.slice/xxxxx killed as a result of limit of /kubepods.slice/xxxx的报错信息，且主机内存使用量不高或Pod的资源Limit值设置得较小，表明OOM为cgroup级别。 根据业务实际运行需要，适当增大Pod的内存Limit。 Terminating 可能原因 说明 推荐的解决方案 节点存在异常，处于NotReady状态。 节点存在异常，处于NotReady状态。 处于NotReady状态的节点恢复正常后会被自动删除。 Pod配置了Finalizers。 如果Pod配置了Finalizers，Kubernetes会在删除Pod之前执行Finalizers指定的清理操作。如果相关的清理操作没有正常响应，Pod将保持在Terminating状态。 通过kubectl get pod n o yaml查看Pod是否配置了Finalizers，进一步排查异常原因。 Pod的preStop配置异常。 如果Pod配置了preStop，Kubernetes会在c。Pod正处于终止流程的preStop阶段时，Pod将处于Terminating状态。 通过kubectl get pod n o yaml查看Pod的preStop配置，进一步排查异常原因。 Pod配置了优雅退出时间。 如果Pod配置了优雅退出时间（terminationGracePeriodSeconds），Pod收到终止命令后（例如kubectl delete pod 命令）会进入Terminating状态。等待terminationGracePeriodSeconds设定的时间后，或容器提前退出后，Kubernetes才认为Pod已经成功关闭。 等待容器优雅退出后，Kubernetes将自动删除Pod。 容器无响应。 发起停止或删除Pod的请求后，Kubernetes会向Pod内的容器发送SIGTERM信号。如果容器在终止过程中没有正确响应SIGTERM信号，Pod可能会停留在Terminating状态。 使用kubectl delete pod graceperiod0 force强制删除，释放Pod资源。 检查Pod所在节点的containerd或Docker日志，进一步进行排查。 Evicted 可能原因 说明 推荐的解决方案 节点存在资源压力，包括内存不足、磁盘空间不足等，引发kubelet主动驱逐节点上的一个或者多个Pod，以回收节点资源。 可能存在内存压力、磁盘压力、Pid压力等。可以通过kubectl describe node grep Taints命令查询。 内存压力：带有污点node.kubernetes.io/memorypressure。 磁盘压力：带有污点node.kubernetes.io/diskpressure。 Pid压力：带有污点node.kubernetes.io/pidpressure。 内存压力： 根据自身业务情况，调整Pod的资源配置。 磁盘压力： 定时清理节点上的业务Pod日志，防止磁盘空间被耗尽。 为节点进行磁盘扩容。 Pid压力：根据自身业务情况，调整Pod的资源配置。 发生了非预期的驱逐行为。 待运行Pod的节点被手动打上了NoExecute的污点，导致出现非预期的驱逐行为。 通过kubectl describe node grep Taints命令检查节点是否被打上了NoExecute污点。如是，请删除。 未按照预期流程执行驱逐。 podevictiontimeout：当节点宕机时间超过设置时间后，开始驱逐宕机节点上的Pod，默认为5min。 nodeevictionrate：每秒从节点上驱逐的Pod数量。默认为0.1，即每10s至多从一个节点上驱逐Pod。 secondarynodeevictionrate：第二档的节点驱逐速率。当集群中宕机节点过多时，节点驱逐速率会降低至第二档，默认值为0.01。 unhealthyzonethreshold：可用区的不健康阈值，默认为0.55，即当宕机的节点数量超过总节点数的55%时，该可用区被判定为不健康。 largeclustersizethreshold：集群的大规模阈值，默认为50，即当集群节点数量超过50时判定集群为大规模集群。 在小规格的集群（集群节点数小于等于50个节点）中，如果故障的节点大于总节点数的55%，实例的驱逐会被停止。 在大规模集群中（集群节点数大于50），如果集群中不健康的节点数量占总节点数的比例超过了预设的阈值unhealthyzonethreshold（默认为0.55），驱逐速率由secondarynodeevictionrate控制（代表每分钟驱逐节点上Pod的最大比例），默认值为0.01。 容器被驱逐后仍然频繁调度到原节点。 节点驱逐容器时会根据节点的资源使用率进行判断，而容器的调度规则是根据节点上的“资源分配量”进行判断，被驱逐的Pod有可能被再次调度到这个节点，从而出现频繁调度到原节点的现象。 根据集群节点的可分配资源检查Pod的资源Request请求配置是否合理。 Completed Completed状态下，Pod中容器的启动命令已执行完毕，容器中的所有进程均已成功退出。Completed状态通常适用于Job、Init容器等，该状态是正常状态。

本页主要介绍云容器引擎产品的API使用中password字段加密的方法。 涉及的OpenAPI包括：纳管节点 通过API创建节点时password字段需要进行加密处理，具体方法如下： Java 以下是Java环境下对密码进行加密的示例步骤： plaintext import javax.crypto.Cipher;import java.security.KeyFactory; import java.security.PublicKey; import java.security.spec.X509EncodedKeySpec; import java.util.Base64; public class PasswordEncryptDemo { public final static String publicKeyWord "MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCcX/slG/wUF6+qVw34VTW+gwFuVvHMHAPmu9jDn+jwED2A+i87CuYpvcjyYwPij41uS6SPZ/MSWDTO6f8/1YRs0Jbj1SIDNpRl/udTEbsPquFIqHSQSZsQseZS+j0HCAIwLUgMAJHW4AHw622Vgiirsm7gOY0qwnry1BmymiVXlQIDAQAB"; private static String encrypt(String password) throws Exception { Cipher cipher Cipher.getInstance("RSA"); PublicKey publicKey KeyFactory.getInstance("RSA").generatePublic(new X509EncodedKeySpec(Base64.getDecoder().decode(publicKeyWord))); cipher.init(Cipher.ENCRYPTMODE, publicKey); byte[] encrypts cipher.doFinal(password.getBytes("UTF8")); return Base64.getEncoder().encodeToString(encrypts); } public static void main(String[] args) throws Exception { String password "密码"; String encryptPassword encrypt(password); System.out.println(encryptPassword); }} GO 以下是GO环境下对密码进行加密的示例步骤： plaintext package mainimport ( "crypto/rand" "crypto/rsa" "crypto/x509" "encoding/base64" "encoding/pem" "fmt")const publicKeyword "BEGIN PUBLIC KEYnMIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCcX/slG/wUF6+qVw34VTW+gwFuVvHMHAPmu9jDn+jwED2A+i87CuYpvcjyYwPij41uS6SPZ/MSWDTO6f8/1YRs0Jbj1SIDNpRl/udTEbsPquFIqHSQSZsQseZS+j0HCAIwLUgMAJHW4AHw622Vgiirsm7gOY0qwnry1BmymiVXlQIDAQABnEND PUBLIC KEY"func Encrypt(password string) string { publicKeywordByte : []byte(publicKeyword) block, : pem.Decode(publicKeywordByte) if block nil { fmt.Println("解析pem 失败") return "" } publicKeyInterface, error : x509.ParsePKIXPublicKey(block.Bytes) if error ! nil { fmt.Println("Failed to parse public key:", error) return "" } publicKey, ok : publicKeyInterface.(rsa.PublicKey) if !ok { fmt.Println("Public key is not type rsa.publicKey") return "" } ciphertext, err : rsa.EncryptPKCS1v15(rand.Reader, publicKey, []byte(password)) if err ! nil { fmt.Println("Encryption failed:", err) return "" } return base64.StdEncoding.EncodeToString(ciphertext)}func main() { fmt.Println(Encrypt("密码"))}

本节介绍云容器引擎的最佳实践:合理分配容器资源。 CPU和内存是节点重要的资源，分配不当时可能导致容器频繁重启或者被驱赶，甚至导致节点宕机。特别是内存这类不可压缩的资源。 Kubernetes 将运行的 Pod 分为不同的 QoS 类，QoS 类由 Pod 中容器的资源请求（request）和限制（limit）决定。当 Node 资源不足时，Kubernetes 会根据 QoS 类驱逐可驱逐的 Pod。此外，Pod 或因超过限制（limit）被 kubelet 终止，或因没有限制而导致节点 OOM。 Kubernetes QoS 类有Guaranteed、Burstable、BestEffort。 Guaranteed Guaranteed Pod 具有最严格的资源限制，且最不可能被驱逐。在这些 Pod 未超过其资源的limit，或没有可从 Node 抢占的低优先级 Pod 之前，它们不会被kill。即它们只能使用其指定的资源限制。Pod 被赋予 Guaranteed QoS 类的几个判断： Pod 中的每个容器必须有 CPU 和内存的 request 和 limit 对于 Pod 中的每个容器，CPU 和内存的 limit 必须分别等于 CPU 和内存的 request Burstable Burstable Pod 具有基于请求的资源下限保证，但不需要资源限制。如果未指定资源limit，则默认为节点容量。这允许 Burstable Pod 在资源可用时灵活地增加其资源。在由于节点资源压力导致 Pod 被驱逐的情况下，Burstable Pod 只会在所有 BestEffort Pod 被驱逐后才会被驱逐。Burstable Pod 可以包括没有资源 limit 或 request 的容器，因此可以尝试使用任意数量的节点资源。 Pod 不满足 QoS 类 Guaranteed 的判定依据 Pod 中至少一个容器有CPU或内存的 request 或 limit

本节介绍接入集群如何通过IPv6接入管控实例。 操作步骤 资源准备 管控实例vpc和子网支持IPv6，参考：搭建IPv6私有网络，无需购买云主机。 创建内网ELB，参考：创建负载均衡器，网络类型选择内网。 创建管控实例并启用IPv6 1. 在分布式容器云平台控制台左侧导航栏中选择【分布式集群】>【管控实例】>【实例信息】，点击【创建管控实例】进入订购页面。 2. 在管控实例订购页面，选择在【前置步骤】中创建的支持ipv6的vpc、子网，启用ipv6, 选择创建的ELB 3. 提交订单等待管控实例创建完成 4. 在实例信息页面，启用NAT64功能 5. 查看在【前置步骤】中创建的ELB的详情，查看6443监听器的后端主机组， 确认IPV6健康检查状态正常

ECS/EBM实例要求 ECS/EBM实例需满足以下要求方可制作自定义镜像： 1. 强烈建议使用新订购的实例，以确保包含天翼云最新的补丁修复。 2. 实例计费方式支持包周期或按量付费，从成本角度推荐选用按量付费类型。 3. 创建实例时需绑定弹性IP，确保实例具备外网访问能力。 4. 云主机实例需配置可用的yum源。 自定义镜像操作步骤 以下以基于ECS创建自定义镜像为例说明自定义镜像制作流程： 1. 登录天翼云控制台。 2. 在左侧导航栏选择“弹性云主机”。 3. 在页面顶部选择目标资源所在地域。 4. 单击“创建云主机”按钮，具体操作可参考创建弹性云主机。如需创建物理机镜像，需先创建物理机，流程参考创建物理机。 5. 云主机或物理机创建完成后，登录实例并将自定义脚本上传至root目录。各操作系统对应的脚本下载路径如下： CTyunOS23.01（支持x86和arm64云主机、弹性裸金属）、CTyunOS2.0.1（支持x86和arm64云主机、弹性裸金属）、Centos7.9（仅支持x86云主机、弹性裸金属）: 下载路径： Ubuntu18.04（仅支持x86云主机）、Ubuntu20.04（仅支持x86云主机）、Ubuntu22.04（仅支持x86云主机）： 下载地址： Anolis8.4（仅支持x86云主机）: 下载地址： UnitechOSV20（支持x86和arm64云主机）: 下载地址： KylinV10SP3（支持x86和arm64云主机）: 下载地址： openEuler22.03（支持x86和arm64云主机）: 下载地址： 6. 解压脚本后进入对应目录，按需执行以下命令： 制作云主机镜像：bash startup.sh 制作云主机GPU镜像：bash startup.sh gpu 制作裸金属主机镜像：bash setup.sh baremetal 制作裸金属GPU主机镜像：bash setup.sh baremetal gpu 7. 脚本执行成功后删除脚本文件，并关机。 8. 在左侧导航栏选择“镜像服务”，单击“创建私有镜像”，选择已创建的云主机生成镜像。 注意 基于裸金属主机创建的镜像仅限同可用区（AZ）使用，不跨资源池。例如，若裸金属主机创建于华东1的AZ1，则生成的镜像也仅存在于华东1的AZ1，不会自动同步至该地域的其他可用区。如需将镜像同步至其他可用区，需提交工单处理，且同步后镜像名称保持不变。例如，AZ1中名为“Ctyun”的镜像同步到AZ2后，在AZ2中的镜像名称仍为“Ctyun” 9. 完成制作后，可在私有镜像列表查看镜像。 点击镜像名称可查看详细信息，如下图所示：

方案二：PVC挂载（每个子目录对应独立PVC） 此方案仅适用于海量文件存储，旨在帮助用户复用现有存储资源。在已有存储基础上划分多个子目录，每个子目录可作为独立PVC供工作负载使用。需先创建海量文件存储类，并选择已购买的海量文件作为底层存储分配基础. 在方案2流程选择新建的这个存储类，如下图所示： 当子目录设置为根路径 / 时，系统将自动创建一个以PV名称为命名的子目录（对用户透明）。用户可通过指定PV名称生成对应的PVC以供使用，从而节省资源开销。 若不通过控制台操作，建议参考 使用OceanFS动态存储卷（subPath模式）进行配置。

本节介绍了通过公网访问集群的用户指南。 简介 本文档介绍了如何通过公网访问云容器引擎集群。通过正确配置 Kubernetes API Server 和 Ingress 控制器，您可以安全地从公网访问集群资源。 绑定EIP 登录云容器引擎控制台，单击集群名称进入集群。 在集群信息页中，点击连接信息，点击公网访问，若未绑定eip，点击绑定eip，若未创建eip，则需先创建eip。 绑定完eip后。 在集群信息页中，点击连接信息。 点击公网访问，复制kubeconfig文件内容，将该内容复制到$HOME/.kube/config文件下： 配置 API Server 修改 API Server 配置 编辑 Kubernetes API Server 配置文件，通常位于 /etc/kubernetes/manifests/kubeapiserver.yaml。在 command 部分添加以下参数： plaintext advertiseaddress externalhostname 替换 为您的公网 IP 地址，替换 为您的公网 DNS 名称。 重启 API Server 应用配置更改后，Kubelet 会自动重新启动 API Server。您可以通过以下命令检查 API Server 是否正常运行： plaintext kubectl get pods n kubesystem 确保 kubeapiserver Pod 处于 Running 状态。 配置防火墙规则 确保防火墙允许以下端口的入站流量： 6443：Kubernetes API Server 80：HTTP 443：HTTPS 具体的防火墙配置取决于您的云提供商。 配置 Ingress 控制器

本节介绍了云容器引擎的最佳实践:集群网络地址段规划实践。 在云容器引擎创建集群时，需要根据具体业务需求规划VPC大小和数量、子网大小和数量、容器网段和服务网段。本文介绍集群各类地址作用，以及如何规划地址段。 约束与限制 使用VPN方式访问集群时，需注意VPN网络与集群所在的VPC网段、容器网段和服务网段不能冲突。 集群各网段基本概念 VPC网段 虚拟私有云（Virtual Private Cloud，VPC）是隔离的、私密的网络环境，可以自定义网络地址、路由表、安全组等。同时，虚拟私有云提供丰富的网络连接，可以满足云上虚拟私有云互访、公网访问、通过专线或者VPN与线下IDC互通等网络场景。 子网网段 云资源（例如云服务器、数据库服务等）须部署在子网内，同子网内网络默认互通，同VPC下不同子网之间默认互通。子网网段创建后无法修改，请合理规划网络。 下图所示，VPC网段结构： 容器网段（Pod网段） 订购集群时，可指定容器网段（即Pod网段）。针对选择的网络插件，容器网段有不同限制： 1、Calico IPIP隧道网络： 可指定一个私有地址段作为容器网段，该地址段仅在集群内有效。网段大小影响后续可添加节点数及可创建Pod数上线，建议使用大网段，例如172.16.0.0/16，如下所示： VPC网段 容器网段 Service网段 最大可分配Pod地址数 192.168.0.0/16 172.16.0.0/16 10.96.0.0/16 65536 容器网段不能与节点所在的VPC网段重叠。例如节点使用子网网段192.168.1.0/24，所属VPC网段为192.168.0.0/16，则不能使用与192.168.0.0/16重叠的网段作为容器网段。

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvcoceanfssubpath 需要添加的子目录填写到这个注解中，以/开头，只允许数字、英文字母，/，，这五种字符。 如果value中只有/，不管是一个/还是多个/，都会用pv的名字替代，作为子目录名字 annotations: ccse.ctyun.cn/subPath: "/abc/edf" spec: accessModes: ReadWriteOnce resources: requests: storage: 100Gi storageClassName: cstorcsioceanfsmassivescsubpath 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "oceanfstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvcoceanfssharepath" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。

本节介绍了云容器引擎的最佳实践:有状态工作负载配置存储实践。 对于有状态应用实例需要持久化状态，每个实例有其独特的身份和持久化的数据存储。有状态应用的存储使用跟其他的工作负载存在差异。 使用方法 有状态应用PVC使用方法选择包括:已有存储卷申明（PVC）和存储卷申明模版（VolumeClaimTemplate）。 已有存储卷声明（PVC）方式较少使用，适用于有状态工作负载的多个副本共享同一PVC的场景。但实际需求中，要求每个副本具备独立存储的情况并不常见。 存储卷声明模板（VolumeClaimTemplate）是有状态工作负载特有的配置项。通过在该工作负载中定义模板，K8S会在创建每个副本时自动生成一个与之对应的PVC，命名规则为{存储声明模板名称}{有状态工作负载名称}{序号}。本文将重点阐述此方法。 注意 有状态工作负载删除后，其关联的PVC会保留。若用户确认不再需要，需手动删除这些PVC。（可通过启用K8S特性门控StatefulSetAutoDeletePVC为true，实现有状态工作负载删除后自动清理PVC）。 若不删除PVC，后续在同一命名空间内创建同名有状态工作负载并使用同名存储卷声明模板时，新工作负载将自动复用原有的PVC。 1. 点击“创建存储卷申明模版”. 2. 定义模版的存储申明类型、已有存储类、容量、卷模式、访问模式. 存储申明类型： 天翼云各类型的产品，用户根据需要自行选择对应的产品。 已有存储类： 用户需要提前创建好产品对应的存储类，用于动态分配。 容量： 存储容量大小 卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能 访问模式： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 3. 创建了一个有状态负载test，存储卷申明模版如下： 4. 有状态工作负载成功启动。 5. 查看pod的yaml，可以看到test1的pod，使用了disktest1这个PVC。 6. PVC列表中，两个PVC均被创建出来并且bound。

照通过kubectl命令行使用云盘快照 1、创建快照类（VolumeSnapshotClass） 使用kubectl连接集群，创建示例yaml文件vscexample.yaml： plaintext apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshotClass metadata: name: {名称} annotations: snapshot.storage.kubernetes.io/isdefaultclass: "false" 是否默认存储类 driver: disk.csi.cstor.com parameters: snapshotType: "STANDARD" 快照类型有STANDARD和FAST两种 快照存储库名字，当snapshotType为STANDARD时必填，当为FAST时无需填写 snapshotRepository: {仓库名} deletionPolicy: {删除策略} 执行以下命令，创建VolumeSnapshotClass： plaintext kubectl apply f vscexample.yaml 查看创建的VolumeSnapshotClass： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“快照与备份”，在快照类列表查看。 2、创建快照（VolumeSnapshot） 使用kubectl连接集群，创建示例yaml文件vsexample.yaml： plaintext apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: {名称} namespace: {命名空间} spec: volumeSnapshotClassName: {快照类} source: persistentVolumeClaimName: {PVCname} 执行以下命令，创建VolumeSnapshot： plaintext kubectl apply f vsexample.yaml 查看创建的快照： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“快照与备份”，在快照列表查看。 3、基于快照创建PVC 使用kubectl连接集群，创建示例yaml文件pvcvsexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {名称} namespace: {命名空间} spec: storageClassName: {存储类名称} dataSource: name: {VolumeSnapshot名称} kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io accessModes: {访问模式} resources: requests: storage: {容量} volumeMode: {卷模式} 执行以下命令，创建PVC： plaintext kubectl apply f pvcvsexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“持久卷声明”，在列表查看。

升级流程、方式及所需时间 升级流程 1. 准备工作：当前云容器引擎一次只能往前升级一个次要版本，升级至下一个云容器引擎支持的次要版本时需要执行两次升级操作。升级前请先参考上文注意事项相关描述。 2. 前置检查：执行前置检查，若有检测到风险项，请按控制台提示进行操作。 3. 集群升级：前置检查通过后，可开始集群升级，云容器引擎会依次升级控制节点和节点池节点。 4. 集群升级后：核验集群、检查节点池运行是否正常，检查集群业务是否运行正常。 升级方式 云容器引擎专有集群是采用原地升级方式，首先升级Master节点，Master节点升级是串行的，一次只升级一个Master节点。升级Master组件，包括kubeapiserver、kubecontrollermanager、kubescheduler、Kubeproxy、Etcd、Kubelet等。 云容器引擎当前尚不支持按节点池升级Worker节点，Master节点升级完毕后自动开始升级Worker节点，Worker节点升级可并发执行，并发数通过每批次最大并行数进行配置，每批次最大并行数最大值不能超过Worker节点数量的1/2。 升级所需时间 云容器引擎专有集群的Master节点需逐个、串行升级，每个Master节点升级时间约为8分钟，Worker节点根据用户配置的并发数量进行升级，单个worker节点升级时间约为1分钟。 操作步骤 同时升级控制面和所有节点池 1、登录云容器引擎控制台，在左侧导航栏选择集群进入集群列表页面。 2、在集群列表页面，选择待升级的集群实例，在右侧功能区选择更多 > 升级进入集群升级页面。若页面提示安装cubesystemupgradecontroller和nodeproblemdetector插件，则点击安装插件按钮安装这两个插件。 3、在集群升级设置每批次的最大并行数，然后单击前置检查，前置检查约需要执行1分钟。 若提示前置检查为正常时，则可以继续进行集群升级操作。 若提示前置检查未通过，可点击查看详情，然后按照页面提示进行修复。修复完成后可再次执行前置检查，确认故障已排查后单击开始升级。 4、升级完成后，您可以在集群列表查看集群版本，确认升级是否成功。 注意 1、升级过程中，请勿添加或删除节点。 2、集群升级过程发生错误时，系统将暂停集群升级进程，集群可能处于部分节点已完成升级的中间状态，可通过工单待工程师排除问题后再继续尝试升级。 3、集群升级过程中，请勿修改systemupgrade命名空间下的相关资源。

本节介绍网络的用户指南:通过Annotation配置负载均衡类型的服务。 通过在Service的Yaml文件中配置注解Annotation，您可以对天翼云负载均衡、监听转发等进行配置，本文介绍负载均衡类型Service支持配置的Annotation。 注解说明 注解名称 描述 示例 支持的CCM版本 service.beta.kubernetes.io/ctyunloadbalancerid 指定已有负载均衡，取值为负载均衡实例的ID。删除service时该 ELB不会被删除 lb v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerspec 指定新建负载均衡的规格，如elb.s2.small elb.s2.small v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalanceraddresstype 指定新建负载均衡的公网私网类型，取值： intranet：负载均衡地址类型为私网，intranet为默认值 internet：负载均衡地址类型为公网 internet v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerprotocolport 指定负载均衡监听HTTP协议或HTTPS协议，可指定多个监听，多个监听之间以逗号“,”分割 https:443,http:80 v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancersslcert 指定SSL证书，取值为SSL证书ID，可在负载均衡控制台的证书管理页面查看证书ID。 仅监听协议为HTTPS协议时需要指定 cert v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerxforwardedfor 指定负载均衡监听器附加XForwardedFor头字段，通过开启该参数，后端服务可获取客户端源IP。取值为“true”或“false” 仅支持监听协议为HTTP和HTTPS协议 "true" v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerchargetype 指定创建公网负载均衡时，公网的计费类型，取值： bandwidth：按带宽计费 traffic：按流量计费，traffic为默认值 traffic v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerbandwidth 计费类型为“bandwidth”时，可指定带宽的大小，值为数字类型，默认为1 Mbps 5 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancercyclecount 指定负载均衡的计费周期，值为数字类型，表示购买月数，默认为1个月 1 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancereipid 指定新建公网负载均衡时，可指定绑定已有的弹性IP，取值为弹性IP的ID，可在网络控制台的弹性IP详情页面查看ID eip v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerprojectid 指定新建负载均衡所属的企业项目，取值为企业项目ID，可在IAM控制台中企业项目详情查看ID 0 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerenableipv6 指定新建负载均衡时，可指定开启负载均衡的ipv6 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6bandwidthid 指定新建支持ipv6的公网负载均衡时，需指定IPv6带宽ID，可在网络控制台的IPv6带宽详情页面查看ID。如果没有IPv6带宽，请先创建一个 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerenablelistenernat64 指定支持ipv6的负载均衡时，可指定开启监听器的nat64，支持负载均衡将ipv6流量转发到ipv4的后端 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6address 指定新建支持ipv6的负载均衡时，可指定负载均衡的ipv6地址（该地址为负载均衡所在子网的ipv6地址段中未被分配的ip），未指定则由系统随机分配 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceroverridelisteners 指定已有负载均衡时，可指定是否强制覆盖已有监听 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckflag 健康检查开关，取值off或on。off：不启用；on：启用 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption 配置全局健康检查的选项，对service下所有端口配置起作用。内容为json类型数据，数据结构见下表“健康检查字段数据结构说明” 注意 使用该字段，需确保service下端口配置的protocol协议一致 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoptions 配置健康检查的选项，支持为service下单个端口或部分端口配置健康检查。内容为数组形式的json数据，数据结构参考表“健康检查字段数据结构说明” 注意 该字段不能与“service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption”同时使用 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclflag 指定访问控制的类型，取值： inherit：继承已有ELB配置； all：允许所有IP访问； white：白名单； black：黑名单 white v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclstatus 访问控制开关，值为on或off，只有为on时，黑/白名单才会生效 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclid 指定访问策略组的ID，可在负载均衡控制台的访问策略组页面查看策略ID ac v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerestablishtimeout 指定建立连接超时时间，只用于TCP监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceridletimeout 指定空闲超时时间，只作用于HTTP/HTTPS监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerresponsetimeout 指定响应超时时间，只作用于HTTP/HTTPS监听 "5" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerproxyprotocolflag 指定是否开启后端主机组的Proxy Protocol，ProxyProtocol协议会携带客户端源地址到后端服务器。取值： on：开启 off：关闭 注意 该功能不支持在线平滑开启，切换到ProxyProtocol需要业务停服升级，请谨慎配置。 on v1.1.1及以上 service.beta.kubernetes.io/ctyunloadbalanceripmode 指定Service的External IP模式，值为 vip 或 proxy vip：集群内访问Service不会经过ELB，直接经由ipvs/iptables转发到Service对应的后端Pod proxy：集群内访问Service会先经过ELB，最终再转发到对应后端Pod 注意 该特性要求Kubernetes集群版本大于v1.29 proxy v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalanceriptype 指定Service的External IP地址类型，值为 private 或 public private：设置ELB的私网IP为Service的External IP public：设置ELB的公网IP为Service的External IP public v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalancerpreservesourceip 指定是否开启客户端源地址保持，值为 true 或 false true：开启 false：关闭 注意 客户端源地址保持要求Service的ExternalTrafficPolicy必须为Local。开启该特性，需确保集群节点的弹性网卡对应的安全组已放通客户端源IP，避免影响网络连通 true v1.5.0及以上

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 计费模式 可以选择按需计费或者包年包月 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 存储类型：参数键为type，支持参数值如下： massive ：容量型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有对应的云硬盘类型，再进行选择。 存储标签：创建存储资源时，给存储资源添加对应的标签，注意，该标签不是K8S的label，而是存储侧的资源标签，需要在存储控制台或者云资源视图查看。

通过kubectl命令行使用海量文件静态存储卷 注意 1. 以下配置仅支持CSI版本4.0及其以上，您可以先在插件市场对CSI插件升级，再按照以下配置编写yaml。 2. 以下参数为建议配置，您可在存储产品的支持范围内，根据自身实际情况进行调整。 3. 部分参数由于不常用，示例中以 开头，未放开该参数，如有需求，请您根据实际需求使用。 4. 部分 开头的中文内容为内容解释，并非参数。 1、创建持久卷（PV） 使用kubectl连接集群，创建示例yaml文件pvexample.yaml： plaintext apiVersion: v1 kind: PersistentVolume metadata: name: pvcoceanfstest01 pv的名字，以“pvc”开头，然后记下后缀名，也就是oceanfstest01。 spec: accessModes: ReadWriteOnce capacity: storage: 11Gi 填写存储大小，按照。单位有Mi、Gi、Ti、Pi csi: driver: oceanfs.csi.cstor.com fsType: ext4 volumeAttributes: ccse.ctyun.cn/subPath: /opq/ 子目录，必须以/开头，必须填写子目录的路径 driverType: oceanfs.csi.cstor.com mode: subPath oceanfsUUID: 8c200b3d52f151e9ab409d6bb3e7b65f 填写从存储控制台上取得的海量文件ID protocol: nfs recyclePolicy: DeleteSubPath sharePath: 100.123.136.193:/mnt/sfsmass/dbb34d3272a808e47705f6e16d471949myuk8pv6kkm1pefa/opq/

使用海量文件静态存储卷，即使用预先在海量文件服务控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载海量文件。 该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 sharePath模式是指将完整的海量文件存储作为持久卷使用。当用户挂载持久卷声明时，海量文件的根目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 已在海量文件服务控制台创建文件系统 已建文件系统VPC需要包括容器集群所属VPC，如没有，在文件系统列表页，针对指定实例点击“添加VPC” 使用限制 参见海量文件使用限制 通过控制台使用海量文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 海量文件名称 选择已创建的文件系统。 已有存储类 选择存储类，该功能一般在静态的方式下不怎么使用。 除非用户有一个持久卷申明并且携带了存储类，那么这里才需要添加存储类，使其与持久卷申明匹配。 模式 使用已有海量文件：基于已经存在的海量文件，使用海量文件本身作为一个持久卷。 使用海量文件子目录：基于某个已经存在的海量文件，使用它的子目录作为一个持久卷。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 说明 静态导入场景下，回收策略均为默认Retain，cstorcsi不会删除数据。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

本节介绍网络的用户指南:DNS策略。 DNS策略概述 可以为Pod设置DNS解析策略，目前Kubernetes支持Default、ClusterFirst、ClusterFirstWithHostNet和None四种DNS策略，可通过Pod的dnsPolicy字段指定： ClusterFirst：是Pod的默认DNS策略，任何与集群域后缀不匹配的DNS查询均会转发到上游DNS服务器。上游DNS服务器默认取自节点的resolv.conf，集群管理员可配置了额外的存根域和上游DNS服务； Default：此策略下，名称解析配置将从Pod所在节点继承，自定义存根域和上游域名服务不能够与该策略一起使用； ClusterFirstWithHostNet：使用hostNetwork的Pod需指定为ClusterFirstWithHostNet，否则其默认的ClusterFirst策略会退化为Default； None：使用此策略的Pod，其DNS配置取自Pod的dnsConfig定义。 DNS策略配置示例 根据不同使用场景，DNS策略配置示例如下： 使用容器集群提供的CoreDNS来做域名解析 针对这种场景，可使用ClusterFirst策略，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo dnsPolicy: ClusterFirst Pod层面自定义DNS配置 若需要给工作负载指定DNS配置时，可使用None策略，并配置dnsConfig，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo dnsPolicy: None dnsConfig: nameservers: ["169.254.xx.xx"] searches: default.svc.cluster.local svc.cluster.local cluster.local options: name: ndots value: "2" 其中，dnsConfig中的参数说明如下： 参数 描述 nameservers 将用作Pod的DNS服务IP地址列表，最多可以指定3个地址。当Pod的dnsPolicy设置为None时，列表必须至少包含一个IP地址。列出的DNS的IP列表将合并到基于dnsPolicy生成的域名解析文件的nameserver字段中，并删除重复的地址。 searches Pod中主机名查找的DNS搜索域列表，此属性是可选的。指定后，提供的列表将合并到从所选DNS策略生成的基本搜索域名中，并删除重复的域名。Kubernetes最多允许6个搜索域。 options 可选的对象列表，其中每个对象可以具有name属性（必需）和value属性（可选）。此属性中的内容将合并到从指定的DNS策略生成的选项中，并删除重复的条目。

操作系统 已知缺陷 原因 解决方法 Centos7.9 运行时为containerd时，偶尔可见pod长期处于Terminating状态，无法正常终止 使用的3.10.01160内核版本缺陷所致 echo fs.maydetachmounts1 >> /etc/sysctl.conf sysctl p Centos7.9 os在cpu/内存资源富裕的情况下无法派生线程/协程 低版本内核的os kernel.pidmax使用了较小的默认值32768 echo kernel.pidmax4194304 >> /etc/sysctl.conf sysctl p Ubuntu 18.04 os在cpu/内存资源富裕的情况下无法派生线程/协程 低版本内核的os kernel.pidmax使用了较小的默认值32768 echo kernel.pidmax4194304 >> /etc/sysctl.conf sysctl p

本节介绍网络的用户指南:NGINX Ingress Controller。 NGINX Ingress Controller是一种常见的Ingress Controller实现，它利用NGINX的高级性能和灵活性来处理服务的路由和负载均衡。当一个Ingress资源在Kubernetes集群中被创建或更新时，Ingress Controller会检测到这些变化。然后，它会根据Ingress资源定义的规则，自动生成对应的NGINX配置，以实现请求的路由和负载均衡。 NGINX配置包括如何处理进入的网络请求（例如，基于主机名或URL路径进行路由），以及如何将请求路由到后端的服务实例。NGINX Ingress Controller会定期检查Ingress资源的变化，如果检测到任何更改，它会自动更新NGINX配置以反映这些更改。此外，NGINX Ingress Controller还支持一些高级特性，如SSL终止、WebSocket、HTTP/2和更复杂的负载均衡算法。这些特性都可以通过Kubernetes Ingress资源的注解来配置。 Nginx Ingress Controller通过Pod部署在工作节点，因此引入了相应的组件运行和运维成本，其工作原理如图所示： 注意 1、用户提交Ingress资源后，Nginx Ingress Controller会获取该资源并解析为转发规则，写入Nginx的配置文件（nginx.conf）； 2、触发Nginx进行reload，以加载更新后的配置文件，完成Nginx转发规则的修改和更新； 3、集群外客户端可通过控制节点IP或VIP（若存在）访问Nginx，Nginx组件根据转发规则将其转发至对应的服务Service，最终转发到对应的后端Pod。

步骤二：购买弹性IP 步骤三：购买NAT网关及配置路由 参考：点这里 步骤四：配置SNAT规则 进入上一步创建的NAT网关； 选择“添加SNAT”规则； “源网段类型”选择VPC内子网； 子网选择步骤一中确定的子网网段； 弹性ip选择步骤二中新建的弹性ip； 点击“确定”，完成SNAT规则添加。 步骤五：进入指定pod，测试连通性 在步骤一的pod列表中，选择pod，进行“远程登录”： 在命令窗口，执行“ping www.ctyun.com” 能ping通，说明pod内服务可以访问公网。

操作步骤 1.检查待纳管的云主机是否具备独立数据盘，且首块数据盘未被分区或格式化。独立数据盘非强制要求，但若缺失，容器数据将默认存储于系统盘。 2.若首块数据盘已被分区或格式化，可先备份数据，再使用以下命令擦除磁盘： plaintext wipefs a 3.登录云容器引擎控制台，进入要纳管节点的集。 4.在集群控制台左侧导航栏中选择“节点 ”，切换至“节点”页签并点击“纳管节点”。 5.点击选择“已有的服务器 ”，选择待纳管的云服务器，点击"确定"。 6. 选择“操作系统 ”，填写“登录密码 ”以及“确认密码 ”，再根据需要填写高级配置：节点标签 、节点污点 、部署前/后执行脚本. 7. 单击“下一步 ”，并单击“提交”。 重复纳管 出于数据安全考虑，节点纳管时会跳过已格式化或分区的磁盘。当对主机执行"纳管移除再次纳管"操作时，容器数据将直接存储于系统盘，而非数据盘。 可通过以下步骤使容器数据落于数据盘。 1.登录云主机控制台访问云主机。 2.定位云容器引擎使用的数据盘： 若主机仅有一块数据盘，直接执行步骤3。 若有多块磁盘，容器引擎一般会选择位于系统盘之上（即倒数第二块）的磁盘作为容器数据盘，或通过磁盘类型、容量信息定位磁盘的盘符。 云盘列表中显示的是云盘的名称和id，云盘挂载到os时会自动分配磁盘设备名称，可以使用云盘id前缀查找到云盘的设备名称。 登录到操作系统，可通过如下指令查到云盘在os中的设备名称。 3.检查云盘是否已经被格式化。 可以使用步骤2找到的磁盘设备名称，使用blkid指令检查结果。 plaintext blkid grep nvme1n1 若发现磁盘已经被格式化，则执行wipefs a指令擦除。 4.在云容器引擎控制台执行节点纳管操作。

本节介绍了云容器引擎的最佳实践;Service实现灰度发布和蓝绿发布 实现云容器引擎的灰度发布，常规做法需要在集群中部署如Nginx Ingress或Traefik这样的开源工具，或者依赖服务网格的功能。这些方案在操作上可能较为复杂，对于只需简单灰度发布且不希望引入过多额外插件或复杂流程的用户来说，可以考虑利用Kubernetes自带的特性来达成目标。这样，我们不仅能实现简单的灰度发布和蓝绿发布，还能保持系统的简洁和高效。 原理介绍 用户在进行业务部署时，通常会选择利用Kubernetes中的无状态负载Deployment和有状态负载StatefulSet等对象，这些对象各自负责管理一组Pod。以Deployment为例，示意图如下： 在Kubernetes中，为了使得工作负载能够被外部访问，用户通常会为每个工作负载创建一个对应的Service。这个Service通过selector机制来匹配后端Pod，从而建立起访问路径。无论是集群内部的其他服务还是集群外部的客户端，只需访问这个Service，就能间接访问到后端Pod所提供的服务。若希望将服务对外暴露，用户只需将Service的类型设置为LoadBalancer，此时，一个弹性负载均衡器（ELB）将作为流量入口，负责将外部请求转发到后端Pod。 灰度发布原理 以Deployment为例，按照上述的方式每个Deployment创建一个Service，Service通过selector匹配后端Pod，通过Service最终访问到业务Pod。使不同Deployment的Pod被同一Service的selector选中，即表示同一Service可以访问不同Deployement的Pod。调整不同版本Deployment的副本数，即可调整路由到不同版本负载的流量比例，实现灰度发布。示意图如下：

本节介绍云容器引擎的最佳实践:使用hostAliases配置Pod /etc/hosts。 使用场景 DNS配置不满足要求时，可以通过配置 hostAliases 向pod的“/etc/hosts”文件中添加域名解析条目。 操作步骤 进入云容器引擎集群控制台 选择工作负载>无状态>创建Deployment 点击高级配置，设置主机别名配置 远程登录pod查看配置的 hostAliases 是否正常，执行如下命令：

本节介绍了云容器引擎的计费类常见问题。 容器计费项和计费方式是什么？ 支持包年包月和按需计费2种方式，详情可查：点这里 容器如何定价？ 收费项包括：集群管理费、IaaS资源费等, 详情可查：点这里 容器创建的节点是否支持按需转包周期？ 目前不支持按需与包周期互转。 如何为购买的容器实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长容器实例的有效期，也可以设置到期自动续费的相关操作。 开通的容器实例资源何时生效？ 天翼云容器资源在客户支付成功之后，系统经过初始化完成后即可生效使用。 包周期集群到期可以直接删除吗？ 按天翼云规则，到期实例有15天冻结期，期间用户可以发起续订，集群实例会恢复。超过15天冻结期，实例会注销。 如何退订我的容器集群？ 进入控制台，从集群管理列表，可以发起退订。详细可查看：删除集群

预置角色 集群内RBAC权限 管理员 对集群所有命名空间下 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的读写权限 运维人员 对集群所有命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的只读权限 开发人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限 受限人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 只读权限 自定义 权限由您所选择的 ClusterRole 决定，请在确定所选 ClusterRole 对各类资源的操作权限后再进行授权，以免子账号获得不符合预期的权限

本节介绍了云容器引擎的应用场景,便于用户选择业务场景使用。 微服务架构 企业应用通过微服务拆分和容器化改造后，推荐使用云容器引擎+容器镜像服务+微服务云应用平台+注册配置中心的产品组合，实现一站式云原生应用托管，加速企业业务迭代。 持续集成交付 提供从开发到上线一致的运行环境，借助第三方工具进行流水线开发测试，自动完成从代码变更到代码构建、测试、镜像构建和应用部署的DevOps完整流程。进行持续交付，替代传统部署方式，提高交付效率。 弹性伸缩 企业应用按业务流量自动扩缩容，不需要人工干预，预防流量激增时导致的业务不可用风险，并且减少对闲置资源的浪费和费用支出。