步骤4：下线旧版本Service v1 将常规Ingress grayv1ing 的服务名称改为grayv2deploy 删除Canary Ingress grayv2ing 删除旧无状态应用 grayv1deploy 和配置项 grayv1

功能 Proxy集群默认只支持DB 0。 通过改写请求的KEY名，实现多DB的功能。 开启多DB后，DB数支持0~255。 打开/关闭方法 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，单击目标实例名称进入实例详情管理。 4. 左侧菜单点击实例配置>参数配置，打开参数配置界面，修改multipledb参数后点击保存按钮，即可生效。 注意 注意开启/关闭多DB前，最好先清空数据。 修改后，原来的数据无法正常通过代理访问。 开启多DB后的限制 1. 不支持SWAPDB命令 2. DBSIZE和FLUSHDB命令执行的效率很低，涉及SCAN所有KEY。尽量不要使用 3. SCAN命令和KEYS命令的执行效率也会降低。 4. INFO命令KEYSPACE部分不会展示其他DB的信息。 5. RANDOMKEY命令有限支持。但并不会随机返回所有KEY 6. LUA脚本和FUNCTION函数里面不支持多DB。 脚本和函数里面也不支持使用参数以外的其他KEY访问 7. LUA脚本中不支持使用publish 8. DB支持范围0~255 9. 事务中不支持执行SELECT和MOVE命令 10. 实际存储的KEY是经过改写的。所以从RDB文件或慢语句等其他途径会看到非原始的KEY。但客户端通过代理的场景，则不会有任何影响。

资源

本节主要介绍按需与包周期互转 概述说明 计费模式为按需计费的用户，可以对实例进行“转包周期”操作，变更实例计费模式为包年/包月。 计费模式为包年/包月计费的用户，可以对实例进行“转按需”，包年/包月到期后变更实例计费模式为按需计费。 按需转包周期 前提条件 只有通过实名认证的客户，才可以执行包年/包月转按需操作。 当前Redis实例的计费模式是“按需计费”。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，选择计费模式为按需计费的实例，点击【更多>转包周期】，跳转到转包周期订购页面。 4. 在转包周期订购页面，选择“购买时长”后，单击“提交订单”。 5. 根据界面提示信息，支付费用，完成实例转包周期操作。 包周期转按需 前提条件 只有通过实名认证的客户，才可以执行包周期转按需操作。 当前Redis实例的计费模式是“包周期”。 在续订管理页面，资源状态是“在用”的Redis实例才能执行到期转按需。 包周期资源未到期可以申请变更为按需，但包周期结束后按需计费模式才生效。 操作步骤 1. 登录 Redis管理控制台。 2. 在管理控制台左上角选择实例所在的区域。 3. 在实例列表页，选择计费模式为包周期的实例，点击【更多>到期转按需】，跳转到续订管理页面。 4. 进入续订管理页面，选择需要转按需的实例，点击【到期转按需】。 5. 查看资费变更的相关信息后，单击“转按需”，即可完成包周期转按需操作。

本节介绍了云容器引擎的续费、到期与欠费说明。 到期前续费 手动续订：对于包年/包月订购的云容器引擎，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考费用中心续订管理手动续订。 自动续订：自动续订仅针对采用包月、包年计费模式的资源，详细操作请参考费用中心续订管理自动续订。 到期处理 到期后，云容器引擎进入保留期，您将不能正常访问及使用天翼云云容器引擎。 若您在到期后15天内续费，续费成功后系统将从原到期时间开始计算新的服务有效期并计算费用； 若到期15天后您仍未续费，云容器引擎将被删除。 欠费原因 在按需计费的模式下账号的余额不足。 欠费停服说明 欠费后云容器引擎会自动停止。 如果您在15天内充值补足欠款，服务会自动启用。 当欠费超过15天，将视为您主动放弃该服务，云容器引擎将会被销毁，销毁后数据不可恢复。因此请您及时关注账户余额并及时续费以保证您的服务不受到影响。 查看欠费账单 欠费后，可以查看欠费详情或者消费账单，具体请参见文档费用中心账单管理查看消费账单。

配置名 示例值 选择器 namespaceSelector 命名空间 demo 标签 kubernetes.io/metadata.name: demo

本节介绍了容器垂直伸缩(VPA)的用户指南。 通过在容器集群上部署安装cubeverticalpodautoscaler组件，云容器引擎可以提供垂直的容器伸缩的功能。VPA会基于Pod的资源使用情况自动调整集群中容器的资源请求和限制，从而可以让Pod调度到有充足资源的最佳节点上。 前提条件 请确保您已完成以下操作： 已创建一个Kubernetes集群，且Kubernetes版本高于1.23。 已使用命令行工具连接集群。 已卸载集群中已经部署的VPA，以避免新安装的VPA与旧版VPA冲突而导致VPA不可用。 背景信息 注意 容器垂直伸缩功能目前处于试验阶段，请谨慎使用。 更新正在运行的Pod资源配置是VPA的一项试验性功能，会导致Pod的重建和重启，而且有可能被调度到其他的节点上。 VPA不会驱逐没有在副本控制器管理下的Pod。目前对于这类Pod，Auto模式等同于Initial模式。 目前VPA不能和监控CPU和内存度量的Horizontal Pod Autoscaler （HPA）同时运行，除非HPA只监控其他定制化的或者外部的资源度量。 VPA使用admission webhook作为其准入控制器。如果集群中有其他的admission webhook，需要确保它们不会与VPA发生冲突。准入控制器的执行顺序定义在API Server的配置参数中。 VPA会处理出现的绝大多数OOM（Out Of Memory）的事件，但不保证所有的场景下都有效。 VPA的性能还没有在大型集群中测试过。 VPA对Pod资源requests的修改值可能超过实际的资源上限，例如节点资源上限、空闲资源或资源配额，从而造成Pod处于Pending状态无法被调度。同时使用集群自动伸缩（ClusterAutoscaler）可以一定程度上解决这个问题。 多个VPA同时匹配同一个Pod会造成未定义的行为。

容器、容器日志时间与节点同步 容器和节点时间同步后，容器的日志时间戳仍可能与节点时间相差8小时。比较典型的应用场景是容器的工作进程为使用tomcat应用。 tomcat应用的日志输出默认使用UTC时间，即便容器与节点时间已经同步，应用的日志输出也会相差8小时，该问题需要在构建镜像阶段解决。 1、先获取基础tomcat镜像的catalina.sh脚本 mkdir tmp docker run rm tomcat: v tmp:/mnt cp /usr/local/tomcat/bin/catalina.sh /mnt/catalina.sh 2、修改catalina.sh脚本的JAVAOPTSshell变量，添加Duser.timezoneGMT+08配置项 JAVAOPTS"$JAVAOPTS Djava.protocol.handler.pkgsorg.apache.catalina.webresources Duser.timezoneGMT+08" 3、使用Dockerfile重建tomcat应用容器镜像，将修改后的catalina.sh脚本拷贝到构建目录，然后在Dockerfile中添加下列构建指令 COPY catalina.sh /usr/local/bin/tomcat/bin/catalina.sh

本节介绍了配置项的用户指南。 操作场景 配置项（ConfigMap ）是一种 API 对象，用来将非机密性的数据保存到键值对中。使用时， Pods 可以将其用作环境变量、命令行参数或者存储卷中的配置文件。 配置项允许您将环境配置信息和容器镜像解耦，便于应用配置的修改。 前提条件 已创建云容器引擎集群，具体操作请详见：订购集群 若已有云容器引擎集群，无需重复操作。 操作步骤 创建配置项： 方式1：通过界面创建配置项。 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要创建配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择配置管理 > 配置项，进入配置项信息页面。 4、点击新建，进入新建配置项页面。 5、根据实际需求，设置参数。参数说明可参考下表 参数 参数说明 名称 新建的配置名称，同一个命名空间里命名必须唯一。 标签 标签（Labels）是附加到 Kubernetes 对象（比如 Pod、Service、ConfigMap等）上的键值对。标签定义了这些对象的可识别属性，用来对它们进行管理和选择。 1. 点击标签添加一个标签。 2. 输入标签名（key）和标签值（value）。 注解 注解（Annotation）是附加到Kubernetes 对象（比如 Pod、Service、ConfigMap等）上的键值对注解定义对象的非标识属性。 1. 点击注解添加一个注解。 2. 输入注解名（key）和注解值（value）。 内容 配置项定义的配置数据，可以挂载到容器中使用，或用来存储配置数据 。 1. 输入变量名和变量值。 2. 也可以导入文件作为配置项（文件名即变量名，文件内容即变量值）。 6、点击提交，完成创建。 方式2：使用Yaml创建配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要创建配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择配置管理 > 配置项，进入配置项信息页面。 4、点击新建YAML，进入配置项/新增Yaml页面。 5、Yaml编辑窗口提供一个默认的配置项Yaml模板，可参考模板创建需要的配置项。

环境变量的查看 若已知testcm1和testsecret1的内容，可通过kubectl命令进入Pod并查看环境变量。例如，使用“kubectl exec”命令执行“printenv”以列出所有环境变量。通过此方式，可以验证环境变量是否已正确设置和导入。 注意 由于密钥值在YAML中以base64编码形式展示，因此在查看时需要进行相应的解码处理。同时，资源引用中的CPU限制值在展示时可能因单位转换（如从毫核转换为核）而略有差异。

本节介绍了云容器引擎的最佳实践:某量子云平台迁移项目。 项目概述 某量子云平台对外提供量子计算机实验/实操服务，其应用架构由他云迁移到天翼云，通过天翼云实现应用组件化和容器化，通过K8S统一部署和管理业务。 该平台包括官网、博客网站、web管理后台等系统。 容器支撑方案 迁移使用的容器架构图如下： 研发迭代更高效：使用crs镜像服务一键部署应用 便于扩容快弹性高：使用HPA弹性伸缩Pod 解决内外网互联互通：使用Nginx+Spring Cloud Gateway实现内外网流量隔离和路由转发 底层资源占用少：使用csi插件动态挂载sfs存储 助力运维更便捷：使用云日志插件采集容器日志 最终效果 2023年6月迁移至天翼云试运行，12月已付费容器并运营至今，现业务稳定运行。

NodePort 最简单的方法就是使用NodePort。我们只需要为前端应用在K8S集群中创建一个Service对象，在这个对象中指定一个主机端口比如为30000，那么，每台主机上的kubeproxy（部署K8S集群时已部署好）便会监听30000端口。当访问主机的30000端口时，kubeproxy便会转发到前端应用的容器实例去。如下： 由于容器在K8S集群的Master主机上安装了keepalived，绑定了一个VIP，所以我们可以通过 NodePort+Nginx 在上面的NodePort方案中，kubeproxy处是没有办法设置HTTPS证书的，所以上面的方案只支持HTTP，不支持HTTPS。 如果要支持HTTPS，则需要在kubeproxy的前面手动搭建Nginx集群，在Nginx处手动配置HTTPS证书，手动配置转发规则；两个Nginx主机上还要安装Keepalived绑定一个VIP，以保证高可用。如下： 上面的Nginx可以搭建在K8S集群的外面，也可以搭建在K8S集群的主机上（是物理部署在主机上，不是部署在容器内），但不要部署在K8S集群的Master主机上，因为Master主机上已经部署了keepalived，以免和Nginx的keepalived冲突。 NodePort+LVS NodePort的方案中，VIP只在一台主机上，可能承受不了大流量的访问。此时，我们可以在NodePort的前面手动搭建LVS，如下： LVS需要手动搭建，LVS主机上还要安装keepalived绑定VIP以保证入口的高可用；LVS配置DR模式转发到多台K8S主机上；kubeproxy处每开放一个主机端口，在LVS处也需要配置这个端口；该方案不支持HTTPS，因为LVS处是四层转发，不支持配置HTTPS。

蓝绿发布原理 以Deployment为例，假设在集群中已经部署了两个不同版本的Deployment，这些Pod都拥有一些共同的标签，但其中有一个标签的值是不同的，这个值用于区分它们的版本。Service在选择后端Pod时，会依据这些标签。如果想要更改Service后端对应的Pod，即实现服务从一个版本切换到另一个版本，我们只需修改Service的selector中那个用于区分版本的标签的值。这样，Service就会自动将流量转发到新版本的Pod上，从而实现了版本的平滑切换。示意图如下： 示例说明 前提条件 已上传测试镜像至容器镜像服务，镜像包含v1和v2两个版本。 资源创建方式 本文提供以下两种方式使用YAML部署Deployment和Service： 方式1：在无状态工作负载页面，单击上方的“新增YAML”，再将本文示例的YAML文件内容输入编辑窗中。 方式2：将本文的示例YAML保存为文件，再使用kubectl指定YAML文件进行创建。例如：kubectl create f xxx.yaml。 步骤1：部署两个版本的服务 在集群中部署两个版本的服务。 1、创建第一个版本的Deployment，名称以appv1为例。YAML示例如下： apiVersion: apps/v1 kind: Deployment metadata: name: appv1 spec: replicas: 2 selector: matchLabels: app: myapp version: v1 template: metadata: labels: app: myapp version: v1 spec: containers: image: {repositoryurl}/myapp:v1 name: container resources: limits: cpu: 100m memory: 200Mi requests: cpu: 100m memory: 200Mi 2、创建第二个版本的Deployment，名称以appv2为例。YAML示例如下： apiVersion: apps/v1 kind: Deployment metadata: name: appv2 spec: replicas: 2 selector: matchLabels: app: myapp version: v2 template: metadata: labels: app: myapp version: v2 spec: containers: image: {repositoryurl}/myapp:v2 name: container resources: limits: cpu: 100m memory: 200Mi requests: cpu: 100m memory: 200Mi 您可以登录云容器引擎控制台查看部署情况。

说明 监听器 监听器会新增一条HTTP88的记录，并已开启“通过XForwardedFor获取客户端IP” 后端主机组 后端主机组新增关联监听器HTTP88的记录

访问验证 以工作负载为nginx为例： 进入负载详情，查看pod日志，打开自动刷新； 本地请求访问工作负载 查看pod日志，从nginx access.log可以看到请求记录，下面124.127.58.即为本机ip地址，可获取客户端真实ip 192.168.0.17 [08/Apr/2024:06:30:14 +0000] "GET / HTTP/1.1" 304 0 "" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36" "124.127.58." 节点端口（NodePort）SVC 当选择服务类型为“节点端口”，即NodePort类型SVC，有以下两种获取客户端源IP方式： 1. 配置SVC外部流量策略，即Service的spec.externalTrafficPolicy，配置为Local。 该方式下外部请求就只会被代理到本地 endpoints 而不会被转发到其它节点，这样就保留了原来的IP 地址。 2. 该模式下客户端只能访问pod所在的node节点，无法使用其他node节点访问服务。 3. 配置SVC外部流量策略仍为Cluster，创建SVC之后，需要在负载均衡器中手动创建监听器及后端主机组，后端主机组配置为容器节点及端口。 注意 cubecni不支持外部流量策略为Local模式 说明 该模式下客户端只能访问pod所在的node节点，无法使用其他node节点访问服务 方式一：外部流量策略为Local 创建服务时，选择类型为“节点端口”，外部流量策略为Local： 创建完成后，通过 access.log可以看到请求记录，下面192.168.0.6即为内网ip地址，可获取客户端真实ip： 192.168.0.6 [08/Apr/2024:07:31:25 +0000] "GET / HTTP/1.1" 200 615 "" "curl/7.79.1" ""

NodePort+Nginx+LVS 如果流量大，还需要支持HTTPS，则需要使用该种方案。 在kubeproxy的前面手动搭建Nginx，在Nginx的前面手动搭建LVS，如下： LVS需要手动安装，同时需要安装keepalived绑定VIP，以保证访问入口的高可用； Nginx需要手动安装，手动配置HTTPS证书 ；LVS处只需要配置一个端口，转发到Nginx的同端口；Nginx只需要监听一个端口，通过不同的域名，转发到kubeproxy上不同的端口；kubeproxy根据不同的端口，转发到的集群内的不同的应用。 Ingress Ingress是一种不同于NodePort的方案，如下： IngressController只监听一个端口，通过不同的域名转发到K8S集群中不同的应用；所以该方案只支持域名访问，不支持IP访问。 只有K8S的Master主机上才会有IngressController，Master主机上已经有VIP，所以DNS服务器把域名解析为VIP，即可保证入口的高可用。 在云容器引擎管理台页面上，通过为应用创建不同的Ingress对象，来为不同的应用指定不同的域名。 IngressController目前不支持配置HTTPS证书，后续会支持。所以该方案目前不支持HTTPS，只支持HTTP。 Ingress+LVS 上面的Ingress方案，由于VIP只在一台主机上，所以不适合大访问量的场景。如果访问量较大，可以使用Ingress+LVS，如下： LVS需要手动安装与配置，LVS主机上需要安装keepalived绑定VIP以保证入口高可用 。LVS只需要监听一个端口（IngressController监听的端口） 。浏览器通过域名访问，DNS服务器把域名解析为LVS的VIP，LVS把请求转给其中某个IngressController，IngressController通过域名转发到不同的集群内的应用。该方案与上面方案一样，目前不支持HTTPS，后续会支持。

参数 参数说明 名称 新建的保密字典名称，同⼀个命名空间⾥命名必须唯⼀ 类型 包含Opaque、镜像拉取凭证、TLS证书以及其他 标签 标签（Labels）是附加到Kubernetes对象（比如Pod、Service、ConfigMap等）上的键值对。 标签定义了这些对象的可识别属性，用来对它们进行管理和选择 1. 点击标签添加⼀个标签 2. 输⼊标签名（key）和标签值（value） 注解 注解（Annotation）是附加到Kubernetes对象（比如Pod、Service、ConfigMap等）上的键值对 注解定义对象的非标识属性 1. 点击注解添加⼀个注解 2. 输入注解名（key）和注解值（value） 内容 保密字典定义的配置数据，可以挂载到容器中使用，或用来存储配置数据 1. 输入变量名和变量值 2. 也可以导入文件作为保密字典（文件名即变量名，文件内容即变量值）

类型 字段 说明 PV 访问模式 定义 PV 的访问模式，包括： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 PV 回收策略 PV对象的回收策略表示当PVC释放时如何处理该数据卷。 回收策略包括： Retained（保留）：用户需手动回收存储资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。注意，用户如果手动删除PV，而不是由CSI自动删除，并不会导致后端存储资源被删除，设置为“删除”策略时，强烈建议用户勿手动删除PV。 PV 容量 定义 PV 的容量大小。 PV 卷模式 Kubernetes 支持两种卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kubernetes会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能。 PV 挂载选项 可以指定持久卷被挂载到节点上时使用的附加挂载选项。Kubernetes 不对挂载选项执行合法性检查。如果挂载选项是非法的，挂载就会失败。 说明 并非所有持久卷类型都支持挂载选项。 PV 标签 标签（labels）是用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 PVC 访问模式 PVC（PersistentVolumeClaim）可以指定对持久化存储的访问模式需求。 在绑定 PV 时，系统将尝试找到访问模式满足 PVC 需求的PV，否则PVC 将无法绑定到 PV。 PVC 卷模式 Kubernetes 支持两种卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kubernetes会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 PVC 表示PVC指定的容量。 说明 当 PVC 与 已有PV 绑定时，PV 的容量必须大于或等于 PVC 所需的容量。否则，PV 将无法满足 PVC 的需求，绑定将失败。 PVC 存储类 可以通过为 storageClassName 属性设置 StorageClass 的名称来请求特定的存储类。 只有所请求的类的 PV 卷，即 storageClassName 值与 PVC 设置相同的 PV 卷， 才能与该PVC绑定。

字段 说明 存储驱动（provisioner） 用来决定使用哪个卷插件制备 PV 回收策略(reclaimPolicy) 由 StorageClass 动态创建的 PV会在类的 reclaimPolicy 字段中指定回收策略，可以是 Delete 或者 Retain。如果 StorageClass 对象被创建时没有指定 reclaimPolicy，默认为 Delete。 通过 StorageClass 手动创建并管理的 PV会使用它们被创建时指定的回收策略。 绑定模式（volumeBindingMode） 该控制了卷绑定和动态供应应该发生在什么阶段。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PersistentVolume 的绑定和制备，直到使用该 PersistentVolumeClaim 的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 说明 volumeBindingMode配置为WaitForFirstConsumer，可以解决以下可能情况： 1、创建了A可用区的数据卷，但是A可用区的节点资源已经耗光，导致Pod启动无法完成挂载。 2、集群管理员在规划PVC、PV的时候不能确定在哪些可用区创建多个PV来备用。 卷扩展 当StorageClass 的 allowVolumeExpansion 字段设置为 true ，表示动态创建的PV可以配置为可扩展，即允许用户通过编辑相应的 PVC 对象来调整卷大小。 挂载选项 由 StorageClass 动态创建的 PV 将使用类中 mountOptions 字段指定的挂载选项。 Kubernetes 不对挂载选项执行合法性检查。如果挂载选项是非法的，挂载就会失败。 说明 并非所有持久卷类型都支持挂载选项。

使用镜像拉取凭证 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使用镜像拉取凭证的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并点击 新建Deployment 中的显示高级设置展开工作负载的高级设置。 6、在镜像拉取凭证 中点击添加并选择已创建的镜像拉取凭证。 7、点击提交完成创建。

使用保密字典 方式1： 通过挂载数据卷使用保密字典 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使用保密字典的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在数据卷中，点击添加数据卷，选择secret类型，填写卷名称，并选择添加已有secret选择已有的保密字典。 6、在实例内容器的挂载点中，选择挂载数据卷，并添加挂载的容器路径及权限。 7、点击提交，完成创建。 方式2：环境变量中使用保密字典 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 2、在集群列表中点击需要使⽤保密字典的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在环境变量中，点击新增变量，类型选择secretKeyRef，并选择已有的保密字典，填写环境变量名。 6、点击提交，完成创建。

本节介绍了配置项的用户指南。 操作场景 配置项（ConfigMap ）是一种 API 对象，用来将非机密性的数据保存到键值对中。使用时， Pods 可以将其用作环境变量、命令行参数或者存储卷中的配置文件。 配置项允许您将环境配置信息和容器镜像解耦，便于应用配置的修改。 前提条件 已创建云容器引擎集群，具体操作请详见：订购集群 若已有云容器引擎集群，无需重复操作。 操作步骤 创建配置项： 方式1：通过界面创建配置项。 1、登录云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要创建配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择配置管理 > 配置项，进入配置项信息页面。 4、点击新建，进入新建配置项页面。 5、根据实际需求，设置参数。参数说明可参考下表 参数 参数说明 名称 新建的配置名称，同一个命名空间里命名必须唯一。 标签 标签（Labels）是附加到 Kubernetes 对象（比如 Pod、Service、ConfigMap等）上的键值对。标签定义了这些对象的可识别属性，用来对它们进行管理和选择。 1. 点击标签添加一个标签。 2. 输入标签名（key）和标签值（value）。 注解 注解（Annotation）是附加到Kubernetes 对象（比如 Pod、Service、ConfigMap等）上的键值对注解定义对象的非标识属性。 1. 点击注解添加一个注解。 2. 输入注解名（key）和注解值（value）。 内容 配置项定义的配置数据，可以挂载到容器中使用，或用来存储配置数据 。 1. 输入变量名和变量值。 2. 也可以导入文件作为配置项（文件名即变量名，文件内容即变量值）。 6、点击提交，完成创建。 方式2：使用Yaml创建配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要创建配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择配置管理 > 配置项，进入配置项信息页面。 4、点击新建YAML，进入配置项/新增Yaml页面。 5、Yaml编辑窗口提供一个默认的配置项Yaml模板，可参考模板创建需要的配置项。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行 plaintext echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行 plaintext cat /ccetmp/test.log 预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

字段 说明 apiVersion API版本，固定值 autoscaling.ctyun.com/v1beta1 kind API类型，固定值 CronHorizontalPodAutoscaler metadata.name CronHPA策略名称。 metadata.labels 策略标签 metadata.namespace CronHPA策略所在的命名空间。 spec.scaleTargetRef 指定CronHPA的扩缩容对象，可配置以下字段： apiVersion：CronHPA扩缩容对象的API版本。 kind：CronHPA扩缩容对象的API类型。 name：CronHPA扩缩容对象的名称。CronHPA支持HPA策略或Deployment。 spec.jobs CronHPA策略规则，可添加多个规则。每个规则可配置以下字段： name：CronHPA规则名称，该名称需唯一。 schedule：指定任务运行时间与周期，参数格式与gocron类似，请参见下表。 targetSize：扩缩容的Pod数目。 disable：参数值为“true”或“false”。其中“false”表示该规则生效，“true”则表示该规则不生效。

本节介绍了创建守护进程(DaemonSet)的用户指南。 基本概念 创建守护进程：即kubernetes中的“DaemonSet”，守护进程集确保全部（或者某些）节点都运行一个Pod实例，支持实例动态添加到新节点，适用于实例在每个节点上都需要运行的场景，如ceph、fluentd、Prometheus Node Exporter等。 操作场景 守护进程集（DaemonSet）可以确保全部（或者某些）节点上仅运行一个Pod实例，当有节点加入集群时，也会为他们新增一个 Pod。当有节点从集群移除时，这些Pod也会被回收。删除 DaemonSet 将会删除它创建的所有Pod。 使用DaemonSet的一些典型用法： 运行集群存储daemon，例如在每个节点上运行glusterd、ceph。 在每个节点上运行日志收集daemon，例如fluentd、logstash。 在每个节点上运行监控daemon，例如Prometheus Node Exporter、collectd、Datadog代理、New Relic代理，或Ganglia gmond。 一种简单的用法是为每种类型的守护进程在所有的节点上都启动一个DaemonSet。一个稍微复杂的用法是为同一种守护进程部署多个DaemonSet；每个具有不同的标志， 并且对不同硬件类型具有不同的内存、CPU要求。 前提条件 在创建守护进程集前，您需要存在一个可用集群。若没有可用集群，请参照购买集群中内容创建。 操作步骤及说明 步骤 1 登录云容器引擎控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，选择“守护进程”，在右上角单击“创建DaemonSet”。 步骤 3 配置工作负载的信息。

本节介绍了创建守护进程(DaemonSet)的用户指南。 基本概念 创建守护进程：即kubernetes中的“DaemonSet”，守护进程集确保全部（或者某些）节点都运行一个Pod实例，支持实例动态添加到新节点，适用于实例在每个节点上都需要运行的场景，如ceph、fluentd、Prometheus Node Exporter等。 操作场景 守护进程集（DaemonSet）可以确保全部（或者某些）节点上仅运行一个Pod实例，当有节点加入集群时，也会为他们新增一个 Pod。当有节点从集群移除时，这些Pod也会被回收。删除 DaemonSet 将会删除它创建的所有Pod。 使用DaemonSet的一些典型用法： 运行集群存储daemon，例如在每个节点上运行glusterd、ceph。 在每个节点上运行日志收集daemon，例如fluentd、logstash。 在每个节点上运行监控daemon，例如Prometheus Node Exporter、collectd、Datadog代理、New Relic代理，或Ganglia gmond。 一种简单的用法是为每种类型的守护进程在所有的节点上都启动一个DaemonSet。一个稍微复杂的用法是为同一种守护进程部署多个DaemonSet；每个具有不同的标志， 并且对不同硬件类型具有不同的内存、CPU要求。 前提条件 在创建守护进程集前，您需要存在一个可用集群。若没有可用集群，请参照购买集群中内容创建。 操作步骤及说明 步骤 1 登录云容器引擎控制台。 步骤 2 单击集群名称进入集群，在左侧选择“工作负载”，选择“守护进程”，在右上角单击“创建DaemonSet”。 步骤 3 配置工作负载的信息。

配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 是否指定存储卷 在静态创建的场景下，需要指定上一步的存储卷。 持久卷名称 选择上一步创建的PV名称。

本节介绍了容器垂直伸缩(VPA)的用户指南。 通过在容器集群上部署安装cubeverticalpodautoscaler组件，云容器引擎可以提供垂直的容器伸缩的功能。VPA会基于Pod的资源使用情况自动调整集群中容器的资源请求和限制，从而可以让Pod调度到有充足资源的最佳节点上。 前提条件 请确保您已完成以下操作： 已创建一个Kubernetes集群，且Kubernetes版本高于1.23。 已使用命令行工具连接集群。 已卸载集群中已经部署的VPA，以避免新安装的VPA与旧版VPA冲突而导致VPA不可用。 背景信息 注意 容器垂直伸缩功能目前处于试验阶段，请谨慎使用。 更新正在运行的Pod资源配置是VPA的一项试验性功能，会导致Pod的重建和重启，而且有可能被调度到其他的节点上。 VPA不会驱逐没有在副本控制器管理下的Pod。目前对于这类Pod，Auto模式等同于Initial模式。 目前VPA不能和监控CPU和内存度量的Horizontal Pod Autoscaler （HPA）同时运行，除非HPA只监控其他定制化的或者外部的资源度量。 VPA使用admission webhook作为其准入控制器。如果集群中有其他的admission webhook，需要确保它们不会与VPA发生冲突。准入控制器的执行顺序定义在API Server的配置参数中。 VPA会处理出现的绝大多数OOM（Out Of Memory）的事件，但不保证所有的场景下都有效。 VPA的性能还没有在大型集群中测试过。 VPA对Pod资源requests的修改值可能超过实际的资源上限，例如节点资源上限、空闲资源或资源配额，从而造成Pod处于Pending状态无法被调度。同时使用集群自动伸缩（ClusterAutoscaler）可以一定程度上解决这个问题。 多个VPA同时匹配同一个Pod会造成未定义的行为。

2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 这里选择通用。 分配模式 这里选择“已有存储卷”。 持久卷名称 选择上一步创建的PV名称。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。 3、创建工作负载 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，单击左上角“创建SatefulSet”； 在创建对话框，数据卷栏中，选择添加数据卷，卷类型选择“使用已有PVC”，操作栏选择“添加已有PVC”； 在实例内容器栏，为容器设置挂载点。选择添加挂载点，选择数据卷为上一步创建，根据需要配置容器路径和权限； 所有的信息都配置完成后，单击 “提交” 。 创建成功后，您就可以正常使用数据卷。 通过kubectl命令行使用LocalPV静态存储卷

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/tmp 目录下写一个文件，执行echo "Hello World" > /tmp/test.log 2、查看/tmp目录下文件，执行ls /tmp，预期结果如下: plaintext lost+found test.log 登录pod所在节点，进入PV配置使用目录，可以看到容器内文件： 退出pod的“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /tmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，数据仍然存在，说明数据可持久化保存。

本节介绍了用户指南: 并行文件概述。 云容器引擎支持使用天翼云并行文件存储卷。cstorcsi插件支持使用并行文件动态存储卷和静态存储卷，通过将并行文件存储卷挂载到容器指定目录，可满足数据持久化需求。 并行文件服务提供高性能并行文件存储，支持全NVMe闪存与RDMA技术，最高可实现百万级IOPS和百GBps吞吐量，同时保障亚毫秒级延迟。该服务具备高性能、高可靠性和高可扩展性特点，能够充分满足影视渲染、AI训练及自动驾驶等数据密集型场景的需求。 使用限制 插件版本 使用并行文件存储功能，需要cstorcsi插件版本 >3.3.2 容器集群 当前并行文件服务功能仅智算集群可见 文件协议 当前cstorcsi插件仅支持HPFSPOSIX协议 容量 单个文件系统最小容量为512GB 可用区 协议类型为hpfs时，不支持跨可用区挂载。 使用并行文件存储PVC的Pod将会被强制调度到该PVC创建时指定的可用区内 其他限制 参见 并行文件使用限制 产品优势 共享访问 1. 支持上千台客户端挂载同一文件系统，实现共享访问。 2. 支持 NFS、HPFSPOSIX 协议类型，用户能够在创建文件系统时指定协议类型，通过标准 POSIX 接口访问数据，无缝适配主流应用程序进行数据读写。 3. 支持 MPII/O 并行计算接口，满足多客户端并行计算场景。 弹性扩展 1. 采用可扩展的元数据架构，单个文件系统可支持几十亿级别的文件数量，在海量文件场景下，仍然保持稳定持续的高效访问性能。 2. 分钟级别快速扩容，用户可根据实际需要对文件系统进行在线扩容，扩容过程 IO 不中断，保障业务连续性。 安全可信 1. 支持使用 VPC 用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 使用多种 EC 方式、热备盘备份保证数据的可靠性。 3. 支持 HA，故障时自动切换，服务可用性在99.90%及以上。 性能优越 1. 可支持高性能100GE 以太网、IB、RoCE 网络。 2. 带宽、IOPS 性能可以随文件系统容量线性提升，最高提供百万 IOPS 和百 GBps 吞吐，同时保证亚毫秒级时延，使得数据访问更加高效。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。