本节介绍了添加环境变量的用户指南。 环境变量是指容器运行环境中设定的一个变量，在云容器云引擎负载中的设置效果，与Dockerfile中利用“ENV”指令定义的环境变量效果相同，用户可在部署工作负载时进行灵活配置。 注意 请务必注意，一旦容器启动，其内部内容应当保持不变。若尝试在容器运行期间修改配置项（例如，将应用的密码、证书或环境变量直接配置到容器中），在容器重启（如因节点异常导致Pod重新调度）后，这些修改将不复存在，可能导致业务异常。为避免配置丢失，建议通过入参等方式将配置信息导入容器中。 环境变量的设置 自定义方式：用户可手动输入环境变量的名称及其对应的值。 配置项导入：允许将整个配置项中的所有键值对导入为环境变量。 配置项键值导入：用户可选择配置项中的特定键值，将其值导入为某个环境变量的值。例如，可将名为“configmapexample”的配置项中键为“configmapkey”的值导入为名为“key1”的环境变量的值。 密钥导入：允许将整个密钥中的所有键值对导入为环境变量。 密钥键值导入：用户可选择密钥中的特定键值，将其值导入为某个环境变量的值。例如，可将名为“secretexample”的密钥中键为“secretkey”的值导入为名为“key2”的环境变量的值。 变量/变量引用：允许使用Pod定义的字段值作为环境变量的值。 资源引用：允许使用容器定义的资源请求值或限制值作为环境变量的值。

验证调度结果 1. 在Kubernetes集群控制台中，导航到“工作负载”页面。 2. 点击工作负载名称进入详情页，查看实例列表。 3. 确认所有Pod都已调度到包含gputrue标签的目标节点上。 通过上述步骤，您可以利用Kubernetes的节点亲和性调度功能，确保高性能计算等特定需求的工作负载被精确地调度到合适的节点上，从而优化资源利用和性能表现。

本节介绍了创建有状态工作负载(StatefulSet)的用户指南。 基本概念 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysqlHA等。 操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于云容器引擎提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 约束与限制 当您删除或扩缩有状态负载时，为保证数据安全，系统并不会删除它所关联的存储卷。 当您删除一个有状态负载时，为实现有状态负载中的Pod可以有序停止，请在删除之前将副本数缩容到0。 您需要在创建有状态负载的同时，创建一个Headless Service，用于解决有状态负载Pod互相访问的问题，详情请参见Headless Service。 节点不可用时，Pod状态变为“未就绪”，此时需要手工删除有状态工作负载的Pod，Pod实例才会迁移到正常节点上。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照集群开通中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。

本节介绍了:POD异常问题排查的用户指南。 Pod异常问题排查 本文介绍关于Pod异常问题的诊断流程、排查方法、常见问题及解决方案。 排查流程 1、首先需查看Pod是否处于异常状态，具体操作请参见下文【 检查Pod的状态 】相关章节 2、如果Pod状态异常，可通过在容器服务控制台查看Pod事件、Pod日志、Pod配置等信息确定异常原因 3、如果Pod状态为Running但并未正常工作，请参见下文【 Pod状态为Running但没正常工作 】章节 4、若确认Pod状态异常是由Pod OOM所致，请参见【 Pod OOM异常问题处理 】章节 5、如果根据本文的操作说明问题仍未解决，请提交工单申请售后服务 常规排查方法 检查Pod的状态 1、登录控制台 2、在控制台左侧导航栏，单击集群 3、在集群列表页面，单击目标集群名称 4、在集群管理页左侧导航栏，选择工作负载 > 容器组 5、在容器组页面顶部选择Pod所在的 命名空间 ，查看Pod状态。若状态为Running，说明Pod运行正常。若状态不为Running，说明Pod状态异常 检查Pod的详情 1、登录控制台 2、在控制台左侧导航栏，单击集群 3、在集群列表页面，单击目标集群名称 4、在集群管理页左侧导航栏，选择工作负载 > 容器组 5、在容器组页面顶部选择Pod所在的命名空间，然后单击目标Pod名称，查看Pod的名称、镜像、Pod IP、所在节点等详细信息

组件名称 组件介绍 适用场景 使用限制 HPA Kubernetes内置组件，主要面向在线业务。 在线业务 适用于Deployment、StatefulSet等实现scale接口的对象。 VPA（alpha） 开源社区组件，主要面向大型单体应用。 大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。 Cubescaler CCSE自研插件，主要面向应用资源使用率存在周期性变化的场景。 周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的对象。

本节介绍了用户指南: 并行文件概述。 云容器引擎支持使用天翼云并行文件存储卷。cstorcsi插件支持使用并行文件动态存储卷和静态存储卷，通过将并行文件存储卷挂载到容器指定目录，可满足数据持久化需求。 并行文件服务提供高性能并行文件存储，支持全NVMe闪存与RDMA技术，最高可实现百万级IOPS和百GBps吞吐量，同时保障亚毫秒级延迟。该服务具备高性能、高可靠性和高可扩展性特点，能够充分满足影视渲染、AI训练及自动驾驶等数据密集型场景的需求。 使用限制 插件版本 使用并行文件存储功能，需要cstorcsi插件版本 >3.3.2 容器集群 当前并行文件服务功能仅智算集群可见 文件协议 当前cstorcsi插件仅支持HPFSPOSIX协议 容量 单个文件系统最小容量为512GB 可用区 协议类型为hpfs时，不支持跨可用区挂载。 使用并行文件存储PVC的Pod将会被强制调度到该PVC创建时指定的的可用区内 其他限制 参见 并行文件使用限制 产品优势 共享访问 1. 支持上千台客户端挂载同一文件系统，实现共享访问。 2. 支持 NFS、HPFSPOSIX 协议类型，用户能够在创建文件系统时指定协议类型，通过标准 POSIX 接口访问数据，无缝适配主流应用程序进行数据读写。 3. 支持 MPII/O 并行计算接口，满足多客户端并行计算场景。 弹性扩展 1. 采用可扩展的元数据架构，单个文件系统可支持几十亿级别的文件数量，在海量文件场景下，仍然保持稳定持续的高效访问性能。 2. 分钟级别快速扩容，用户可根据实际需要对文件系统进行在线扩容，扩容过程 IO 不中断，保障业务连续性。 安全可信 1. 支持使用 VPC 用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 使用多种 EC 方式、热备盘备份保证数据的可靠性。 3. 支持 HA，故障时自动切换，服务可用性在99.90%及以上。 性能优越 1. 可支持高性能100GE 以太网、IB、RoCE 网络。 2. 带宽、IOPS 性能可以随文件系统容量线性提升，最高提供百万 IOPS 和百 GBps 吞吐，同时保证亚毫秒级时延，使得数据访问更加高效。

本节介绍了节点诊断对应的检查项以及修复方案。 节点诊断主要包括ClusterComponent检查、Node检查、NodeComponent检查等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 诊断项分组 说明 ClusterComponent 检查集群常见问题，检查项包括APIServer可用性、DNS可用性、集群插件版本是否最新等。 Node 检查节点实例常见问题，检查项包括节点状态、网络状态、内核日志、核心进程和服务可用性等。 NodeComponent 检查节点核心组件状态，检查项包括集群网络插件和集群存储插件。 ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。

查看MySQL容器（可选） 进入k8s集群，通过命令查看我们刚刚创建出来的MySQL容器。 执行命令进入这个MySQL容器。 执行MySQL命令连接MySQL客户端，此处的参数分别为：h后面的参数为我们在3.1步骤中创建的MySQL工作负载名称，u指定用户为root用户，p参数指定root用户的密码，指定的密码为我们在3.1中创建MySQL容器时指定的MYSQLROOTPASSWORD这个环境变量的值。 查看MySQL中的database，即可看到我们在3.1中通过MYSQLDATABASE这个环境变量创建的database。 验证MySQL容器的持久存储（可选） 创建一个database 容器化Web访问MySQL（LocalPV）连续指定两次exit命令分别退出MySQL客户端和MySQL容器。 我们可以在容器界面上重新部署MySQL容器，然后查看数据是否仍然存在。

本节介绍了云容器引擎的退订说明。 如果您有退订的需求，可以进行登录天翼云管理中心或云容器引擎控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

查看诊断结果 在故障诊断页面诊断列表的操作列，点击目标诊断报告对应的诊断详情，在诊断详情页面查看详细诊断结果，诊断项状态为异常时，需要确认，如果是引起集群异常的问题需要处理。 注意 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。

通过命令行设置 设置节点亲和性 节点亲和性允许您基于节点的标签来控制Pod的调度。以下是一个示例： apiVersion: apps/v1 kind: Deployment metadata: name: mydeployment spec: replicas: 5 selector: matchLabels: app: myapp template: metadata: labels: app: myapp spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: disktype operator: In values: ssd containers: name: mycontainer image: myrepo/myimage:latest 在上述示例中，节点必须具有标签disktypessd，Pod才会被调度到这些节点上。 设置节点反亲和性 apiVersion: apps/v1 kind: Deployment metadata: name: mydeployment spec: replicas: 5 selector: matchLabels: app: myapp template: metadata: labels: app: myapp spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: disktype operator: NotIn values: ssd containers: name: myappcontainer image: myappimage:latest ports: containerPort: 8080 注意 上述示例中，将确保 myapp 的 Pod 不会调度到标记为 disktypessd 的节点上，从而实现节点反亲和性。 设置Pod亲和性 Pod亲和性允许您基于其他Pod的标签来控制Pod的调度。以下是一个示例： apiVersion: apps/v1 kind: Deployment metadata: name: mydeployment spec: replicas: 5 selector: matchLabels: app: myapp template: metadata: labels: app: myapp spec: affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: labelSelector: matchLabels: app: myapp topologyKey: "kubernetes.io/hostname" containers: name: mycontainer image: myrepo/myimage:latest 注意 在上述示例中，新创建的Pod将被调度到与具有标签appmyapp的Pod相同的节点上。

检查项 描述 级别 PrivilegeEscalationAllowed 允许特权升级 紧急 CanImpersonateUser role/clusterrole 有伪装成其他用户权限 警告 CanDeleteResources role/clusterrole 有删除 kubernetes 资源权限 警告 CanModifyWorkloads role/clusterrole 有修改 kubernetes 资源权限 警告 NoCPULimits 资源没有设置 CPU 使用限制 警告 NoCPURequests 资源没有设置预留 CPU 警告 HighRiskCapabilities 开启了高危功能，例如 ALL/SYSADMIN/NETADMIN 紧急 HostIPCAllowed 开启了主机 IPC 紧急 HostNetworkAllowed 开启了主机网络 紧急 HostPIDAllowed 开启了主机PID 紧急 HostPortAllowed 开启了主机端口 紧急 ImagePullPolicyNotAlways 镜像拉取策略不是 always 警告 ImageTagIsLatest 镜像标签是 latest 警告 ImageTagMiss 镜像没有标签 紧急 InsecureCapabilities 开启了不安全的功能，例如 KILL/SYSCHROOT/CHOWN 警告 NoLivenessProbe 没有设置存活状态检查 警告 NoMemoryLimits 资源没有设置内存使用限制 警告 NoMemoryRequests 资源没有设置预留内存 警告 NoPriorityClassName 没有设置资源调度优先级 通知 PrivilegedAllowed 以特权模式运行资源 紧急 NoReadinessProbe 没有设置就绪状态检查 警告 NotReadOnlyRootFilesystem 没有设置根文件系统为只读 警告 NotRunAsNonRoot 没有设置禁止以 root 用户启动进程 警告 CertificateExpiredPeriod 将检查 ApiServer 证书的到期日期少于30天 紧急 EventAudit 事件检查 警告 NodeStatus 节点状态检查 警告 DockerStatus docker 状态检查 警告 KubeletStatus kubelet 状态检查 警告

Master节点推荐规格 节点规模 4核 8GB（不推荐使用 4核 8GB 以下规格） 1～5个节点 4核 16GB 6～20个节点 8核 32GB 21～100个节点 16核 64GB 101～200个节点 64核 128GB 201～500个节点（请评估爆炸半径风险）

数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。

亲和性配置说明 云容器引擎在创建节点时，会自动给节点打上kubenetes.io/arch的标签，表示节点架构，如下所示。 kubernetes.io/archamd64 取值amd64表示是x86架构，arm64表示是ARM架构。 在创建工作负载时，可以通过配置节点亲和性，将Pod调度到对应架构的节点上，示例如下： apiVersion: v1 kind: Deployment metadata: name: test spec: selector: matchLabels: app: test template: metadata: labels: app: test spec: containers: name: container0 image: registrycrshuadong1.ctyun.cn/library/nginx:1.5amd64 affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: kubernetes.io/arch operator: In values: amd64 nodeSelector配置说明 也可以使用nodeSelector实现相同的效果，示例如下： apiVersion: apps/v1 kind: Deployment metadata: name: test spec: selector: matchLabels: app: test template: metadata: labels: app: test spec: nodeSelector: kubernetes.io/arch: amd64 containers: name: container0 image: registrycrshuadong1.ctyun.cn/library/nginx:1.5amd64 resources: limits: cpu: 250m memory: 512Mi requests: cpu: 250m memory: 512Mi imagePullSecrets: name: defaultsecret 使用双架构镜像 双架构镜像实际上就是对已有的两个不同架构的镜像做一个类似超链接的操作，能够实现在不同的操作系统拉取不同架构的镜像，构建上传步骤如下： 给原始镜像增加tag，方便标识具体区别 docker tag nginx:1.5amd64 registrycrshuadong1.ctyun.cn/library/nginx:1.5amd64 docker tag nginx:1.5arm64 registrycrshuadong1.ctyun.cn/library/nginx:1.5arm64

本页主要介绍云容器引擎产品的API使用说明。 OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用云容器引擎产品API的详细介绍，请参见使用API。您可以在OpenAPI门户了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 Java SDK：ccesdkjavav2.0.5.tar.gz Go SDK：ccesdkgov2.0.3.tar.gz

本节介绍了存储的用户指南:使用SFS静态存储卷。 使用弹性文件静态存储卷时，需预先在弹性文件控制台创建文件系统，并通过手动创建PV指定已有文件系统。创建PVC时关联该PV，即可实现容器内挂载弹性文件。 此模式要求您自行创建文件系统及PV资源，操作和管理相对复杂，通常推荐使用动态创建存储的方式。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 已在弹性文件控制台创建文件系统 已建文件系统VPC需要包括容器集群所属VPC，如没有，在存储控制台文件系统列表页，针对指定实例点击“添加VPC” 使用限制 参见 弹性文件使用限制 通过控制台使用弹性文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 弹性文件名称 选择已创建文件系统。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 名称 PV的名称，以pvc开头。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 说明 静态导入场景下，回收策略均为默认Retain，cstorcsi不会删除数据。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

本节介绍云容器引擎的最佳实践: Cubecni场景下扩容Pod子网。 Cubecni网络场景下，当Pod子网IP不足时，可添加Pod子网以实现Pod子网扩容。 使用限制 非资源委托集群，Pod子网仅支持扩容到3个，请做好规划，建议选择网络位小于等于19的子网，即网段中至少包含8192个IP地址； 添加Pod子网后，不支持移除已使用的Pod子网，请做好规划。 判断Pod子网IP是否充足 可通过如下方式判断子网IP是否充足： 1、查看监控面板，若Pod子网空闲IP数较少，则可考虑扩容Pod子网 2、查看Pod事件，若出现ip not enough等类似信息，说明Pod子网空闲IP已耗尽 新增Pod子网 可在控制台上配置Pod子网，参考如下步骤： 1、在网络控制台创建新的子网，建议创建给Pod使用的子网的网络位小于等于19，即网段中至少包含8192个IP地址； 2、登录云容器引擎控制台，在左侧导航栏单击集群； 3、在集群列表页面，点击目标集群名称，然后点击配置中心 > 网络配置，如下所示，点击 “添加容器子网”：

本节介绍了插件FAQ。 云容器引擎提供了诸多类型的组件，涵盖容器核心组件、应用管理、日志监控、存储等方面，用户可以根据需求进行相应组件的安装、卸载、实例查看等。 本文所涉及组件可以在指定容器集群——“插件”——“插件市场”获取插件列表，主要介绍插件安装及使用过程中常见的问题及分析流程。 安装失败 在“插件”——“插件市场”——选择插件安装，完成相关参数配置后点击“安装”； 安装详情可以在“插件”——“插件实例”中看到相应插件实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 以下是常见的插件安装失败问题： 1、cstorcsi插件安装报 no matches for kind “PodSecurityPolicy” in version “policy/v1beta1 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。 该问题解决方案有以下两种方式： 将cstorcsi升级至3.2.0，按原参数安装即可； 如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 2、cubenodelocaldns插件安装报 resource mapping not found for name: "ccsenodelocaldnsadmissioncontroller namespace "kubesystem" from "": no matches for kind "Certificate" in version "certmanager.io/v1"” 该报错是由于cubenodelocaldns插件安装依赖certmanager组件，请先在插件市场中安装certmanager，再重新安装cubenodelocaldns即可。

云硬盘 弹性文件 对象存储 并行文件 海量文件 概念 云硬盘（CTEVS，Elastic Volume Service）是一种可弹性扩展的块存储设备，可以为弹性云主机和弹性裸金属服务器提供高性能、高可靠的块存储服务。天翼云硬盘规格丰富，满足不同场景的业务需求，适用于文件系统、数据库、开发测试等场景。 弹性文件服务（CTSFS，Scalable File Service）提供按需扩展的高性能文件存储，可为云上多个弹性云服务器、容器、裸金属服务器提供共享访问，具备高可用性和高数据持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云为客户提供的一种海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 并行文件服务 HPFS（CTHPFS，High Performance File Storage）是由天翼云提供的高性能并行文件存储，具有高性能，高可靠性，高可扩展性的特点，充分满足影视渲染、自动驾驶等计算和数据密集型场景的需求。 海量文件服务OceanFS（）是天翼云推出的全托管、可扩展海量文件系统，满足海量数据、高带宽型应用场景的需求。OceanFS能够弹性扩展至PB规模，具备高可用性和持久性。 数据存储逻辑 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 采用文件存储方式，会以文件和文件夹的层次结构来整理和呈现数据。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 动态存储卷 支持 支持 支持 支持 支持 静态存储卷 支持 支持 支持 支持 支持 支持数据共享 共享盘支持 支持 支持，一般用于共享读场景，不建议用于写场景。 支持 支持 存储容量 10~ 32768GB 500~ 19480GB 不限制存储空间大小，理论上可无限扩容。 512GB~10PB 100GB~4PB 应用场景 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如影视渲染、气象分析、石油勘探、EDA仿真、基因分析、AI训练、自动驾驶等计算和数据密集型场景的需求。 如HPC、媒体处理、文件共享、内容管理和Web服务等多种场景。 产品规格 参见： 参见： 参见： 参见： 参见： 计费说明 参见： 参见： 参见： 参见： 参见：

本节介绍了用户指南:云硬盘概述。 云容器引擎支持使用天翼云云硬盘存储卷。当前 cstorcsi 插件可提供云盘动态存储卷和静态存储卷功能，通过将云硬盘挂载至容器指定目录，实现数据持久化需求。 云硬盘挂载支持容器在同一可用区内迁移时，所挂载的云硬盘随之自动迁移。 通过挂载云硬盘，可将远端存储系统中的数据直接映射到容器内部。即使容器被删除，存储卷中的数据仍会保留在云硬盘中，确保数据的安全性与持久性。 使用限制 共享存储 非共享盘存储：仅支持单节点挂载，访问模式不可设置为 ReadWriteMany。 共享盘存储：支持多节点同时挂载，但卷模式仅限块设备（Block），不支持文件系统（Filesystem）。 卷模式与访问模式 卷模式 访问模式 Block ReadWriteOnce ReadWriteMany ReadOnlyMany Filesystem ReadWriteOnce 跨可用区 云硬盘不支持跨可用区挂载。当Pod重建时，会重新挂载原云盘。若由于其他限制无法调度到原可用区，则Pod将会处于Pending状态。 容量 单个数据盘最小容量10GB，最大容量为32TB，最小扩容容量为1GB，扩容步长为1GB。 挂载数量 单个节点允许挂载的数量受底层存储的限制，如有需要，请参照云硬盘产品文档。 节点类型 昇腾裸金属节点不支持挂载云盘。 磁盘模式 当前仅支持云硬盘磁盘模式为VBD。 云盘加密 暂不支持使用加密盘。 挂载应用类型 推荐使用有状态应用通过PVC模版方式挂载使用云盘。 无状态应用挂载使用云盘有诸多限制，比如当选择卷模式为Filesystem的存储卷时，无法为每个Pod配置独立的存储卷，所以要求Replica需要配置为1或者保证Pod均调度到同一节点上。此外，由于Deployment的升级策略，重启Pod时新的Pod可能一直无法挂载，故不推荐使用。 应用参数配置 创建工作负载时，如果配置了securityContext.fsgroup参数，kubelet在存储卷挂载完成后会执行chmod和chown操作，导致挂载时间延长。

本节介绍了有状态服务的用户指南。 基本概念 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysqlHA等。 操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。 因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于云容器引擎提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照集群开通中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建StatefulSet与创建Deployment的过程类似，但主要有以下几个方面的差异，需要注意： 数据卷 除了Deployment能够使用的六种类型的数据卷之外，StatefulSet还多了新建PVC这种类型的数据卷挂载，而且这种类型的数据卷仅StatefulSet能够使用。一般情况下，如果我们使用StatefulSet来做数据的持久化，即可使用新建PVC这种数据卷。 使用这种数据卷挂载的时候，我们需要提前创建好存储类，然后点击上面的新建pvc。 新建pvc时的参数需要留意，只有同时满足下述条件，新建PVC才能成功绑定到我们提前创建的持久存储卷上： 名称可以任意填写 StorageClass；名称要选择我们提前创建好的持久存储类。 所需容器：不能超过我们提前创建好的持久存储卷的容量。 访问模式：要和我们提前创建的持久存储卷的访问模式一致。

名称 说明 备份名称 必填，备份任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且备份任务是当前集群中唯一。 备份策略 必填，可选项立即备份与定时备份两种： 立即备份：在任务创建后马上执行备份，备份任务完结后生成备份包； 定时备份：按任务配置的执行策略周期性执行备份任务，每次任务执行完后按照设置的保留天数来清理超出保留天数的备份包。

本节介绍了节点的用户指南。 操作场景 查看集群的节点信息，并对节点进行调度、驱逐、污点配置。 前提条件 ● 在查看集群节点前，您需要存在⼀个可用集群。若没有可⽤集群，请参照订购集群 进行创建。 ● 在查看节点监控信息前，您需要确保已经安装监控插件。若没有安装监控插件，请参考插件市场 进行创建。 操作步骤 1、调度或驱逐：点击 调度 或者 驱逐 按钮实现相应操作。 2、污点配置：点击“更多”>“污点管理”。按照提示，新增所需要的污点Key、Value和所对应的操作，点击 确认 保存。 3、节点监控分为两个入口，分别通过点击节点名和点击 监控 按钮进入，其中点击节点名查看到的监控信息主要是集群节点相关的数据，通过 监控 按钮查看到的信息是物理资源监控。

本节介绍了定时任务的用户指南。 基本概念 定时任务：即kubernetes中的“CronJob”，定时任务是按照指定时间周期运行的短任务。使用场景为在某个固定时间点，为所有运行中的节点做时间同步。 操作场景 定时任务是按照指定时间周期运行的短任务。使用场景为在某个固定时间点，为所有运行中的节点做时间同步。 定时任务是基于时间的Job，就类似于Linux系统的crontab，在指定的时间周期运行指定的Job，即：在给定时间点只运行一次。在给定时间点周期性地运行。 CronJob的典型用法如下所示：在给定的时间点调度Job运行。创建周期性运行的Job，例如数据库备份、发送邮件。 前提条件 在创建定时任务前，您需要存在一个可用集群。若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 创建CronJob与创建Deployment的过程类似，但存在以下的差异，需要注意： 定时任务的执行策略 执行策略：选择CronJob的执行周期，即每隔这个时间周期CronJob就会执行一次 并发策略：CronJob是周期性执行的，那么可能存在一种情形是上一周期中任务还没有执行完，但是已经到了下一个时间周期，并发策略用于设置这种情形下的CronJob怎么执行： 允许：让这两个周期的任务同时存在，并发执行 禁止：下一个时间周期的任务不执行 替换：停止行一个周期的任务，开始执行下一个时间周期的任务 Job参数 用于设置定时任务中任务的参数：

本节介绍了插件实例的用户指南。 操作场景 插件实例展示的是用户已经安装的插件，用户可以在此界面中完成插件的重新安装、卸载等操作。 前提条件 在维护插件实例前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 在维护插件实例前，您需要先安装插件。若没有插件实例，请参考插件市场操作步骤安装插件中的内容进行安装。 操作步骤 重新安装插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要重新安装的插件实例，点击“重新安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“重新安装”按钮 卸载插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要卸载的插件实例，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了:创建一个无状态工作负载——查看容器实例日志的用户指引。 在工作负载实例详情的界面中，选择日志可以查看容器实例的日志。

容器、容器日志时间与节点同步 容器和节点时间同步后，容器的日志时间戳仍可能与节点时间相差8小时。比较典型的应用场景是容器的工作进程为使用tomcat应用。 tomcat应用的日志输出默认使用UTC时间，即便容器与节点时间已经同步，应用的日志输出也会相差8小时，该问题需要在构建镜像阶段解决。 1、先获取基础tomcat镜像的catalina.sh脚本 mkdir tmp docker run rm tomcat: v tmp:/mnt cp /usr/local/tomcat/bin/catalina.sh /mnt/catalina.sh 2、修改catalina.sh脚本的JAVAOPTSshell变量，添加Duser.timezoneGMT+08配置项 JAVAOPTS"$JAVAOPTS Djava.protocal.handler.pkgsorg.apache.catalina.webresources Duser.timezoneGMT+08" 3、使用Dockerfile重建tomcat应用容器镜像，将修改后的catalina.sh脚本拷贝到构建目录，然后在Dockerfile中添加下列构建指令 COPY catalina.sh /usr/local/bin/tomcat/bin/catalina.sh

避免使用ServcieAccount Secret Token访问集群 Kubernetes 1.21以前版本的集群中，Pod中获取token的形式是通过挂载ServiceAccount的Secret来获取的，这种方式获得的token是永久的，Pod被删除后token仍然存在Secret中，一旦泄露可能导致安全风险。该方式在1.21及以上的版本中不再推荐使用，并且根据社区版本迭代策略，在1.25及以上版本的集群中，ServiceAccount将不会自动创建对应的Secret。 Kubernetes 1.21及以上版本的集群中，直接使用TokenRequest API获得token，并使用投射卷（Projected Volume）挂载到Pod中。使用这种方法获得的token具有固定的生命周期（默认有效期为1小时），在到达有效期之前，Kubelet会刷新该token，保证Pod始终拥有有效的token，并且当挂载的Pod被删除时这些token将自动失效。该方式通过Bound ServiceAccount TokenVolume特性实现，能够提升服务账号（ServiceAccount）token的安全性，Kubernetes 1.21及以上版本的集群中会默认开启。 为了帮助用户平滑过渡，社区默认将Token有效时间延长为1年，1年后token失效，不具备证书reload能力的client将无法访问APIServer，建议使用低版本client的用户尽快升级至高版本，否则业务将存在故障风险。 基于Secret的ServiceAccount Token由于token由于具有上述的安全风险。1.23版本以及以上版本云容器引擎集群推荐使用Bound Servcie Account Token，该方式支持设置过期时间，并且和Pod生命周期一致，可减少凭据泄露风险。例如： apiVersion: apps/v1 kind: Deployment metadata: name: tokenexample namespace: tokenexample spec: replicas: 1 selector: matchLabels: app: tokenexample label: tokenexample template: metadata: labels: app: tokenexample label: tokenexample spec: serviceAccountName: boundsatoken containers: image: nginx imagePullPolicy: Always name: tokenexample volumes: name: testsecurity projected: defaultMode: 420 sources: serviceAccountToken: expirationSeconds: 3600 path: token configMap: items: key: ca.crt path: ca.crt name: kuberootca.crt downwardAPI: items: fieldRef: apiVersion: v1 fieldPath: metadata.namespace path: namespace

本节介绍网络的用户指南:服务发现DNS。 云容器引擎使用coreDNS做集群内部域名解析。集群内部应用间可通过Service域名调用，coreDNS会将Service域名自动转换为对应的Service IP地址，可确保不同部署环境内部访问入口的一致。 关于服务发现DNS详细配置和管理，请参见服务发现DNS。

手动指定DNSConfig 可以通过修改Pod进行手动指定DNSConfig，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo dnsPolicy: None dnsConfig: nameservers: ["169.254.20.10","172.21.0.10"] searches: default.svc.cluster.local svc.cluster.local cluster.local options: name: ndots value: "3" name: attempts value: "2" name: timeout value: "1" 说明 1、dnsPolicy：必须为None； 2、nameservers：配置成169.254.20.10和kubedns的ClusterIP对应的IP地址； 3、searches：设置搜索域，保证集群内部域名能够被正常解析； 4、ndots：默认为5，可以适当降低ndots以提升解析效率。更多信息，请参见resolv.conf。 配置kubelet启动参数 kubelet通过–clusterdns和–clusterdomain两个参数来全局控制Pod DNSConfig。在 /etc/systemd/system/kubelet.service.d/10kubeadm.conf 配置文件中需要增加一个–clusterdns参数，设置值为链路本地地址169.254.20.10，染后执行sudo systemctl daemonreload和sudo systemctl restart kubelet重启kubelet。 clusterdns169.254.20.10 clusterdns clusterdomain 参数解释如下： clusterdns：部署Pod时，默认采用的DNS服务器地址，默认只引用了 kubedns 的服务IP，需要增加一个对链路本地地址169.254.20.10的引用； clusterdomain：部署Pod时，默认采用的DNS搜索域，保持原有搜索域即可，一般为 cluster.local。

对比项 Cubecni Calico隧道模式 容器网络平面 构建Underlay网络，容器和节点均在同个网络平面，支持VPC内多集群Pod直接互通及VPC内直接互通 构建Overlay网络，基于集群节点网络构建 一层覆盖网络，不支持VPC内多集群Pod直接互通及VPC内直接互通 容器网络性能 无解封包开销，整体性能优于Overlay网络，其中Cubecni独占ENI模式性能无限接近主机 有解封包损耗 节点规模 不直接限制节点规模 受限于BGP Peer连接数等限制 网络访问控制 支持网络策略Network Policy，其中Cubecni独占ENi模式支持Pod粒度安全组配置 支持网络策略Network Policy 源地址审计 Pod访问VPC网络资源，源地址是容器IP，不经节点SNAT，便于审计 Pod访问VPC网络资源，需经节点SNAT，不便于审计 地址管理 无需按节点分配地址段，随用随分配，地址无浪费 每个节点提前分配虚拟地址段 ELB 支持ELB直通Pod，性能更优 不支持ELB直通Pod，需通过NodePort转发