端口 协议 源地址 说明 全部 TCP 198.19.128.0/20 VPCE内网地址段，控制台通过VPCE访问APIServer

本节介绍了云容器引擎的其他类常见问题。 前提条件：确认对应节点已绑定EIP，并能通过EIP进行登录访问 问题现象：执行yum安装或者更新无响应 当出现上述问题，用户可以登录主机执行以下步骤修复；或者通过提工单方式，运维介入处理。 修复步骤 1、执行 cat /etc/dnf/dnf.conf，查看dnf配置： 2、删除下图中proxy相关配置： 3、重新执行yum命令，进行安装或更新，比如： 4、如上述步骤未能解决问题，请提工单介入处理。

删除模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，选择具体的模板包。 步骤 3，在模板版本列表中选择具体的模板包版本，并点击“删除”按钮，也可以勾选多个版本，点击“批量删除”按钮 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了自定义资源的用户指南。 基本概念 Kubernetes集群支持通过自定义资源定义（Custom Resource Definition）扩展Kubernetes API，并允许您添加自定义资源（Custom Resources）。您可以查看集群中的所有API组和其包含的资源类型，查看各个资源类型的对象列表并进行管理操作。 操作场景 针对自定义资源定义及自定义资源的管理。 前提条件或限制 暂时不支持创建自定义资源。 操作步骤及说明 登录容器服务管理控制台。 在控制台左侧导航栏中，单击集群。 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。 在集群管理页面左侧导航栏中，选择工作负载 > 自定义资源。 对象浏览器左侧列出了集群支持的全部API组。您可以点击API组的名称展开查看组内包含的资源类型，也可以通过上方的搜索框，使用关键词搜索全部资源类型浏览资源对象。 在左侧API列表中选择一个资源类型，即可浏览对应的资源对象。您可以对资源对象进行YAML编辑和删除操作。

本节介绍了插件概述的用户指南。 云容器引擎提供了多种类型的插件，方便用户选择性地安装，满足集群特定的功能需求。类型包括核心组件、应用管理、日志与监控、存储、网络等等。 插件举例： 插件名称 插件类型 插件简介 ccseschedulerplugins 核心组件 自定义调度插件：基于当前集群节点上cpu和内存真实可用的资源进行调度 cubems 应用管理 cubems可以让部署在CCSE Kubernetes集群中的Java应用接入MSE、ARMS。 ccsemonitor 日志与监控 CCSE监控插件，为 CCSE 提供指标的观测能力 ctglogoperator 日志与监控 天翼云自研基于CCSE的一站式日志插件，为CCSE提供的日志采集、存储、检索能力，具有日志数据集中存储，高效压缩，秒级检索等特性。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 选择新建子目录模式。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，仅支持Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 海量文件名称：需要选择一个海量文件，后续会基于该海量文件分配子目录 子目录回收策略： 保留：当持久卷被csi删除时，会保留子目录在文件存储中，不做删除。默认为该选项。 删除：当持久卷被csi删除时，会删除文件存储中对应的子目录，数据无法恢复。 注意 删除子目录属于高危操作，请谨慎选择“删除”子目录回收策略。

2 、创建持久卷声明（ PVC ） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvczos spec: accessModes: ReadWriteOnce resources: requests: storage: 10Gi storageClassName: cstorcsizosstandardsc 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷声明”，在列表查看。 3 、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "zostest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" subPath: "ccsetest" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvczos" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，在列表查看。

本节介绍网络的用户指南:服务发现DNS概述。 创建集群时会自动安装CoreDNS插件，用来提供集群内部域名解析。在kubesystem命名空间下，可以查看到CoreDNS相关Pod： kubectl nkubesystem get po l k8sappkubedns NAME READY STATUS RESTARTS AGE coredns84f6584c855rmgq 1/1 Running 0 41h coredns84f6584c85rs4n6 1/1 Running 0 41h 作为集群内部DNS服务器，CoreDNS会将Service域名与Service的IP记录起来，Pod可以向CoreDNS查询Service域名获取对应IP地址。Pod访问的Service域名格式为..svc.，其中为Service名称，为命名空间名称，为集群内部域名，默认为cluster.local。若客户端和服务端在同一个命名空间下，可通过直接访问。建议在集群内部使用Service域名访问Pod，无需感知具体Service地址。 默认情况下，会将Coredns Service的地址作为域名解析服务地址写在Pod的/etc/resolv.conf kubectl nkubesystem get svc kubedns NAME TYPE CLUSTERIP EXTERNALIP PORT(S) AGE kubedns ClusterIP 10.96.0.10 53/UDP,53/TCP,9153/TCP 9d kubectl exec it nginxdemo748fb499d78f2t5 cat /etc/resolv.conf search default.svc.cluster.local svc.cluster.local cluster.local nameserver 10.96.0.10 options ndots:5 Pod内通过Service域名访问后端Pod的DNS解析过程，如下图所示：

参数 SFS Turbo标准型 SFS Turbo性能型 最大带宽 1.5GB/s 2GB/s 最高IOPS 5000 30000 时延 1~10ms 1ms 最大容量 500GB~32TB 500GB~32TB 优势 大容量、低时延 大容量、高带宽、低成本 应用场景 适用于大容量、低时延的业务，如代码存储、日志存储、Web服务、虚拟桌面等 适用于海量小文件、随机IO密集型以及时延敏感型业务，如高性能计算、文件共享、内容管理等

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，提供了一些建议参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： vers：表示指定 NFS 协议的版本 wsize：表示指定了 NFS 协议中用于写入的数据块大小（以字节为单位），设置较大的写入块大小可以提高写入性能 rsize：类似于 wsize，但用于读取的数据块大小 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 弹性文件存储类型：参数键为type，支持参数值如下： capacity：SFS Turbo标准型 performance：SFS Turbo性能型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有并行文件，再进行选择。 存储加密：选择加密后，需要选择具体的秘钥。用户需要提前创建好秘钥，供ccse控制台调用，当前仅支持默认秘钥和按需秘钥。

本节介绍了存储的用户指南:使用ZOS静态存储卷。 使用对象存储静态存储卷时，需预先在对象存储控制台创建Bucket，并通过手动创建PV指定已有Bucket。创建PVC时关联该PV，即可实现容器内挂载对象存储。 此模式需要您先创建Bucket及PV资源，操作和管理相对复杂，通常推荐使用动态创建存储的方式。 前提条件 已创建容器集群。 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 容器集群所在资源池已开通对象存储服务。 已在对象存储控制台创建Bucket。 使用限制 参见“对象存储概述”——“使用限制” 通过控制台使用对象存储静态存储卷 1、创建保密字典 进入天翼云对象存储控制台，进入Access Key管理； 查看对象存储密钥，并记录； 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“配置管理”——“保密字典”，选择命名空间，单击左上角“创建”。 输入名称、内容，内容项变量名分别是AK、SK（变量名大写），变量值分别对象上一步中获取到的密钥，点击提交。

本节介绍了:集群概览。 操作场景 查看集群的参数配置以及基础的监控信息。 前提条件 ● 在查看集群信息前，您需要存在⼀个可用集群。若没有可⽤集群，请参照订购集群 内容进行创建。 ● 如果需要查看集群监控信息，您需要确保已经安装监控插件。若没有安装监控插件，请参考插件市场 内容进行创建。 说明 字段 描述 使用率 实际使⽤的物理资源⽐例 使用量 实际使⽤的物理资源 总量 总的物理资源 分配率 当前request的使⽤率 分配量 当前request的使⽤量

本节介绍智算容器价格。 价格 集群规模 计费方式 价格（元/月） 价格（元/年） 管理10节点 包年/包月 10060 120720 管理30节点 包年/包月 29260 351120 管理50节点 包年/包月 48460 581520 管理100节点 包年/包月 96460 1157520 管理200节点 包年/包月 192460 2309520 管理300节点 包年/包月 288460 3461520 管理500节点 包年/包月 480460 5765520 管理1000节点 包年/包月 960460 11525520 管理2000节点 包年/包月 1920460 23045520

数据卷使用原则 一个Pod可以挂载多个Volume。 一个Pod可以挂载多种类型的Volume。 每个被Pod挂载的Volume卷，可以在不同的容器间共享。 Kubernetes环境推荐使用PVC和PV方式挂载Volume。 虽然单Pod可以挂载多个Volume，但是并不建议给一个Pod挂载过多数据卷。 说明 数据卷（Volume）生命周期和Pod一致，即Pod被删除的时候，数据卷（Volume）也一起被删除（Volume中的数据是否丢失取决于Volume的具体类型）。 PV和PVC Kubernetes 引入了 PV（持久卷 PersistentVolume） 和 PVC（持久卷声明 PersistentVolumeClaim）两个资源对象，用于定义和管理存储资源。它们提供了抽象层，使应用程序能够声明存储需求，而无需关注底层基础设施。 PV：是集群中的一块存储空间，可由管理员预先配置或通过存储类（Storage Class）动态分配。作为集群级别的资源，PV 与节点类似，其生命周期独立于使用它的 Pod。PV 同样基于卷插件实现，但需注意：手动删除 PV 并不会自动清除后端存储资源。因此建议遵循“谁创建谁删除”原则：用户创建的 PV 应设置为保留回收策略并由创建者手动清理；动态创建的 PV 则由 CSI 驱动自动回收。 PVC：表示用户对存储资源的请求。其概念类似于 Pod：Pod 消耗节点资源，而 PVC 消耗 PV 资源。Pod 可申请特定量的 CPU 和内存，PVC 则可指定所需的存储容量和访问模式。 以下是对PV及PVC典型字段说明： 类型 字段 说明 PV 访问模式 定义 PV 的访问模式，包括： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 PV 回收策略 PV对象的回收策略表示当PVC释放时如何处理该数据卷。 回收策略包括： Retained（保留）：用户需手动回收存储资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。注意，用户如果手动删除PV，而不是由CSI自动删除，并不会导致后端存储资源被删除，设置为“删除”策略时，强烈建议用户勿手动删除PV。 PV 容量 定义 PV 的容量大小。 PV 卷模式 Kubernetes 支持两种卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能。 PV 挂载选项 可以指定持久卷被挂载到节点上时使用的附加挂载选项。Kubernetes 不对挂载选项执行合法性检查。如果挂载选项是非法的，挂载就会失败。 说明 并非所有持久卷类型都支持挂载选项。 PV 标签 标签（labels）是用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 PVC 访问模式 PVC（PersistentVolumeClaim）可以指定对持久化存储的访问模式需求。 在绑定 PV 时，系统将尝试找到访问模式满足 PVC 需求的PV，否则PVC 将无法绑定到 PV。 PVC 卷模式 Kubernetes 支持两种卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 PVC 表示PVC指定的容量。 说明 当 PVC 与 已有PV 绑定时，PV 的容量必须大于或等于 PVC 所需的容量。否则，PV 将无法满足 PVC 的需求，绑定将失败。 PVC 存储类 可以通过为 storageClassName 属性设置 StorageClass 的名称来请求特定的存储类。 只有所请求的类的 PV 卷，即 storageClassName 值与 PVC 设置相同的 PV 卷， 才能与该PVC绑定。

image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:gpucuda12.1 imagePullPolicy: IfNotPresent command: "python3" "/opt/mnist/src/mnist.py" "epochs10" "backendnccl" env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: nvidia.com/gpu: 1 Worker: replicas: 1 restartPolicy: OnFailure template: spec: containers: name: pytorch image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:multi imagePullPolicy: IfNotPresent command: "python3" "/opt/mnist/src/mnist.py" "epochs10" "backendnccl" env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: nvidia.com/gpu: 1 NPU模板 xml apiVersion: "kubeflow.org/v1" kind: PyTorchJob metadata: name: pytorchsamplenpu01 namespace: default spec: pytorchReplicaSpecs: Master: replicas: 1 restartPolicy: OnFailure template: spec: containers: name: pytorch image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:multi imagePullPolicy: IfNotPresent command: "bash" "c" args: ["source /usr/local/Ascend/ascendtoolkit/setenv.sh && python3 /opt/mnist/src/mnist.py epochs10 backendhccl"] env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: huawei.com/Ascend910: 1 requests: huawei.com/Ascend910: 1 Worker: replicas: 1 restartPolicy: OnFailure template: spec: containers: name: pytorch image: {imagerepo}/icce/kubeflowexamplespytorchdistmnist:multi imagePullPolicy: IfNotPresent command: "bash" "c" args: ["source /usr/local/Ascend/ascendtoolkit/setenv.sh && python3 /opt/mnist/src/mnist.py epochs10 backendhccl"] env: name: PROTOCOLBUFFERSPYTHONIMPLEMENTATION value: python resources: limits: huawei.com/Ascend910: 1 requests: huawei.com/Ascend910: 1 查看运行状态：点击左侧【工作负载】>【容器组】，找到任务名为前缀的容器，点击名称，查看日志/监控等信息是否符合预期。

操作步骤 1.检查待纳管的云主机是否具备独立数据盘，且首块数据盘未被分区或格式化。独立数据盘非强制要求，但若缺失，容器数据将默认存储于系统盘。 2.若首块数据盘已被分区或格式化，可先备份数据，再使用以下命令擦除磁盘： plaintext wipefs a 3.登录云容器引擎控制台，进入要纳管节点的集。 4.在集群控制台左侧导航栏中选择“节点 ”，切换至“节点”页签并点击“纳管节点”。 5.点击选择“已有的服务器 ”，选择待纳管的云服务器，点击"确定"。 6. 选择“操作系统 ”，填写“登录密码 ”以及“确认密码 ”，再根据需要填写高级配置：节点标签 、节点污点 、部署前/后执行脚本. 7. 单击“下一步 ”，并单击“提交”。 重复纳管 出于数据安全考虑，节点纳管时会跳过已格式化或分区的磁盘。当对主机执行"纳管移除再次纳管"操作时，容器数据将直接存储于系统盘，而非数据盘。 可通过以下步骤使容器数据落于数据盘。 1.登录云主机控制台访问云主机。 2.定位云容器引擎使用的数据盘： 若主机仅有一块数据盘，直接执行步骤3。 若有多块磁盘，容器引擎一般会选择位于系统盘之上（即倒数第二块）的磁盘作为容器数据盘，或通过磁盘类型、容量信息定位磁盘的盘符。 云盘列表中显示的是云盘的名称和id，云盘挂载到os时会自动分配磁盘设备名称，可以使用云盘id前缀查找到云盘的设备名称。 登录到操作系统，可通过如下指令查到云盘在os中的设备名称。 3.检查云盘是否已经被格式化。 可以使用步骤2找到的磁盘设备名称，使用blkid指令检查结果。 plaintext blkid grep nvme1n1 若发现磁盘已经被格式化，则执行wipefs a指令擦除。 4.在云容器引擎控制台执行节点纳管操作。

本节介绍该产品服务等级协议。 产品服务等级协议，详情参见《天翼云云容器引擎服务等级协议》。

Entries added by HostAliases. 127.0.. foo.local bar.local 10.1.. foo.remote bar.remote DNS解析请求流程 若未配置存根域，没有匹配集群域名后缀的任何请求，将转发到节点的上游域名服务器。 若已配置存根域和上游DNS服务器，DNS查询将基于下面的流程进行路由： 查询coredns中的DNS缓存层； 在缓存层，检查请求后缀，根据下面情况转发到对应DNS： 带有集群后缀的域名，例如.cluster.local，请求被发送到Coredns； 带有存根域后缀的域名，例如.test.local，请求被转发到配置的自定义DNS解析器； 其它域名解析请求则被转发到上游DNS。 如下图所示：

3、创建快照（VolumeSnapshot） 进入主菜单“存储”——“快照与备份”，选择快照，单击左上角“创建快照”； 在创建对话框，配置快照的相关参数。配置项说明如下： 参数配置完成后，点击“确定”。创建成功后，可以在快照列表查看。 配置项 说明 名称 VolumeSnapshot 名称。 存储类型 这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 快照类 选择上一步创建的VolumeSnapshotClass 。 存储卷声明 选择要创建快照的PVC，仅能选择云硬盘类型PVC。 注意 只有当快照状态变为“就绪”时，才表示快照真正创建完成。 通过控制台使用云盘快照 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 “存储”——“快照与备份”，进入快照列表页，选择指定快照，点击操作“创建存储卷快照PVC”。 在创建对话框，配置PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 StorageClass名称 选择上一步创建的StorageClass。 容量 最小容量为快照大小。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 说明：如果使用共享盘存储，卷模式仅支持块设备（Block）。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 说明：如果使用非共享盘存储，访问模式不能为ReadWriteMany或者ReadOnlyMany。仅卷模式为块设备（Block）时，才可以使用共享盘，访问模式才可以为ReadWriteMany或者ReadOnlyMany。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。此时，进入主菜单“存储”——“持久卷“，可以看到对应的PV创建 。 如果PVC一直未绑定，可以查看进入对应PVC详情页查看事件，或者查看cstorcsi日志进行定位。 注意 当源盘PVC的卷模式与基于该源盘快照创建的新PVC的卷模式不一致时，可能导致数据层面的异常。 例如：当源盘PVC是Block的卷模式，而源盘快照创建的新PVC的卷模式为Filesystem，则新的PVC在pod使用时会格式化成用户想要的文件系统，由于源盘中的数据为非文件系统格式，外部组件无法识别其内容，可能将其视为无效数据并进行覆盖，从而导致原有数据丢失。 因此，用户需确保源盘PVC的卷模式与基于其快照创建的新PVC的卷模式保持一致。 此外，若源盘PVC使用的文件系统为非常规类型，或文件系统本身存在兼容性损耗，可能导致CSI调用Linux命令时无法正确识别该文件系统，进而触发文件系统重建，造成数据丢失风险。

通过kubectl命令行使用海量文件静态存储卷 注意 1. 以下配置仅支持CSI版本4.0及其以上，您可以先在插件市场对CSI插件升级，再按照以下配置编写yaml。 2. 以下参数为建议配置，您可在存储产品的支持范围内，根据自身实际情况进行调整。 3. 部分参数由于不常用，示例中以 开头，未放开该参数，如有需求，请您根据实际需求使用。 4. 部分 开头的中文内容为内容解释，并非参数。 1、创建持久卷（PV） 使用kubectl连接集群，创建示例yaml文件pvexample.yaml： plaintext apiVersion: v1 kind: PersistentVolume metadata: name: pvcoceanfstest01 pv的名字，以“pvc”开头，然后记下后缀名，也就是oceanfstest01。 spec: accessModes: ReadWriteOnce capacity: storage: 11Gi 填写存储大小，按照。单位有Mi、Gi、Ti、Pi csi: driver: oceanfs.csi.cstor.com fsType: ext4 volumeAttributes: ccse.ctyun.cn/subPath: /opq/ 子目录，必须以/开头，必须填写子目录的路径 driverType: oceanfs.csi.cstor.com mode: subPath oceanfsUUID: 8c200b3d52f151e9ab409d6bb3e7b65f 填写从存储控制台上取得的海量文件ID protocol: nfs recyclePolicy: DeleteSubPath sharePath: 100.123.136.193:/mnt/sfsmass/dbb34d3272a808e47705f6e16d471949myuk8pv6kkm1pefa/opq/

2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 最小容量10GB，最大容量为32TB。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 说明：如果使用共享盘存储，卷模式仅支持块设备（Block）。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 说明：如果使用非共享盘存储，访问模式不能为ReadWriteMany或者ReadOnlyMany。仅卷模式为块设备（Block）时，才可以使用共享盘，访问模式才可以为ReadWriteMany或者ReadOnlyMany。 高级选项 可用区：可以根据需要手动选择PVC对应存储的可用区。该操作即在PVC上打上标签如下：topology.kubernetes.io/zone: xxxx。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。此时，进入主菜单“存储”——“持久卷“，可以看到对应的PV创建 。 如果PVC一直未绑定，可以查看进入对应PVC详情页查看事件，或者查看cstorcsi日志进行定位。

通过kubectl命令行使用海量文件动态存储卷 注意 1. 以下配置仅支持CSI版本4.0及其以上，您可以先在插件市场对CSI插件升级，再按照以下配置编写yaml。 2. 以下参数为建议配置，您可在存储产品的支持范围内，根据自身实际情况进行调整。 3. 部分参数由于不常用，示例中以 开头，未放开该参数，如有需求，请您根据实际需求使用。 4. 部分 开头的中文内容为内容解释，并非参数。 1、创建存储类（StorageClass） 使用kubectl连接集群，创建示例yaml文件scexample.yaml： plaintext apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: cstorcsioceanfsmassivescsharepath provisioner: oceanfs.csi.cstor.com parameters: type: massive mode: sharePath 协议类型，当前仅支持nfs protocol: nfs 是否创建使用VPCE网络的文件系统，不写该字段默认为false，表示不创建 isVpce: "false" 包年包月的类型，当为year表示以年为单位，为month表示以月为单位，只能填写year或者month 如果没有这个字段，则默认为按需计费 cycleType: year 包年包月的周期数，例如当cycleType为year，那么cycleCount为2则表示2年，只能填写正整数 当配置了cycleType，那么cycleCount才会生效 cycleCount: "2" 选择拓扑区域，如果是天翼云iaas的存储产品，就是对应选择可用区，value填写存储openapi里的可用区的azName 当storageClass配置了volumeBindingMode: WaitForFirstConsume或者配置了allowedTopologies时，

本页主要介绍云容器引擎产品的API使用说明。 OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用云容器引擎产品API的详细介绍，请参见使用API。您可以在OpenAPI门户了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 Java SDK：ccesdkjavav2.0.5.tar.gz Go SDK：ccesdkgov2.0.3.tar.gz

本节介绍了存储的用户指南:使用SFS静态存储卷。 使用弹性文件静态存储卷时，需预先在弹性文件控制台创建文件系统，并通过手动创建PV指定已有文件系统。创建PVC时关联该PV，即可实现容器内挂载弹性文件。 此模式要求您自行创建文件系统及PV资源，操作和管理相对复杂，通常推荐使用动态创建存储的方式。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 已在弹性文件控制台创建文件系统 已建文件系统VPC需要包括容器集群所属VPC，如没有，在存储控制台文件系统列表页，针对指定实例点击“添加VPC” 使用限制 参见 弹性文件使用限制 通过控制台使用弹性文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 弹性文件名称 选择已创建文件系统。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 名称 PV的名称，以pvc开头。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 说明 静态导入场景下，回收策略均为默认Retain，cstorcsi不会删除数据。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

参数 描述 controller.image.registry 容器镜像仓库地址，如registryvpccrshuabei1.cnspinternal.ctyun.cn。 controller.image.image Nginx Ingress Controller镜像名称。 controller.image.tag Nginx Ingress Controller镜像版本，一般与集群插件Nginx Ingress Controller的版本一致即可，也可自定义。 controller.ingressClassResource.name Nginx Ingress Controller对应的IngressClass名称。 注意 同一个集群中不同套Nginx Ingress Controller名称必须唯一，且不能设置为nginxingresscontroller或elb。 controller.ingressClassResource.controllerValue Nginx Ingress Controller对应的Controller Class。 注意 同一个集群中不同套Nginx Ingress Controller的监听标识必须唯一，且不能设置为k8s.io/ingressnginx。 controller.ingressClass Nginx Ingress Controller对应的IngressClass名称，需与controller.ingressClassResource.name一致。 controller.service.annotations 配置Nginx Ingress Controller通过LoadBalancer Service暴露到ELB，其中可通过注解service.beta.kubernetes.io/ctyunloadbalancerid指定已有ELB实例，更多注解配置请参考 controller.resources.requests.cpu Nginx Ingress Controller的CPU资源限制，可根据需要自行决定。 controller.resources.requests.memory Nginx Ingress Controller的内存资源限制，可根据需要自行决定。

GPU物理机：物理机搭建DeepSeek指南

访问验证 以工作负载为nginx为例： 进入负载详情，查看pod日志，打开自动刷新； 本地请求访问工作负载，比如 查看pod日志，从nginx access.log可以看到请求记录，下面124.127.58.即为本机ip地址，可获取客户端真实ip 192.168.0.17 [08/Apr/2024:06:30:14 +0000] "GET / HTTP/1.1" 304 0 "" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36" "124.127.58." 节点端口（NodePort）SVC 当选择服务类型为“节点端口”，即NodePort类型SVC，有以下两种获取客户端源IP方式： 1. 配置SVC外部流量策略，即Service的spec.externalTrafficPolicy，配置为Local。 该方式下外部请求就只会被代理到本地 endpoints 而不会被转发到其它节点，这样就保留了原来的IP 地址。 2. 该模式下客户端只能访问pod所在的node节点，无法使用其他node节点访问服务。 3. 配置SVC外部流量策略仍为Cluster，创建SVC之后，需要在负载均衡器中手动创建监听器及后端主机组，后端主机组配置为容器节点及端口。 注意 cubecni不支持外部流量策略为Local模式 说明 该模式下客户端只能访问pod所在的node节点，无法使用其他node节点访问服务 方式一：外部流量策略为Local 创建服务时，选择类型为“节点端口”，外部流量策略为Local： 创建完成后，通过 access.log可以看到请求记录，下面192.168.0.6即为内网ip地址，可获取客户端真实ip： 192.168.0.6 [08/Apr/2024:07:31:25 +0000] "GET / HTTP/1.1" 200 615 "" "curl/7.79.1" ""

本节介绍了云容器引擎的最佳实践:如何将Ingress服务暴露到公网。 如果你是通过Ingress访问你的服务，并且想通过公网访问，可为集群Ingress服务配置天翼云ELB。 具体配置步骤如下： 1、登录到控制台，进入服务所在的集群，选择菜单“网络“>”服务“，命名空间选择“kubesystem”，点击”创建服务“按钮。 2、其中负载均衡一栏，选择公网访问，从列表中选择一个要绑定的负载均衡（如果列表为空，请确认你是否有可用的负载均衡，没有的话，请先到ELB控制台创建）。 端口映射一栏，填写好容器端口和服务端口（该端口是负载均衡的监听端口）。如下所示： 注意 nginxingresscontroller pod 默认的http端口是10080，默认的https端口是10443。 如需修改，可以到nginxingresscontroller插件yaml修改端口号。 3、工作负载绑定一栏，类型选择Deployment，名称选择nginxingresscontrollernginxingresscontroller，然后点击提交。 注意 选择工作负载前请先确认nginxingresscontroller插件的版本，如果版本小于1.3.5，这里工作负载类型应选择DaemonSet 4、待ELB绑定后，即可通过服务列表中“集群外访问”中的外网地址访问服务了。

本节介绍了ETCD备份保存到对象存储的用户指南。 进入云容器引擎的集群，在左侧菜单点击“插件”>“插件市场”，搜索“ccsebackup”插件，点击“安装”。 在弹出界面的参数设置部分，有以下这样的一段配置 本插件支持将备份包保存到对象存储或本地。默认地会使用本地存储，且将保存到“/home/docker/backup”目录下，如需要更替备份目录，可直接修改该字段的内容。 另外如果想把备份包存储到对象存储，则将上述配置修改，oss.provider需要改成 s3，另外OSS相关参数也需要填上，类似下面形式： oss: provider: "s3" accesskeyId: "yourossak" accesskeySecret: "yourosssk" bucket: "yourossbucket" endpoint: "yourossendpoint" local: path: "" 配置完成后，点击“安装”，界面会自动切换到“插件实例”，稍等片刻后，待插件安装完毕，即可开始使用。

操作系统 最新内核信息 支持 x86主机 支持 ARM 主机 支持GPU主机 集群版本 CubeCNI PolicyRoute （默认） CubeCNI IPVlan （订购时选择） CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.31 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.29 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.27 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.25 √ √ CTyunOS 23.01 5.10.0136.12.0.88.5.ctl3.x8664 √ × × v1.23 √ √ CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.31 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.29 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.27 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.25 √ × CTyunOS 2.0.1 4.19.902102.2.0.0062.ctl2.x8664 √ × × v1.23 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.31 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.29 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.27 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.25 √ × CentOS 7.9 3.10.01160.el7.x8664 √ × × v1.23 √ ×

本节介绍了集群定时备份的用户指南。 操作场景：为增强集群容灾能力，提高集群可靠性。可对集群进行定时备份。 前提条件：用户需要在所操作的集群的插件市场中安装备份还原插件“ccsebackup”。 创建任务 定时备份提供按指定时间执行备份还原任务，配置操作大体与集群备份的相似。 在云容器引擎控制台菜单中按照以下路径进入界面【集群】{选定的集群}【备份】 【集群定时备份】,点击【创建备份】，弹出创建备份对话框。 名称、命名空间、资源和持久卷的配置与集群备份余下字段则与定时执行相关。 名称 说明 保留天数 必填，定时备份后产生的备份包所保留的天数，超过保留天数的备份包则会被自动清理 时间点 必填，定时备份时执行的时间点，为整点 重复周期 必填，定时备份任务重复在一周内哪几天触发执行 说明 此处建议保留天数要大于两个定时备份任务执行的间隔天数，否则会导致任务执行完毕后，还没等到下个任务开始，就被清理 点击“创建后”完成定时任务创建。 新建的定时备份任务会被展示在列表中，列表末端的操作列包含三个按钮： 编辑：弹出定时任务编辑框修改定时任务信息。 立即执行：马上触发备份任务执行。 删除：删除当前定时备份任务。 任务详情 在定时任务列表中点击任务名称，进入定时任务详情页。在详情页面可以看到定时任务的名称、所备份的命名空间、资源类型、是否包含持久卷、任务创建时间、备份包的保留天数和备份任务的重复周期这些信息。此外在“相关备份任务”中展示了每次执行的任务信息。 任务信息包括了任务名称、大小，任务执行的状态，任务的执行时间等。 另外列表中还包含了一个操作列，操作包括还原、下载和删除，功能与集群备份的列表的一致。

使用场景 根据业务需求，对象存储类型的存储卷常见以下使用场景： 使用对象存储动态存储卷：即用户无需预先创建bucket，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建bucket及对应PV资源，推荐使用。 使用对象存储静态存储卷：即用户预先创建bucket，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载对象存储：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 说明 通过存储插件动态创建的bucket，默认计费模式为按需订购。关于对象存储按需计费详情，请参见点这里。