配置项 说明 名称 存储池名称。 存储类型 这里选择LVM。 选择节点 选择用于添加到存储池的节点。 磁盘设备 选择用于添加到存储池的磁盘设备。 说明： 创建存储池将占用磁盘设备，必要时会进行格式化操作。为避免数据丢失，请务必确认磁盘设备存在，并可用于存储池。

本节介绍网络的用户指南:Ingress。 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 关于Ingress详细配置和管理，请参见Ingress管理。

本节介绍网络的用户指南: Calico网络插件。 网络模型 Calico IPIP隧道网络在节点网络基础上通过IPIP隧道技术构建独立于节点网络平面的容器网络平面。Calico的felix组件提供容器网络接口管理、主机路由管理和ACL管理等功能，brid组件则将本节点容器路由通过BGP协议广播告知其它集群节点。容器跨主机报文走IPIP隧道，发给目的容器的IP报文被封装成发给目的节点的IP报文进行隧道传输，这类解封包虽然有性能损耗，但具有通用性强、互通性强、支持NetworkPolicy等优势，可以满足大多数对容器网络性能要求不高及没有VPC互通需求的场景。 说明 1、节点内Pod间通信：同节点的Pod间通信直接通过本节点路由直接转发； 2、跨节点Pod间通信：跨节点Pod间的通信通过IPIP隧道封装后，转发到对端节点上； 3、Pod访问集群外地址：Pod访问集群外地址通过路由转发并SNAT出去。 优缺点 Calico IPIP隧道容器网络优点如下： 1. 基于节点网络构建的覆盖（overlay）容器网络，通用性强，不占用VPC资源； 2. 支持网络策略NetworkPolicy和带宽限制； 3. 结合BGP Route Reflector，支持大规模组网。 缺点如下： 1. IPIP隧道解封包存在性能损耗； 2. Pod不能与VPC内集群外资源互通； 3. LoadBlance类型service无法直通Pod，需经NodePort转发，存在性能损耗； 4. 容器流量绕过安全组，不受安全组管理。

功能 云容器引擎 自建Kubernetes 集群管理 通过控制台一键创建集群，支持创建跨AZ高可用的集群 提供容器优化的OS镜像，提供稳定测试和安全加固的Kubernetes和Docker版本 支持多集群管理，支持跨AZ高可用集群，支持集群联邦管理 用户手动部署集群并自行开发 用户自行探索和开发 应用管理 支持灰度发布，支持蓝绿发布 支持应用监控、应用弹性伸缩 内置模板市场，支持Helm应用一键部署；支持服务目录，简化云服务集成 用户自行探索和开发 网络管理 提供针对天翼云优化的高性能VPC/ENI网络插件，性能优于普通网络方案 支持容器访问策略和容器带宽限制 需要挑选社区网络插件进行适配 用户自行探索和开发 存储管理 支持天翼云盘挂载，提供标准的CSI、FlexVolume驱动 支持存储卷自动创建、迁移 用户自行探索和开发 运维管理 支持Kubernetes新版本一键升级，支持集群组件生命周期管理 支持集群手动和自动弹性伸缩 提供高性能日志采集Agent，自动实现日志服务集成 用户手动运维控制面 服务保障 天翼云专业容器团队作为技术支持，为集群提供及时的稳定性和安全响应 需要组建专门团队 安全管理 支持镜像扫描/镜像签名 支持容器运行时安全检测 用户自行构建安全能力

常见使用问题 问题现象 解决方案 安装模板报错：IngressClass.networking.k8s.io "nginxingressxxx" is invalid: spec.controller: Invalid value: "nginxingressxxx": must be a domainprefixed path (such as "acme.io/foo")。 YAML配置中填写的controller.ingressClassResource.controllerValue不对，值需要以域名为前缀，如k8s.io/ingressnginxdemo。 创建Ingress路由后，Ingress同时被模板部署的Nginx Ingress Controller和集群插件Nginx Ingress Controller识别并生效。 检查安装模板后生成的IngressClass资源，确认spec.controller的值是否为k8s.io/ingressnginx，如果是，需重装模板实例，为controller.ingressClassResource.controllerValue指定不同于“k8s.io/ingressnginx”的值。

参数 参数说明 名称 新建的配置名称，同一个命名空间里命名必须唯一。 标签 标签（Labels）是附加到 Kubernetes 对象（比如 Pod、Service、ConfigMap等）上的键值对。标签定义了这些对象的可识别属性，用来对它们进行管理和选择。 1. 点击标签添加一个标签。 2. 输入标签名（key）和标签值（value）。 注解 注解（Annotation）是附加到Kubernetes 对象（比如 Pod、Service、ConfigMap等）上的键值对注解定义对象的非标识属性。 1. 点击注解添加一个注解。 2. 输入注解名（key）和注解值（value）。 内容 配置项定义的配置数据，可以挂在到容器中使用，或用来存储配置数据 。 1. 输入变量名和变量值。 2. 也可以导入文件作为配置项（文件名即变量名，文件内容即变量值）。

配置多个集群的kubectl访问凭证 下面用2个集群为例演示如何修改config文件访问多个集群。 获取集群A的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16261" name: 1626117120288662000021 currentcontext: 1626117120288662000021 kind: Config preferences: {} users: name: "16261" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clustera，用户名修改成clusterauser： apiVersion: v1 clusters: cluster: server: name: clustera contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 获取集群B的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16262" name: 1626217120288662000022 currentcontext: 1626217120288662000022 kind: Config preferences: {} users: name: "16262" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clusterb，用户名修改成clusterbuser： apiVersion: v1 clusters: cluster: server: name: clusterb contexts: context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusterbcontext kind: Config preferences: {} users: name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把两份凭证合并到同个config文件，把两份文件中的cluster、user、contenxt合并到同一父路径下： apiVersion: v1 clusters: cluster: server: name: clustera cluster: server: name: clusterb contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2...

本节介绍了用户指南: 对象存储概述。 云容器引擎支持使用天翼云对象存储作为存储卷。当前cstorcsi插件支持使用对象存储动态存储卷和静态存储卷，通过将对象存储挂载到容器指定目录下，以实现数据持久化需求。 天翼云对象存储为客户提供海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 使用限制 服务开通 使用前请在云容器引擎集群所在资源池，相应开通对象存储服务，参照指引：点这里 开通地域选择参见：点这里 存储类型 当前cstorcsi仅支持标准、低频两种存储类型 数据加密 暂不支持加密 其他 对象存储产品本身使用限制参见：点这里 产品规格 cstorcsi支持标准存储、低频存储 两种存储类型，这些存储类型具有不同的特点和适用场景，详见：对象存储性能说明 注意 当CSI版本为4.0.0及其以上版本时，删除不为空的对象存储pvc时，将保留对象存储bucket但删除对应的pvc和pv，您可以通过对象存储控制台删除对应的bucket。

本节介绍了集群备份的用户指南。 执行备份 集群备份可对集群中的资源进行备份，备份粒度可是集群中所有资源，也可以加入一定筛选条件缩小备份的范围，如根据资源的命名空间及资源自身的类型来筛选。 在云容器引擎控制台菜单中按照以下路径进入界面【集群】{选定的集群}【备份】 【集群备份】，点击【创建备份】，在弹出框中配置备份任务的信息，录入信息后点击【创建】 名称 说明 名称 必填，备份任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且备份任务是当前集群中唯一 命名空间 非必填，选择备份资源的命名空间，可多选 资源 非必填，选择所备份资源的类型，可多选，也可以手动输入 持久卷 选择是否备份pod所使用的持久卷，备份内容中有pod资源，此项才生效。不能备份临时卷及hostPath 在备份列表中即可查看备份任务的执行状态，及备份完成后备份包的大小。 备份列表的操作列还包含以下三个操作： 还原：把当前备份包还原到当前集群中； 下载：下载当前备份任务的备份包； 删除：删除当前备份任务。 查看备份详情 在备份任务列表中，点击备份名称，进入备份详情页面。 在备份详情页面中，同样可以对当前备份任务执行还原、下载备份包和删除操作： 备份页面展示了当前备份任务的任务名称、备份时筛选的资源类型、是否包含持久卷、备份任务创建时间、备份包的大小和备份任务的状态这些这些信息。 此外如果曾经以当前备份任务的备份包执行了还原，还原记录会展示在界面下方的“相关还原记录”中。

配置项 说明 名称 PVC的名称 存储声明类型 这里选择“通用” 分配模式 这里选择“使用存储类” StorageClass名称 选择上一步创建的自定义StorageClass 容量 可以根据需求自定义容量 卷模式 支持两种卷模式： 1、文件系统（Filesystem）：默认方式，该类型卷会被Pod挂载（Mount）到某个目录。如果卷的存储来自某块设备而该设备目前为空， Kuberneretes会在第一次挂载卷之前在设备上创建文件系统。 2、块设备（Block）：这类卷以块设备的方式交给Pod使用，其上没有任何文件系统。这种模式对于为Pod提供一种使用最快可能方式来访问卷而言很有帮助，Pod和卷之间不存在文件系统层。 访问模式 支持选择以下访问模式： 1、ReadWriteOnce：卷可以被一个节点以读写方式挂载 2、ReadOnlyMany：卷可以被多个节点以只读方式挂载 3、ReadWriteMany：卷可以被多个节点以读写方式挂载

3 、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "nastest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/tmp" name: "volume1" subPath: "ccetest" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvcnas" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，在列表查看。 验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在，说明弹性文件中的数据可持久化保存。

本节介绍云容器引擎的最佳实践:容器内获取客户端源IP。 客户端真实源IP地址可以用于分析网站流量和用户行为。通过分析来源IP地址，可以了解用户的地理位置、浏览器偏好和其他用户行为指标。这些数据可以用于优化网站设计、定位目标受众和改善用户体验。 在容器化场景下，客户端和容器服务端之间可能存在多种代理服务器，外部请求在经过多次转发后，容器中服务无法获取到客户端真实源IP。 场景介绍 不同请求类型，获取客户端真实IP说明如下： 类型 说明 HTTP/HTTPS请求 通过在ELB监听器开启XForwardedFor，业务应用可以通过XForwardedFor头部提取到源地址，从而获得客户端真实IP。 TCP请求 通过在后端主机配置TOA插件获取客户端的真实源IP地址。TOA是操作系统的内核模块，需要在ELB后端主机中安装TOA插件，以实现后端主机可获取客户端真实源IP地址的目的。 对于HTTP/HTTPS请求，具体实现分为以下两类： 服务类型 说明 负载均衡 ELB访问方式，是通过弹性负载均衡ELB产品来实现负载均衡。通过创建LoadBalancer SVC时，指定注解方式开启XForwardedFor。当通过ELB访问工作负载时，可以通过XForwardedFor头部提取到源地址。 节点端口（NodePort） NodePort访问方式，是将容器端口映射到节点端口，实现获取客户端源IP有以下方式： 当配置SVC外部流量策略为Local时，表示请求不经过转发，可以获取客户端源ip； 当配置SVC外部流量策略为Cluster时，需要通过手动创建监听器及后端主机组，开启XForwardedFor实现。

本节介绍了:关于Pod异常问题排查的诊断流程、排查方法、常见问题及对应的解决方案。 诊断流程 如果Pod状态异常，可通过查看Pod的事件、Pod的日志、Pod的配置等信息确定异常原因。大体排查流程如下。 执行kubectl describe pod n 查看Pod事件，根据event中的报错信息，排查对应原因 阶段一：调度问题 Pod未调度到节点. 如果Pod长时间处于Pending状态，说明该Pod没有被安排到任何节点上运行。 event中的报错信息 说明 处理方式 no nodes available to schedule pods. 当前集群中没有符合Pod要求的合适节点可供调度。 1、查看集群中是否存在状态为NotReady的节点。如果存在，则对该类节点进行检查和修复。 2、检查Pod中是否声明了nodeSelector、nodeAffinity或污点容忍。 3、若不存在亲和性策略，可以检查kubesystem命名空间下的kubescheduler对应的pod是否正常运行、pod中有无异常日志。 0/x nodes are available: x Insufficient cpu. 0/x nodes are available: x Insufficient memory. 当前集群中没有可用节点能够满足Pod所需的CPU或内存资源。 在节点页面查看CPU、内存的使用情况，确定集群的资源使用率。 1、若集群中的CPU或内存已经耗尽，可参考如下方法处理。 1.1、调整工作负载副本数，删除或减少不必要的Pod。 1.2、根据自身业务情况，调整Pod对应工作负载的CPU、内存资源的requests值和limits值。 2、在集群中扩容新的节点。 x node(s) didn't match node selector. x node(s) didn't match pod affinity/antiaffinity. 当前集群现有节点中，没有节点满足Pod声明的nodeSelector要求或Pod亲和性podAffinity或podAnitiAffinity要求。 1、检查并调整Pod的节点亲和性策略，包括节点标签、nodeSelector、nodeAffinity、节点污点和Pod容忍等。 2、检查并调整Pod的Pod亲和性策略，如果Pod配置了podAffinity，则需要检查目标节点上是否有匹配的Pod存在；如果配置了podAntiAffinity，则需确认目标节点上没有不应共存的Pod。 0/x nodes are available: x node(s) had taints that the pod didn't tolerate. 当前集群中Pod需要调度的目标节点被打上了污点，不允许该Pod调度到该节点上。 如果污点是由用户手动添加，您可以删除非预期的污点。如果无法删除污点，可以为Pod配置相应的容忍。 如果污点为系统自动添加，您可以参见下文解决对应的问题，问题解决后等待Pod重新调度。 0/x nodes are available: x Insufficient ephemeralstorage. 节点临时存储容量不足。 检查Pod是否配置了临时存储卷的限制，即Pod YAML中spec.containers.resources.request.ephemeralstorage的取值。如果取值过高，超出了节点的实际可用容量，Pod会调度失败。 执行kubectl describe node grep A10 Capacity命令，查看各个节点上可用于临时存储的总容量。如果容量不足，可扩容节点磁盘或增加节点数量。 0/x nodes are available: pod has unbound immediate PersistentVolumeClaims. Pod绑定PVC失败。 检查Pod所指定的PVC或PV是否已经创建，通过kubectl describe pvc 或 kubectl describe pv 命令查看PVC、PV的Event信息，进一步进行判断。 too many pods 当前集群中运行的Pod数量超过kubelet可容纳的Pod最大值。 默认情况下，kubelet启动参数maxpods110表明该节点最大只能容纳110个Pod。根据自身业务情况和集群资源使用情况，调整工作负载副本数，删除或减少不必要的Pod或修改kubelet的maxpods启动参数值。 系统自动添加的污点 对应含义 可能原因 处理方法 node.kubernetes.io/notready 节点未准备好，处于NotReady状态。 1、节点上kubelet进程异常。 2、节点主机状态异常，如：关机、hang死。 登录主机检查kubelet进程是否异常，有无错误日志。 node.kubernetes.io/unreachable 节点控制器访问不到节点，相当于节点状况Ready 的值为Unknown。 1、节点上kubelet进程异常 2、master节点到异常节点之间主机网络异常 1、登录主机检查kubelet进程是否异常，有无错误日志。 2、排查异常节点到master节点直接的主机网络。 node.kubernetes.io/memorypressure 节点存在内存压力。 节点上Pod进程和主机进程占用了较多内存，内存使用率较高。 1、调整工作负载副本数，删除或减少不必要的Pod。2、根据自身业务情况，调整Pod对应工作负载的CPU、内存资源的requests值和limits值。 3、在集群中扩容新的节点。 node.kubernetes.io/diskpressure 节点存在磁盘压力。 节点上Pod进程和主机进程占用了较多的磁盘空间，磁盘空间不足。 1、清理主机上不再需要的大文件，如不再需要的镜像文件、日志文件等。 2、新增磁盘挂载或扩容磁盘。 3、在集群中扩容新的节点。 node.kubernetes.io/pidpressure 节点存在PID压力。 节点上Pod进程和主机进程占用了较多的Pid，进程数过多导致可分配Pid不足。 1、尽量避免在k8s节点对应的主机上运行业务程序。 2、调整工作负载副本数，删除或减少不必要的Pod。 3、在集群中扩容新的节点。 node.kubernetes.io/networkunavailable 节点网络不可用。 节点上网络插件Pod异常。 检查该节点上的网络插件Pod状态和Pod日志。 node.kubernetes.io/unschedulable 节点不可调度。 节点被驱逐。 检查是否人为将该节点设置为驱逐，可通过执行kubectl uncordon 恢复。 Pod已调度到节点 如果Pod已经被调度到某个节点上但仍处于Pending状态，请检查Pod是否配置了hostPort。如果Pod配置了hostPort，那么每个节点最多只能运行一个使用该hostPort的Pod实例。因此，工作负载的副本数不能超过集群中的节点数。 检查该端口被主机上的其他进程占用。 如果Pod没有配置hostPort，且Event中没有有效信息时，可查看该节点上的kubelet日志或系统日志（/var/log/messages），根据Pod名称进行过滤，进一步排查Pod启动过程中存在的问题。

BestEffort BestEffort Pod 可以使用未分配给其他 QoS 类 Pod 的节点资源。在节点遇到资源压力时，kubelet 将优先驱逐 BestEffort Pod。 Pod 中所有的容器都没有 CPU 和内存的 request 和 limit 场景一 节点内存超过了预留的上限，导致节点 OOMkill。 解决方法： 升级节点的规格 迁移 Pod 至其他资源充足的节点 场景二 Pod 的内存 limit 设置过低，导致容器在使用内存超过限制时触发了OOMkill。此时，kubelet 会重启容器，但由于内存限制仍未改变，容器将再次超过限制并被终止。这种情况会导致容器反复重启，影响应用程序的稳定性。 解决方法： 扩大容器的内存 limit 设置

创建接入集群，获取接入命令 1、在分布式容器云平台控制台左侧导航栏中选择【分布式容器云】>【接入集群】，进入接入集群列表页。 2、点击【创建接入集群】，在弹窗中填写待接入集群的相关信息。 3、点击【确定】提交创建请求。 4、提交后，即可在列表中查看该接入集群，集群状态为"等待接入中"，还需要在待接入的集群中执行接入命令。 在待接入集群中执行接入命令 1、在分布式容器云平台控制台左侧导航栏中选择【分布式容器云】>【接入集群】，进入接入集群详情页。 2、选择指定管控实例，点击接入集群名称进入接入集群详情页。 3、点击左侧【集群接入】子菜单，查看集群接入命令并复制，对于待接入集群类型为本地IDC或第三方云厂商集群，请复制公网接入命令。 4、使用putty，xshell或webconsole等命令行工具登录至待接入集群的master节点，确保集群中已存在打上了"ccseonenodetype""edge"标签的x86节点。 粘贴上述复制的接入命令，回车执行接入命令。 5、等待相关容器启动完成，可通过执行kubectl logs f n kubesystem ccseoneclusterinstallerXXXXXXXXXXXX查看接入进度。 接入过程一般约为3~5分钟。 接入集群状态变为"就绪"时，说明该集群已经被成功接入CCSE ONE管控实例中。

使用须知 · 删除共享镜像前，需预先解除该镜像的全部共享关系。 · 镜像删除后，不能再使用该镜像创建实例，已使用该镜像创建的实例仍可正常使用，并会继续产生费用。 操作步骤 1. 登录天翼云控制台。 2. 在左侧导航栏，选择镜像服务。 3. 在页面左侧顶部，选择目标资源所在的地域。 4. 点击私有镜像页签，选中要导出的镜像，在右侧的下拉菜单中选择删除。 使用私有镜像 当您成功创建私有镜像后，镜像状态将显示为“正常”。此时，您可以使用该镜像创建实例、将其共享给其他天翼云账号使用，或导出到OSS存储空间（OSS Bucket）。若不再需要该镜像，您可以将其删除。

本节介绍了云容器引擎的最佳实践:使用存储子目录为工作负载提供存储。 当需要将存储的特定子目录直接挂载至工作负载以实现高效数据存储时，云容器引擎提供了多种实现方式以支持该能力。 需求场景 当用户创建大容量文件存储时，为充分利用现有资源，可将不同子目录分配给多个工作负载使用。 若需实现数据层面的权限控制，可限制容器仅访问指定子目录。 对于习惯开源NFS使用方式的用户，可在已有文件存储基础上，通过为不同子目录创建独立的PVC并分配给对应工作负载，实现资源隔离。 每个工作负载拥有不同的子目录的方式便于管理，且可通过Pod名称区分子目录，提升运维效率。 方案选择 有以下两种方案： （1）复用现有存储：用户已有的存储对应一个PVC，无需额外创建PVC，可将同一PVC下的不同子目录分配给多个工作负载使用。 （2）动态分配子目录：用户使用海量文件存储时，每次可为不同工作负载动态分配一个子目录作为独立PVC。（注：此功能仅海量文件存储支持，其他存储产品不适用于子目录挂载场景。） 方案一：子目录挂载（多个子目录共享同一PVC） 在工作负载的数据存储配置界面，设置挂载路径为 /test，即存储卷将挂载至容器内的 /test 目录。子路径可选择 subPath 或 subPathExpr 模式。 subPath：简单直接，工作负载的所有副本均使用存储卷的同一子目录。 subPathExpr：支持通过环境变量动态调整子目录路径，实现同一工作负载中不同副本使用独立子目录。 若选择 subPath，直接填写子目录名称即可；若目录不存在，K8S会自动创建。若选择 subPathExpr，需按以下方式配置： 在第二个绿色箭头所指的框中，根据实际需求填写路径表达式。例如可使用 $(PODNAMESPACE)/$(PODNAME) 或 $(PODNAME)，也支持自定义格式。此处以 $(PODNAMESPACE)/$(PODNAME) 为例，需确保相关变量已在环境变量中预先定义。 根据以上示例，红框处需正确填写变量名，绿框处需选择变量值的来源。即从Pod的metadata.name字段获取PODNAME变量值，从metadata.namespace字段获取PODNAMESPACE变量值，并组合为存储的子目录路径。 例如：一个两副本的无状态工作负载位于命名空间cstor下，Pod名称分别为podA和podB。按此配置后，一个副本会将PVC对应存储下的cstor/podA子目录挂载至容器内的/test路径，另一副本则挂载cstor/podB子目录至相同路径。 若通过工作负载的YAML文件实现，相关字段配置如下： plaintext volumeMounts: name: workdir1 mountPath: /logs subPathExpr: $(PODNAMESPACE)/$(PODNAME) yaml的env的设置如下： plaintext spec: containers: name: container1 env: name: PODNAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name name: PODNAMESPACE valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.namespace

本节介绍了云容器引擎的最佳实践:使用延迟绑定的存储类实现跨AZ调度。 天翼云提供多种存储类型，如云硬盘、海量文件、弹性文件等。多数存储创建于特定可用区，若从其他可用区访问，部分存储类型将无法访问，部分虽可访问但存在性能损耗。尤其对于云硬盘或并行文件等对可用区要求严格的存储产品，若节点与存储的可用区不匹配，将导致存储无法正常挂载。为保障可用性与性能，建议多可用区业务采用延迟绑定策略，尽可能使存储与容器应用处于同一可用区。 注意 若工作负载的多个副本分布在多个可用区，且均使用同一支持延迟绑定及多机只读的PVC，则存储将基于首个被调度Pod所在的可用区进行挂载。 名词解释 延迟绑定（WaitForFirstConsumer）是存储类绑定策略的一种。选择该策略后，使用此存储类创建的PVC不会立即执行动态分配操作，而是等待有工作负载使用该PVC且Pod完成调度后，才触发动态分配流程。 Pod调度完成后，K8S会记录其所在节点的可用区信息。动态分配时，系统将根据Pod所在可用区为PVC分配存储并构建PV。 使用方法 创建一个新的存储类时，需根据实际需求选择存储产品并填写相关参数。在“绑定策略”一栏中，请选择延迟绑定（WaitForFirstConsumer）。 创建持久卷申明时，选择这个新的存储类，可以看到持久卷申明，状态会一直处于等待中，事件也是等待动态分配的状态。此时需要新建一个工作负载使用该PVC。 一段时间后可见，持久卷申请已成功绑定，无状态工作负载启动正常，云盘正常挂载。通过存储控制台查询可确认存储所在可用区与工作负载的可用区保持一致。

无法访问 Ingress 控制器 确认 Ingress 控制器 Pod 处于运行状态。 确认 Ingress 资源配置正确，DNS 名称指向正确的 IP 地址。

VPC网段 容器网段 Service网段 最大可分配Pod地址数 192.168.0.0/16 172.16.0.0/16 10.96.0.0/16 65536

本节介绍了通过kubectl访问集群的用户指南。 前提条件 您已经创建了一个天翼云的账号，并且有一个云容器引擎集群。 您已经安装并配置好了kubectl工具。如果尚未安装，请参考安装和设置kubectl。 获取集群的访问凭证 登录云容器引擎控制台，单击集群名称进入集群。 在集群信息页中，点击连接信息。 点击内网访问，复制kubeconfig文件内容，将该内容复制到$HOME/.kube/config文件下。 配置kubectl 打开终端，设置KUBECONFIG环境变量，使kubectl使用正确的配置文件： plaintext export KUBECONFIG$HOME/.kube/config 验证配置文件是否正确： plaintext kubectl config view 这将显示当前kubeconfig文件的内容，确保包含您下载的集群配置信息。 验证连接 使用以下命令验证与Kubernetes集群的连接： plaintext kubectl clusterinfo 您应该看到集群控制平面和服务的相关信息。 列出所有命名空间以确认kubectl与集群连接正常： plaintext kubectl get namespaces

本节介绍了用户指南:使用OceanFS动态存储卷(subPath模式)。 云容器引擎支持使用天翼云海量文件存储持久卷。cstorcsi插件支持使用海量文件服务动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录，以满足数据持久化需求。 subPath模式是指将海量文件存储中的指定子目录作为持久卷使用。当用户挂载持久卷声明时，持久卷中记录的子目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 参见海量文件使用限制 通过控制台使用海量文件动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 选择新建子目录模式。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，仅支持Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 参数 海量文件名称：需要选择一个海量文件，后续会基于该海量文件分配子目录 子目录回收策略： 保留：当持久卷被csi删除时，会保留子目录在文件存储中，不做删除。默认为该选项。 删除：当持久卷被csi删除时，会删除文件存储中对应的子目录，数据无法恢复。 注意 删除子目录属于高危操作，请谨慎选择“删除”子目录回收策略。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

Service 与 kubeproxy Service是Kubernetes抽象出来的网络组件，它对外提供统一的IP，屏蔽后端 Pod 的变化，将请求负载到后端的容器 Pod。 kubeproxy是 Kubernetes 的核心组件之一，负责维护节点上 Service 到 Pod 的网络规则。云容器引擎的 kubeproxy 支持 iptables 和 IPVS 两种模式。 iptables iptables 是 Linux 用于过滤和处理数据包的内核功能，其原理是通过 Hook 机制挂载的一系列规则对路径上的数据包进行处理。在使用 iptables 模式时，kubeproxy 会为每一个 Service 添加一条 iptables 规则。通过这些规则流向 Service 的数据包将被随机转发到后端的容器 Pod上。适用的场景： 成熟稳定的kubeproxy代理模式，性能一般，适用于Service数量较少（小于3000）的场景 随机平等的负载均衡算法能满足需求的场景 IPVS IPVS（IP Virtual Server）是构建在传输层上的负载均衡，其原理是将客户端的 TCP 和 UDP 请求根据预设的调度算法分配到后端的真实服务器上，从而实现服务器集群的负载均衡。采用 IPVS 模式时，kubeproxy 会使用 IPVS 提供的高效查找算法将请求转发到后端的容器 Pod上，且处理效率与集群规模无关。适用的场景： 高性能的kubeproxy代理模式，适用于集群规模较大或Service数量较多的场景 有轮询、最短期望延迟、最少连接以及各种哈希方法等负载均衡算法需求的场景

本节介绍了云容器引擎节点类常见问题。 容器集群新增节点时的问题与排查方法？ 若是通过集群节点扩容，可在集群节点列表中查看新增的节点概况； 若是通过节点池新增节点，可在节点池详情的伸缩活动中看操作记录。 如何重置容器集群中节点的密码？ 可在集群节点详情页面有重置密码按钮，需两次输入密码校验正确后才生效。 注意 节点重置密码等同于云主机重置密码，请务必保存好密码。 节点重置密码后如何登陆云主机？ 需购买并绑定同一VPC内的弹性IP后，可SSH登陆云主机操作。 容器集群节点中安装kubelet的端口主要有哪些？ 容器集群节点中安装kubelet的端口主要有如下几个： 10250 –port：kubelet服务监听的端口，api会检测他是否存活。 10248 –healthzport：健康检查服务的端口。 10255 –readonlyport：只读端口，可以不用验证和授权机制，直接访问。 4194 –cadvisorport：当前节点cadvisor运行的端口。 容器集群的节点可以更改IP吗？ 不支持修改私网IP：当前容器的集群中把节点私网IP作为kubernetes node名称，kubernetes node名称不支持修改，修改后会导致节点不可用及容器网络异常等故障，所以不支持更换节点私网IP。 支持修改公网IP：节点上的公网IP可以在云主机控制台更换。 如何更改节点Pod数量？ 不同集群单节点支持的最大Pod数是有限制的，默认为110。 登陆到节点上，修改/var/lib/kubelet/config.yaml中配置。 修改参数maxPods为指定的值。 执行systemctl restart kubelet，重启kubelet。

3、创建快照（VolumeSnapshot） 进入主菜单“存储”——“快照与备份”，选择快照，单击左上角“创建快照”； 在创建对话框，配置快照的相关参数。配置项说明如下： 参数配置完成后，点击“确定”。创建成功后，可以在快照列表查看。 配置项 说明 名称 VolumeSnapshot 名称。 存储类型 这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 快照类 选择上一步创建的VolumeSnapshotClass 。 存储卷声明 选择要创建快照的PVC，仅能选择云硬盘类型PVC。 注意 只有当快照状态变为“就绪”时，才表示快照真正创建完成。 通过控制台使用云盘快照 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 “存储”——“快照与备份”，进入快照列表页，选择指定快照，点击操作“创建存储卷快照PVC”。 在创建对话框，配置PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 StorageClass名称 选择上一步创建的StorageClass。 容量 最小容量为快照大小。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 说明：如果使用共享盘存储，卷模式仅支持块设备（Block）。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 说明：如果使用非共享盘存储，访问模式不能为ReadWriteMany或者ReadOnlyMany。仅卷模式为块设备（Block）时，才可以使用共享盘，访问模式才可以为ReadWriteMany或者ReadOnlyMany。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。此时，进入主菜单“存储”——“持久卷“，可以看到对应的PV创建 。 如果PVC一直未绑定，可以查看进入对应PVC详情页查看事件，或者查看cstorcsi日志进行定位。 注意 当源盘PVC的卷模式与基于该源盘快照创建的新PVC的卷模式不一致时，可能导致数据层面的异常。 例如：当源盘PVC是Block的卷模式，而源盘快照创建的新PVC的卷模式为Filesystem，则新的PVC在pod使用时会格式化成用户想要的文件系统，由于源盘中的数据为非文件系统格式，外部组件无法识别其内容，可能将其视为无效数据并进行覆盖，从而导致原有数据丢失。 因此，用户需确保源盘PVC的卷模式与基于其快照创建的新PVC的卷模式保持一致。 此外，若源盘PVC使用的文件系统为非常规类型，或文件系统本身存在兼容性损耗，可能导致CSI调用Linux命令时无法正确识别该文件系统，进而触发文件系统重建，造成数据丢失风险。

本文介绍用户如何访问集群API Server? 用户如何访问集群API Server？ 通过证书认证进行访问。您可以在云容器引擎控制台集群信息 > 连接信息获取kubeconfig文件， 使用kubectl工具直接连接集群API Server。

本文将指引您搭建一个IPv6网段的VPC,并在VPC中创建一个带有IPv6地址的集群和节点,使节点可以访问Internet上的IPv6服务。 简介 IPv6的使用，可以有效弥补IPv4网络地址资源有限的问题。如果当前集群中的工作节点（如ECS）使用IPv4，那么启用IPv6后，工作节点可在双栈模式下运行，即工作节点可以拥有两个不同版本的IP地址：IPv4地址和IPv6地址，这两个IP地址都可以进行内网/公网访问。 使用场景 如果您的应用需要为使用IPv6终端的用户提供访问服务，则您可使用：IPv6弹性公网IP或IPv6双栈。 如果您的应用既需要为使用IPv6终端的用户提供访问服务，又需要对这些访问来源进行数据分析处理，则您必须使用IPv6双栈。 如果您的应用系统与其他系统（例如：数据库系统）、应用系统之间需要使用IPv6进行内网访问，则您必须使用IPv6双栈。 使用IPv6双栈请参考IPv4/IPv6双栈网络、IPv6弹性公网IP。 搭建IPv4/IPv6双栈集群步骤 步骤 1 创建虚拟私有云，且创建已开启了IPv6的子网。若没有，则参考创建虚拟私有云和子网。 1. 创建VPC时需开启IPv6 2. 创建子网并开启IPv6 步骤 2 创建集群 1. 登录CCE控制台，在右上角中选择“创建集群”。 2. 网络配置请按如下设置，其余配置可参考订购集群： 虚拟私有云：选择已开启IPv6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPv6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点，工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求，详情请参考如何设置Service CIDRV6网段： Service CIDRV6网段需属于fc00::/8网段内。 IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个

为减少安全隐患和稳定性风险,云容器引擎建议用户及时升级kubernetes版本。用户使用云容器引擎控制台升级集群的Kubernetes版本,本文介绍集群升级前后的注意事项、升级流程、操作步骤等。 升级集群的好处 云容器引擎使用kubernetes的原生v . . 版本语义，目前尚只支持4个次要版本，分别为v1.23.3, v1.25.6, v1.27.8, v1.29.3版本。云容器引擎会定期发布支持的Kubernetes版本并逐步停止对过期版本的技术支持。建议使用v1.23.3版本的用户尽快升级到更高版本kubernetes，已获得更好的使用体验。 主动升级集群有以下好处： 降低安全和稳定性风险：随着Kubernetes版本迭代，会不断优化及修复发现的安全及稳定性漏洞，长久使用过期版本集群会给业务带来安全和稳定性风险。 享受更好的维护支持：对于过期Kubernetes版本，云容器引擎不再提供安全补丁和问题修复，也无法保证过期版本的技术支持质量。使用新版本能够让您享受更好的技术支持和答疑服务。 使用新版本的新功能：随着社区Kubernetes版本的演进，新版本包含新的功能和改进，云容器引擎也将适配新版本，为您带来更好的开发和运维体验。

本节介绍了云容器引擎的其他类常见问题。 节点NTP时间不同步怎么排查？ 检查 NTP 服务状态 在每个节点上，检查 NTP 服务是否正在运行。使用如下命令： bash sudo systemctl status ntp 如果 NTP 服务没有运行，使用以下命令启动它： bash sudo systemctl start ntp 也可以使 NTP 服务在启动时自动运行： bash sudo systemctl enable ntp 检查 NTP 配置 检查 /etc/ntp.conf 文件，确保 NTP 服务器的配置是正确的。可以选择使用公共的 NTP 服务器，或者在网络内部运行一个 NTP 服务器。 检查网络连通性 节点需要能够访问 NTP 服务器。可以使用 ping 或 nc 来检查节点是否可以连接到 NTP 服务器。 ping c 3 [yourntpserver] 手动同步时间 如果以上步骤不能解决问题，可以尝试手动同步节点的时间。ntpdate 是一个可以立即同步时间的命令： sudo ntpdate [yourntpserver] 使用 Chrony 如果 NTP 无法满足需求，可以考虑使用 Chrony。Chrony 是一个可以替代 NTP 的时间同步服务，它对网络延迟有更好的处理，而且配置也比较简单。

注解名称 描述 示例 支持的CCM版本 service.beta.kubernetes.io/ctyunloadbalancerid 指定已有负载均衡，取值为负载均衡实例的ID。删除service时该 ELB不会被删除 lb v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerspec 指定新建负载均衡的规格，如elb.s2.small elb.s2.small v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalanceraddresstype 指定新建负载均衡的公网私网类型，取值： intranet：负载均衡地址类型为私网，intranet为默认值 internet：负载均衡地址类型为公网 internet v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerprotocolport 指定负载均衡监听HTTP协议或HTTPS协议，可指定多个监听，多个监听之间以逗号“,”分割 https:443,http:80 v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancersslcert 指定SSL证书，取值为SSL证书ID，可在负载均衡控制台的证书管理页面查看证书ID。 仅监听协议为HTTPS协议时需要指定 cert v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerxforwardedfor 指定负载均衡监听器附加XForwardedFor头字段，通过开启该参数，后端服务可获取客户端源IP。取值为“true”或“false” 仅支持监听协议为HTTP和HTTPS协议 "true" v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerchargetype 指定创建公网负载均衡时，公网的计费类型，取值： bandwidth：按带宽计费 traffic：按流量计费，traffic为默认值 traffic v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerbandwidth 计费类型为“bandwidth”时，可指定带宽的大小，值为数字类型，默认为1 Mbps 5 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancercyclecount 指定负载均衡的计费周期，值为数字类型，表示购买月数，默认为1个月 1 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancereipid 指定新建公网负载均衡时，可指定绑定已有的弹性IP，取值为弹性IP的ID，可在网络控制台的弹性IP详情页面查看ID eip v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerprojectid 指定新建负载均衡所属的企业项目，取值为企业项目ID，可在IAM控制台中企业项目详情查看ID 0 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerenableipv6 指定新建负载均衡时，可指定开启负载均衡的ipv6 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6bandwidthid 指定新建支持ipv6的公网负载均衡时，需指定IPv6带宽ID，可在网络控制台的IPv6带宽详情页面查看ID。如果没有IPv6带宽，请先创建一个 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerenablelistenernat64 指定支持ipv6的负载均衡时，可指定开启监听器的nat64，支持负载均衡将ipv6流量转发到ipv4的后端 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6address 指定新建支持ipv6的负载均衡时，可指定负载均衡的ipv6地址（该地址为负载均衡所在子网的ipv6地址段中未被分配的ip），未指定则由系统随机分配 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceroverridelisteners 指定已有负载均衡时，可指定是否强制覆盖已有监听 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckflag 健康检查开关，取值off或on。off：不启用；on：启用 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption 配置全局健康检查的选项，对service下所有端口配置起作用。内容为json类型数据，数据结构见下表“健康检查字段数据结构说明” 注意 使用该字段，需确保service下端口配置的protocol协议一致 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoptions 配置健康检查的选项，支持为service下单个端口或部分端口配置健康检查。内容为数组形式的json数据，数据结构参考表“健康检查字段数据结构说明” 注意 该字段不能与“service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption”同时使用 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclflag 指定访问控制的类型，取值： inherit：继承已有ELB配置； all：允许所有IP访问； white：白名单； black：黑名单 white v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclstatus 访问控制开关，值为on或off，只有为on时，黑/白名单才会生效 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclid 指定访问策略组的ID，可在负载均衡控制台的访问策略组页面查看策略ID ac v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerestablishtimeout 指定建立连接超时时间，只用于TCP监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceridletimeout 指定空闲超时时间，只作用于HTTP/HTTPS监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerresponsetimeout 指定响应超时时间，只作用于HTTP/HTTPS监听 "5" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerproxyprotocolflag 指定是否开启后端主机组的Proxy Protocol，ProxyProtocol协议会携带客户端源地址到后端服务器。取值： on：开启 off：关闭 注意 该功能不支持在线平滑开启，切换到ProxyProtocol需要业务停服升级，请谨慎配置。 on v1.1.1及以上 service.beta.kubernetes.io/ctyunloadbalanceripmode 指定Service的External IP模式，值为 vip 或 proxy vip：集群内访问Service不会经过ELB，直接经由ipvs/iptables转发到Service对应的后端Pod proxy：集群内访问Service会先经过ELB，最终再转发到对应后端Pod 注意 该特性要求Kubernetes集群版本大于v1.29 proxy v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalanceriptype 指定Service的External IP地址类型，值为 private 或 public private：设置ELB的私网IP为Service的External IP public：设置ELB的公网IP为Service的External IP public v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalancerpreservesourceip 指定是否开启客户端源地址保持，值为 true 或 false true：开启 false：关闭 注意 客户端源地址保持要求Service的ExternalTrafficPolicy必须为Local。开启该特性，需确保集群节点的弹性网卡对应的安全组已放通客户端源IP，避免影响网络连通 true v1.5.0及以上

本节介绍了用户指南:使用OceanFS动态存储卷(sharePath模式)。 云容器引擎支持使用天翼云海量文件存储持久卷。cstorcsi插件支持使用海量文件服务动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录下，以满足数据持久化需求。 sharePath模式是指将完整的海量文件存储作为持久卷使用。当用户挂载持久卷声明时，海量文件的根目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 参见海量文件使用限制 通过控制台使用海量文件动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 计费模式 可以选择按需计费或者包年包月 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 参数 存储类型：参数键为type，支持参数值如下： massive ：容量型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有对应的云硬盘类型，再进行选择。 存储标签：创建存储资源时，给存储资源添加对应的标签，注意，该标签不是K8S的label，而是存储侧的资源标签，需要在存储控制台或者云资源视图查看。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 是否指定存储卷 在静态创建的场景下，需要指定上一步的存储卷。 持久卷名称 选择上一步创建的PV名称。