本节介绍了设置负载的节点选择器（nodeSelector）的用户指南。 在Kubernetes中，调度Pod到特定节点的最简单方法是通过工作负载配置中的nodeSelector字段。它允许您指定目标节点的标签，Kubernetes将仅把Pod调度到匹配这些标签的节点上。 前提条件 为了使用nodeSelector，您首先需要为目标节点添加自定义标签。添加标签的具体步骤，请参考节点标签指南。 一旦节点被正确标记，您就可以在工作负载的定义中设置nodeSelector字段，指定希望Pod调度的节点标签。这样，Kubernetes调度器就会自动将Pod分配到符合条件的节点上，确保工作负载能够运行在您期望的环境中。 设置负载的节点选择器 进入创建负载的页面，在高级配置中，选择调度策略，在节点选择器中，选择节点标签。

NodeComponent检查 检查项名称 说明 修复方案 检查节点CNI组件状态是否正常 检查节点上CNI组件Pod是否正常。 请检查集群网络组件状态。具体操作，请参见Pod异常问题排查。 检查节点CSI组件状态是否正常 检查节点上CSI组件Pod是否正常。 请检查集群件存储组件状态。具体操作，请参见Pod异常问题排查。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。

本节介绍网络的用户指南：Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍了事件中心的用户指南。 K8S Event是集群中某个事件的报告，它一般表示系统的某些状态变化，通过事件可以查看集群的状态变更，包括创建Pod、运行Pod、删除Pod、组件异常等。事件中心提供集群中最近一小时的所有事件的查询；通过安装日志插件及事件中心插件，可以把集群的事件持久化到日志服务，从而能够查询更长时间的事件。 操作步骤 查询集群最近一小时的事件 可以通过以下两种方式查询集群最近一小时的事件。 方式一：在集群概览页中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【集群信息】中选择【概览】Tab页即可查看集群一小时内的事件。 2、您也可以点击【下载】将事件保存为Excel文件。 方式二：在事件中心中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【运维管理】中选择【事件中心】。 2、选择【事件列表】Tab页即可查看集群一小时内的事件。您也可以选择级别、命名空间、类型、名称对事件列表进行过滤。 将集群事件持久化到日志服务 1、选择指定容器集群，确保已开通云日志服务并安装ctglogoperator插件和cubeeventer插件，插件安装可参考 用户指南 > 插件 章节。 2、在菜单栏【运维管理】中选择【事件中心】。 3、选择【事件查询】，可以通过开始时间、结束时间、关键词过滤事件日志。

操作步骤：为单个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择 服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户 > 查看 > 权限管理 > 新增权限 为用户授予IAM权限。 4、云容器引擎预定义了系统策略，直接选择并点击下一步及确定。 操作步骤：为多个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户组 > 创建用户组 创建用户组。 4、点击 用户组管理 将需要授权的子用户加到用户组。 5、点击 授权 为用户组授予IAM权限。 6、容器引擎预定义了系统策略，直接选择并点击下一步及确定。 RBAC授权指引 前提条件：已创建容器集群，具体操作请参见 用户指南 > 集群管理 > 新建集群 章节。若已有容器集群，无需重复操作。

本节介绍网络的用户指南： CoreDNS介绍。 CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管。 云容器引擎订购的集群使用CoreDNS负责集群的服务发现，可根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 默认配置 在命名空间kubesystem下，有一个名为coreDNS的配置项。CoreDNS会基于该配置项启用和配置插件。不同CoreDNS版本的配置项有略微差异，修改配置前请仔细阅读CoreDNS官方文档。 以下是一个1.6.2版本CoreDNS默认采用的配置文件： Corefile: .:53 { errors log health { lameduck 15s } ready kubernetes {{.ClusterDomain}} inaddr.arpa ip6.arpa { pods verified fallthrough inaddr.arpa ip6.arpa } prometheus :9153 forward . /etc/resolv.conf { preferudp } cache 30 loop reload loadbalance } 配置文件中ClusterDomain代指集群创建过程中填写的集群本地域名，默认值为cluster.local。配置项说明如下： 参数 描述 errors 错误信息到标准输出。 health CoreDNS自身健康状态报告，默认监听端口8080，一般用来做健康检查，可以通过 获取健康状态。 ready CoreDNS插件状态报告，默认监听端口8181，一般用来做可读性检查，可以通过 获取可读状态。当所有插件都运行后，ready状态为200。 kubernetes CoreDNS Kubernetes插件，提供集群内服务解析能力。 prometheus CoreDNS自身metrics数据接口，可以通过 获取prometheus格式的监控数据。 forward（或proxy） 将域名查询请求转到预定义的DNS服务器。默认配置中，当域名不在Kubernetes域时，将请求转发到预定义的解析器（/etc/resolv.conf）中。默认使用宿主机的/etc/resolv.conf配置。 cache DNS缓存。 loop 环路检测，如果检测到环路，则停止CoreDNS。 reload 允许自动重新加载已更改的Corefile。编辑ConfigMap配置后，请等待两分钟以使更改生效。 loadbalance 循环DNS负载均衡器，可以在答案中随机A、AAAA、MX记录的顺序。

合理分配CoreDNS副本运行的位置 建议您在部署CoreDNS副本时，应将CoreDNS副本打散在不同可用区、不同集群节点上，避免单节点、单可用区故障。CoreDNS默认配置了按节点的弱反亲和性，可能会因为节点资源不足导致部分或全部副本部署在同一节点上，如果遇到这种情况，请删除Pod重新触发其调度来调整。 CoreDNS所运行的集群节点应避免CPU、内存用满的情况，否则会影响域名解析的QPS和响应延迟。当集群节点条件允许时，可以考虑使用自定义参数将CoreDNS调度至独立的集群节点上，以提供稳定的域名解析服务。关于CoreDNS调度至独立的集群节点的方式，请参见使用自定义参数完成CoreDNS独占部署。 手动扩容副本数 当集群节点数长时间较为固定时，您可以通过以下命令扩容CoreDNS副本数。 kubectl scale replicas{target} deployment/coredns n kubesystem 基于CPU负载指标自动扩容副本数（HPA） 由于HPA会频繁触发CoreDNS副本缩容，建议您不要使用容器水平扩缩容（HPA），如果您的场景下必须依赖于HPA，请参考以下基于CPU负载的策略配置： apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata: name: corednshpa namespace: kubesystem spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: coredns minReplicas: 2 maxReplicas: 10 metrics: type: Resource resource: name: cpu targetAverageUtilization: 50 合理配置CoreDNS 云容器引擎仅提供CoreDNS的默认配置，您应关注配置中的各个参数、优化其配置，以使CoreDNS可以为您的业务容器正常提供DNS服务。CoreDNS的配置非常灵活。 早期版本随Kubernetes集群部署的CoreDNS默认配置可能存在一些风险，推荐您按以下方式检查和优化： 合理调整CoreDNS的资源Request和Limit 关闭kubedns服务的亲和性配置 配置CoreDNS优雅退出 配置Ready就绪探针插件

步骤二：购买弹性IP 步骤三：购买NAT网关及配置路由 参考：点这里 步骤四：配置SNA规则 进入上一步创建的NAT网关； 选择“添加SNAT”规则； “源网段类型”选择VPC内子网； 子网选择步骤一中确定的子网网段； 弹性ip选择步骤二中新建的弹性ip； 点击“确定”，完成SNAT规则添加。 步骤五：进入指定pod，测试连通性 在步骤一的pod列表中，选择pod，进行“远程登录”： 在命令窗口，执行“ping www.ctyun.com” 能ping通，说明pod内服务可以访问公网。

本节介绍了插件实例的用户指南。 操作场景 插件实例展示的是用户已经安装的插件，用户可以在此界面中完成插件的重新安装、卸载等操作。 前提条件 在维护插件实例前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 在维护插件实例前，您需要先安装插件。若没有插件实例，请参考插件市场操作步骤安装插件中的内容进行安装。 操作步骤 重新安装插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要重新安装的插件实例，点击“重新安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“重新安装”按钮 卸载插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要卸载的插件实例，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了插件市场的用户指南。 操作场景 插件市场展示的是云容器引擎提供的插件，用于丰富集群的能力，满足用户特定的功能需求。 前提条件 在安装插件前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 操作步骤 安装插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要安装的插件，点击“安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“安装”按钮。 卸载插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要卸载的插件，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了用户指南：使用OceanFS静态存储卷（subPath模式）。 使用海量文件静态存储卷，即使用预先在海量文件服务控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载海量文件。 该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 subPath模式是指将海量文件存储中的指定子目录作为持久卷使用。当用户挂载持久卷声明时，持久卷中记录的子目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 已在海量文件服务控制台创建文件系统 已建文件系统VPC需要包括容器集群所属VPC，如没有，在文件系统列表页，针对指定实例点击“添加VPC” 使用限制 参见海量文件使用限制 通过控制台使用海量文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 海量文件名称 选择已创建的文件系统。 已有存储类 选择存储类，该功能一般在静态的方式下不怎么使用。 除非用户有一个持久卷申明并且携带了存储类，那么这里才需要添加存储类，使其与持久卷申明匹配。 模式 使用已有海量文件：基于已经存在的海量文件，使用海量文件本身作为一个持久卷。 使用海量文件子目录：基于某个已经存在的海量文件，使用它的子目录作为一个持久卷。 选择“使用海量文件子目录”模式。 子目录 输入海量文件存储中，一个已经存在的子目录。 注意：输入不存在的子目录，会最终导致使用该存储的pod，启动失败。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 说明 静态导入场景下，回收策略均为默认Retain，cstorcsi不会删除数据。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

插件名称 插件类型 插件简介 ccseschedulerplugins 核心组件 自定义调度插件：基于当前集群节点上cpu和内存真实可用的资源进行调度 cubems 应用管理 cubems可以让部署在CCSE Kubernetes集群中的Java应用接入MSE、ARMS。 ccsemonitor 日志与监控 CCSE监控插件，为 CCSE 提供指标的观测能力 ctglogoperator 日志与监控 天翼云自研基于CCSE的一站式日志插件，为CCSE提供的日志采集、存储、检索能力，具有日志数据集中存储，高效压缩，秒级检索等特性。

本节主要介绍如何使用API修改存储池。 此操作用来修改存储池信息。 请求语法 plaintext PUT /rest/v1/system/storagepool/poolName HTTP/1.1 Date: date ContentType: application/json; charsetutf8 ContentLength: length Host: ip:port Authorization: authorization { "newName": poolName, "description": description } 请求参数 参数 类型 描述 是否必须 poolName String 存储池名称。 是 newName String 存储池的新名称。 取值：长度范围是1~16，只能由字母、数字和短横线（）、下划线（）组成，字母区分大小写，且仅支持以字母和数字开头。 否 description String 存储池的描述信息。 取值：1~50位字符串。 否 请求示例 修改存储池pool4的名称为storagepool4，并修改描述信息。 plaintext PUT /rest/v1/system/storagepool/pool4 HTTP/1.1 Date: Wed, 19 Jun 2024 06:02:44 GMT ContentType: application/json; charsetutf8 Authorization: HBlock userName:signature ContentLength: 90 Host: 192.168.0.110:1443 { "newName": "storagepool4", "description": "The storage pool level is path" } 响应示例 plaintext HTTP/1.1 200 OK xhblockrequestid: 2a6ccdba8d284dbd8d8aa7aaadc3f050 Connection: keepalive Date: Wed, 19 Jun 2024 06:02:44 GMT Server: HBlock

本节介绍了用户指南： 使用HPFS静态存储卷。 使用并行文件静态存储卷，即使用预先在并行文件控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载并行文件。 该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件版本>3.3.2，插件正常运行。（建议使用>4.0的CSI版本） 已在并行文件控制台创建文件系统 使用限制 参见 并行文件使用限制 通过控制台使用并行文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 并行文件 选择已创建文件系统。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 说明 静态导入场景下，回收策略均为默认Retain。当PVC被删除时，cstorcsi不会删除文件系统。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动 计费模式 可以选择按需计费或者包年包月 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

本节介绍了用户指南： 并行文件概述。 云容器引擎支持使用天翼云并行文件存储卷。cstorcsi插件支持使用并行文件动态存储卷和静态存储卷，通过将并行文件存储卷挂载到容器指定目录，可满足数据持久化需求。 并行文件服务提供高性能并行文件存储，支持全NVMe闪存与RDMA技术，最高可实现百万级IOPS和百GBps吞吐量，同时保障亚毫秒级延迟。该服务具备高性能、高可靠性和高可扩展性特点，能够充分满足影视渲染、AI训练及自动驾驶等数据密集型场景的需求。 使用限制 插件版本 使用并行文件存储功能，需要cstorcsi插件版本 >3.3.2 容器集群 当前并行文件服务功能仅智算集群可见 文件协议 当前cstorcsi插件仅支持HPFSPOSIX协议 容量 单个文件系统最小容量为512GB 可用区 协议类型为hpfs时，不支持跨可用区挂载。 使用并行文件存储PVC的Pod将会被强制调度到该PVC创建时指定的的可用区内 其他限制 参见 并行文件使用限制 产品优势 共享访问 1. 支持上千台客户端挂载同一文件系统，实现共享访问。 2. 支持 NFS、HPFSPOSIX 协议类型，用户能够在创建文件系统时指定协议类型，通过标准 POSIX 接口访问数据，无缝适配主流应用程序进行数据读写。 3. 支持 MPII/O 并行计算接口，满足多客户端并行计算场景。 弹性扩展 1. 采用可扩展的元数据架构，单个文件系统可支持几十亿级别的文件数量，在海量文件场景下，仍然保持稳定持续的高效访问性能。 2. 分钟级别快速扩容，用户可根据实际需要对文件系统进行在线扩容，扩容过程 IO 不中断，保障业务连续性。 安全可信 1. 支持使用 VPC 用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 使用多种 EC 方式、热备盘备份保证数据的可靠性。 3. 支持 HA，故障时自动切换，服务可用性在99.90%及以上。 性能优越 1. 可支持高性能100GE 以太网、IB、RoCE 网络。 2. 带宽、IOPS 性能可以随文件系统容量线性提升，最高提供百万 IOPS 和百 GBps 吞吐，同时保证亚毫秒级时延，使得数据访问更加高效。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、本地存储、并行文件，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 对应StorageClass yaml中provisioner，值为local.csi.cstor.com。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 参数 本地存储类型：参数键为type；该场景下选择lvm。 存储池：参数键为baseStor，选择上一步创建的存储池。 挂在类型：参数键为csi.storage.k8s.io/fstype，支持参数值包括ext4、xfs。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {YOURPVCNAME} namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 5Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "zostest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" subPath: "ccsetest" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“工作负载”——“有状态”，在列表查看

本节介绍了有状态服务的用户指南。 基本概念 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysqlHA等。 操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。 因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于云容器引擎提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照集群开通中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建StatefulSet与创建Deployment的过程类似，但主要有以下几个方面的差异，需要注意： 数据卷 除了Deployment能够使用的六种类型的数据卷之外，StatefulSet还多了新建PVC这种类型的数据卷挂载，而且这种类型的数据卷仅StatefulSet能够使用。一般情况下，如果我们使用StatefulSet来做数据的持久化，即可使用新建PVC这种数据卷。 使用这种数据卷挂载的时候，我们需要提前创建好存储类，然后点击上面的新建pvc。 新建pvc时的参数需要留意，只有同时满足下述条件，新建PVC才能成功绑定到我们提前创建的持久存储卷上： 名称可以任意填写 StorageClass；名称要选择我们提前创建好的持久存储类。 所需容器：不能超过我们提前创建好的持久存储卷的容量。 访问模式：要和我们提前创建的持久存储卷的访问模式一致。

默认容忍策略解析 Kubernetes默认会为Pod添加针对node.kubernetes.io/notready和node.kubernetes.io/unreachable污点的容忍度，并设置容忍时间为300秒。这意味着，当Pod所在节点被标记为这两种污点之一时，Pod仍可在5分钟内保持运行状态。 注意 在DaemonSet创建Pod时，针对上述污点自动添加的容忍度不会设定容忍时间，意味着在节点存在这些污点的情况下，DaemonSet中的Pod将始终不会被移除。 容忍度配置示例 进入创建负载的页面，在高级配置中，选择容忍策略，进行污点容忍配置。

配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件和对象存储，这里选择对象存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {YOURPVCNAME} namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 500Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "nastest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“工作负载”——“有状态”，在列表查看。

比较项 标准快照（STANDARD） 极速快照（FAST） 所属产品类型 云硬盘备份 云硬盘 生成快照速度 慢 快 限制条件 1. 需预先创建对应的云硬盘备份存储库。若未启用按需自动扩容功能，则存储库容量不足时需手动进行扩容。 1. 删除源盘前，需先删除该源盘的所有快照。 2. 快照仅支持创建与其源盘同一可用区的云硬盘。例如，可用区2的云盘快照只能用于创建可用区2的云硬盘，若尝试在可用区1创建将报错。 3. 快照创建的云硬盘类型必须与源盘一致。例如，SAS 类型云盘的快照只能创建出 SAS 类型的云硬盘。 价格 价格相对更低，但需预先购买存储库空间，可能在一定程度上造成资源浪费。 价格相对更高，但无需预先预留存储空间。 操作方法 除了snapclass中填的字段不同，其他K8S侧的用法与极速快照一致。 除了snapclass中填的字段不同，其他K8S侧的用法与标准快照一致。 K8S适配性 更好 较差，主要问题在于源盘与云盘快照之间存在耦合关系，而 Kubernetes 将其视为两个独立的资源进行处理。

配置项 说明 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 说明：如果使用非共享盘存储，访问模式不能为ReadWriteMany或者ReadOnlyMany。仅PVC为块设备模式（Block）时，才可以使用共享盘，访问模式才可以为ReadWriteMany或者ReadOnlyMany。 挂载类型 当前支持ext4、xfs。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 说明：如果使用共享盘存储，卷模式仅支持块设备（Block）。 名称 PV的名称，以pvc开头。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 云盘ID 选择已有云盘实例。单击会弹出选择云盘会话，会话中会展示可使用的云盘信息，可使用条件包括： 云盘所在可用区与集群节点可用区相同。 磁盘模式为VBD、磁盘为非加密盘。 磁盘为非系统盘 及非云主机成套资源 。 磁盘状态可用。 如磁盘为非共享盘，磁盘需未被挂载。 注意 同一个云硬盘不能导入到两个持久卷中使用，这样会造成一些K8S的使用问题。用户需要辨别哪些云硬盘已经被pv使用，需要避免出现两个持久卷指向同一个云硬盘的情况。

本节介绍了用户指南；使用云盘动态存储卷。 使用云盘动态存储卷时，无需预先创建云硬盘和 PV，只需在创建 PVC 时指定存储类（StorageClass），存储插件 cstorcsi 即可自动创建对应的云盘实例及 PV 资源。 该模式为推荐方案，便于您聚焦于工作负载的存储需求，无需手动预配置存储资源，有效降低底层基础设施的管理复杂度。 前提条件 已创建容器集群。 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 使用XSSD云盘，需要CSI版本大于等于4.0.4。 使用限制 参见 云硬盘使用限制 通过控制台使用云盘动态存储卷 1、创建存储类（StorageClass） 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 磁盘模式 当前仅支持VBD。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 参数 云盘类型：参数键为type，支持参数值如下： SATA：普通IO SAS：高IO SSDgenric：通用型SSD SSD：超高IO FASTSSD：极速型SSD XSSD0：XSSD0 XSSD1：XSSD1 XSSD1：XSSD1 挂载类型：参数键为csi.storage.k8s.io/fstype，支持参数值包括ext4、xfs 共享盘：当选中打勾时表示使用共享盘，不打勾表示使用非共享盘 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有对应的云硬盘类型，再进行选择。 存储加密：选择加密后，需要选择具体的秘钥。用户需要提前创建好秘钥，供ccse控制台调用，当前仅支持默认秘钥和按需秘钥。 存储标签：创建存储资源时，给存储资源添加对应的标签，注意，该标签不是K8S的label，而是存储侧的资源标签，需要在存储控制台或者云资源视图查看。 挂载选项 挂载参数支持用户根据实际需求进行自定义配置。 例如，设置挂载参数为 discard：表示在挂载文件系统时启用 discard 功能。当文件系统中删除文件后，系统会自动触发 discard 操作，通知底层块设备释放未使用的存储块。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

性能规格 云硬盘性能的指标有很多种，例如IOPS，吞吐量，读写时延： IOPS：云硬盘每秒进行读写的操作次数，可以细分到单盘最大IOPS，基线IOPS，IOPS突发上限等等。 吞吐量：云硬盘每秒成功传送的数据量，即读取和写入的数据量，一般会衡量云硬盘最大吞吐量，每GB云硬盘的吞吐量。 读写时延：云硬盘处理一个读写IO需要的时间。 各类型云硬盘的性能比较详见：云硬盘性能介绍 使用场景 根据业务需求，云硬盘类型的存储常见以下使用场景： 使用云盘动态存储卷：即用户无需预先创建云硬盘和PV，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建云盘实例及对应PV资源，推荐使用。 使用云盘静态存储卷：即用户预先创建云盘实例，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载云盘：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 计费说明 说明 通过存储插件动态创建的云盘实例，计费模式为按需订购，不支持包年包月。 关于云硬盘的计费详情，请参见：点这里。

存储卷挂载 容器存储数据卷挂载方式包括：静态存储卷和动态存储卷。 静态存储卷 静态存储卷是由集群管理员预先创建的 PV（PersistentVolume）。管理员根据集群存储需求，提前分配存储介质（如云盘、文件系统等）并创建对应的 PV 对象。这些 PV 处于可用状态，等待 PVC（PersistentVolumeClaim）绑定使用。 应用程序通过定义 PVC 申请存储资源时，Kubernetes 会根据 PVC 的需求和匹配规则自动将其与合适的 PV 绑定（或在创建 PVC 时直接指定 PV 名称）。应用程序即可通过 PVC 访问预分配的静态存储卷，获得持久化存储能力。 动态存储卷 Kubernetes 通过存储类（StorageClass）和存储插件提供动态存储卷功能。管理员基于可用存储资源和策略创建存储类模板，开发者在部署应用时通过 PVC 申请存储资源。存储插件根据存储类定义与后端存储池交互，动态创建符合需求的 PV 并绑定到 PVC。 动态存储卷的优势： PV的自动化生命周期管理：通过 Provisioner 自动完成 PV 的创建和删除。 简化运维：通过自动创建PV，减少手动配置复杂度和管理员工作量。 容量优化：动态创建的 PV 容量与 PVC 需求精确匹配，实现存储容量规划最优。 子路径挂载支持 ：通过 volumeMounts.subPath 属性可挂载卷内的特定子路径，而非根目录。 存储类（StorageClass ）说明如下： 字段 说明 存储驱动（provisioner） 用来决定使用哪个卷插件制备 PV 回收策略(reclaimPolicy) 由 StorageClass 动态创建的 PV会在类的 reclaimPolicy 字段中指定回收策略，可以是 Delete 或者 Retain。如果 StorageClass 对象被创建时没有指定 reclaimPolicy，默认为 Delete。 通过 StorageClass 手动创建并管理的 PV会使用它们被创建时指定的回收策略。 绑定模式（volumeBindingMode） 该控制了卷绑定和动态供应应该发生在什么阶段。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PersistentVolume 的绑定和制备，直到使用该 PersistentVolumeClaim 的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 说明 volumeBindingMode配置为WaitForFirstConsumer，可以解决以下可能情况： 1、创建了A可用区的数据卷，但是A可用区的节点资源已经耗光，导致Pod启动无法完成挂载。 2、集群管理员在规划PVC、PV的时候不能确定在哪些可用区创建多个PV来备用。 卷扩展 当StorageClass 的 allowVolumeExpansion 字段设置为 true ，表示动态创建的PV可以配置为可扩展，即允许用户通过编辑相应的 PVC 对象来调整卷大小。 挂载选项 由 StorageClass 动态创建的 PV 将使用类中 mountOptions 字段指定的挂载选项。 Kubernetes 不对挂载选项执行合法性检查。如果挂载选项是非法的，挂载就会失败。 说明 并非所有持久卷类型都支持挂载选项。

HTTP status 错误码 错误信息 描述 400 StandaloneModeNotAllowed ' operation ' is not supported by standalone mode of HBlock. 单机版本HBlock不支持该操作。 404 TuningNotComplete The previous tuning operation failed to execute on serverid1 , serverid2 ......, the system is automatically retrying. In the meantime, please check and ensure network connection is stable. If the issue persists, please contact software vendor. 上一次的性能调优操作未结束。

使用终端进入容器 1、登录控制台 2、在控制台左侧导航栏，单击集群 3、在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情 4、在集群管理页左侧导航栏，选择工作负载> 容器组 5、在容器组页面，单击目标容器组右侧远程登陆 6、可通过终端进入容器，在容器内查看本地文件等信息 Pod状态为Pending 问题现象：Pod长期处于Pending状态。 问题原因：Pod长期处于Pending状态是因为Pod不能被调度到某一个节点上。通常是由于资源依赖、资源不足、该Pod使用了hostPort、污点和容忍等原因导致集群中缺乏需要的资源。 解决方案：通过查看Pod的事件定位Pod不能被调度到节点的原因，常见的原因有以下几类： 1、存在资源依赖。创建Pod时，需要依赖于集群中ConfigMap、PVC等资源。例如，Pod添加存储卷声明前，存储卷声明需要先与存储卷绑定。 2、资源不足。在集群信息页面，查看节点CPU、内存的使用情况，确定集群的资源使用率。若集群中的CPU或内存都已经耗尽，可参考如下方法处理： 调整deployment资源类型副本数量 调整Pod的资源配置 为集群添加新的节点 为节点进行升配 3、使用了hostPort，使用hostPort会导致因端口新占用导致Pod新副本无法调度到节点，改为通过Service访问Pod。 4、污点和容忍。当在Pod的事件中看到Taints 或Tolerations时，说明是由于污点导致，可以删除污点或者给Pod设置容忍。

名称 类型 描述 perfScen String 性能调优针对的场景: ICv1：智算场景。 VMv1：虚拟化场景。 default：系统默认的类型。 haSens String 性能调优针对的场景敏感型： High：高敏感型场景。 Middle：中等敏感型场景。 Low：低敏感型场景。 custom：用户设置的场景。 Unknown：场景未知。