前提条件 已创建Kubernetes集群。 Kubernetes集群连通性正常。 已在Kubernetes集群中创建节点池。 节点池节点释放规则 删除节点池时，若节点池中存在节点则不允许删除。需要将节点移出节点池再删除。 操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的删除。

配置示例二：normalNodePrefer调度 创建以下Selector，首先kubescheduler默认只会调度pod到标准节点；当标准节点资源不足时导致调度失败时，cubevkprofile会为带有app: nginxnormal Label的Pod添加VNode Toleration，再次由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectornormal.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodenormal spec: objectLabels: matchLabels: app: nginxnormal effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: normalNodePrefer: {} 配置示例三：fair调度 创建以下Selector，cubevkprofile会为带有app: nginxfair Label的Pod添加VNode Toleration，由kubescheduler决定调度，同时添加effect中定义的Annotation和Label到Pod。 创建selector自定义资源对象，selectorfair.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testautovirtualnodefair spec: objectLabels: matchLabels: app: nginxfair effect: annotations: ccse.ctyun.cn/eciimagecache: "true" labels: ecischedulable: "true" policy: fair: {} 配置示例四：normalNodeOnly调度 不需创建selector，默认情况下kubescheduler只会调度pod到标准节点；也可以创建以下Selector，cubevkprofile会为带有app: nginxecs Label的Pod添加effect中定义的Annotation和Label，由kubescheduler决定调度。 创建selector自定义资源对象，selectorecs.yaml的内容如下： plaintext apiVersion: eci.ctyun.cn/v1 kind: Selector metadata: name: testnginxecs spec: objectLabels: matchLabels: app: nginxecs effect: annotations: ccse.ctyun.cn/imagecache: "true" labels: ccseecs: "true" policy: normalNodeOnly: {}

本节介绍了 设置节点亲和调度（nodeAffinity）的用户指南。 在Kubernetes中，节点亲和性调度是一种强大的机制，它允许您根据节点的标签将工作负载精确地调度到具有特定属性（如GPU支持）的节点上。以下是如何配置和使用节点亲和性调度策略的简明指南。 配置节点亲和性调度策略 1. 标记节点：首先，确保您的GPU节点已被标记。在本例中，GPU节点被标记为gputrue。 2. 选择调度策略： 不配置：如果不设置节点亲和策略，Kubernetes将按照默认调度策略随机分配Pod。 指定节点调度：直接指定Pod部署的节点，适用于已知确切部署位置的情况。 指定节点池调度：指定Pod部署的节点池，适用于节点池管理策略。 自定义亲和策略：根据节点标签实现灵活调度。 3. 配置自定义亲和策略： 选择规则：在“自定义亲和策略”中，选择“必须满足”或“尽量满足”规则。 必须满足：硬约束，Pod只能调度到满足所有指定条件的节点上。 尽量满足：软约束，调度器会尝试调度到满足条件的节点，但即使不满足也会进行调度。 设置参数： 权重（仅“尽量满足”）：取值1100，作为调度时的附加评分项。 标签名：需要匹配的节点标签。 操作符：六种匹配关系（In、NotIn、Exists、DoesNotExist、Gt、Lt），用于定义标签与值的匹配逻辑。 标签值：与标签名对应的值。 4. 添加策略：在调度策略配置中，点击“添加策略”并填写上述参数。 5. 快速选择（可选）：通过“指定节点调度”或“指定节点池调度”快速选择目标节点或节点池，这些选项本质上也是基于标签实现的便捷操作。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，提供了一些建议参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： vers：表示指定 NFS 协议的版本 wsize：表示指定了 NFS 协议中用于写入的数据块大小（以字节为单位），设置较大的写入块大小可以提高写入性能 rsize：类似于 wsize，但用于读取的数据块大小 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 弹性文件存储类型：参数键为type，支持参数值如下： capacity：SFS Turbo标准型 performance：SFS Turbo性能型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有并行文件，再进行选择。 存储加密：选择加密后，需要选择具体的秘钥。用户需要提前创建好秘钥，供ccse控制台调用，当前仅支持默认秘钥和按需秘钥。

本节介绍了：弹性伸缩概述的用户指南。 弹性伸缩概述 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。本文介绍弹性伸缩的背景信息和弹性伸缩涉及的组件。 背景介绍 弹性伸缩是容器被广泛采用的功能，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。弹性伸缩分为两个维度： 调度层弹性，主要是负责修改负载的调度容量变化。例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。 资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECS等资源的方式进行调度容量的补充。 两层的弹性组件与能力可以分开使用，也可以结合在一起使用，并且两者之间是通过调度层面的容量状态进行解耦。 伸缩组件介绍 调度层弹性组件介绍 组件名称 组件介绍 适用场景 使用限制 HPA Kubernetes内置组件，主要面向在线业务。 在线业务 适用于Deployment、StatefulSet等实现scale接口的对象。 VPA（alpha） 开源社区组件，主要面向大型单体应用。 大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。 Cubescaler CCSE自研插件，主要面向应用资源使用率存在周期性变化的场景。 周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的对象。

本节介绍了模板实例的用户指南。 操作场景 模板实例展示的是用户已经模板的插件，用户可以在此界面中完成模板的更新、升级、删除等操作。 前提条件 在维护模板实例前，您需要存在一个可用集群。 在维护模板实例前，您需要先发布模板。 操作步骤 更新模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“更新”按钮。 步骤 4，在弹窗中编辑“values”内容，点击“确认”按钮完成更新。 升级模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“升级”按钮。 步骤 4，在升级界面中“选择Chart版本”，选择是否“使用原来的参数”，在弹窗中编辑“values”内容（可选），点击“确认”按钮完成升级。

本节介绍了模板市场的用户指南。 模板市场是云容器引擎基于Kubernetes Helm提供的应用模板管理和应用发布的能力，您可以将模板（Chart）上传到模板市场，然后利用模板市场实现模板的快速部署与后期管理，大幅简化Kubernetes资源的配置部署过程。 操作场景 上传模板和发布模板均使用到“模板市场”。上传模板需将模板上到“模板市场”容器镜像服务（CRS）实例命名空间中。发布模板则使用已经上传的模板部署工作负载。 前提条件 上传模板前，您需要存在一个可用集群。 发布模板前，您需要先上传模板。 操作步骤 上传模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，点击“上传模板”按钮。 步骤 3，在上传界面中，选择“镜像服务实例”，如需新增实例请到容器镜像服务控制台。 步骤 4，在上传界面中，选择“命名空间”，如需新增实例请到容器镜像服务控制台。 步骤 5，上传模板包（chart），完成后使用helm package 命令打包。 步骤 6，点击“提交”按钮，完成上传。 发布模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，选择具体的模板包。 步骤 3，在模板版本列表中选择具体的模板包版本。 步骤 4，在模板包版本中点击“发布”按钮。 步骤 5，在右侧的弹窗中填写“实例名称”，选择待发布的“集群名称”和“命名空间”，按需编辑“values”，点击“确认”完成发布。

本节介绍了ETCD备份保存到对象存储的用户指南。 进入云容器引擎的集群，在左侧菜单点击“插件”>“插件市场”，搜索“ccsebackup”插件，点击“安装”。 在弹出界面的参数设置部分，有以下这样的一段配置 本插件支持将备份包保存到对象存储或本地。默认地会使用本地存储，且将保存到“/home/docker/backup”目录下，如需要更替备份目录，可直接修改该字段的内容。 另外如果想把备份包存储到对象存储，则将上述配置修改，oss.provider需要改成 s3，另外OSS相关参数也需要填上，类似下面形式： oss: provider: "s3" accesskeyId: "yourossak" accesskeySecret: "yourosssk" bucket: "yourossbucket" endpoint: "yourossendpoint" local: path: "" 配置完成后，点击“安装”，界面会自动切换到“插件实例”，稍等片刻后，待插件安装完毕，即可开始使用。

本节介绍网络的用户指南：LoadBalancer类型Service 云容器引擎支持将Service通过负载均衡ELB向外暴露， 云容器引擎集群内置CCM（Cloud Controller Manager）插件，当Service的类型为LoadBalancer时，CCM插件会为Service配置负载均衡，并根据Service信息配置好负载均衡的后端服务器组、健康检查和监听规则等，使得用户可以通过负载均衡访问该Service。以下是使用负载均衡的步骤指引。 使用已有负载均衡暴露服务 前提条件 用户已提前在负载均衡控制台创建ELB实例，ELB实例需要与Service所在的容器集群在同一个VPC网络下。 注意事项 不同Service可以同时复用同一个负载均衡实例，复用同一个负载均衡实例需要避免不同Service使用相同的服务端口，否则存在监听配置被覆盖的情况 不能复用由CCM自动创建的或集群ApiServer使用的负载均衡实例 当Service删除时，使用已有的负载均衡不会被删除 集群Master节点不作为负载均衡实例的后端 操作步骤 1. 登录 云容器引擎 控制台，点击进入想要操作的集群，在左侧菜单选择“网络” “服务”； 2. 如下图，点击“新建”按钮新建服务，按照参数说明配置相关的参数； 服务访问方式：选择负载均衡 负载均衡：可根据业务需要选择私网访问或公网访问，集群内或同一VPC内访问建议选择私网访问即可；选择“使用已有负载均衡”；负载均衡实例列表会根据选择的私网/公网访问方式显示出对应的实例，选择想要使用的负载均衡实例即可 标签：根据需要可以为服务配置标签 注解：根据需要可以为服务配置注解 外部流量策略：Cluster或Local。Cluster策略下，集群所有可用工作节点都会挂载到负载均衡实例；Local策略下，只有Service对应的Pod所在节点会挂载到负载均衡实例 端口映射：配置好协议、容器端口及服务端口，其中容器端口为应用本身暴露的端口，服务端口则会作为负载均衡实例的监听端口 工作负载绑定：选择服务要关联的工作负载，也可以配置自定义标签关联 3. 创建服务后，在服务列表可以看到该服务，通过服务的集群外访问地址即可以访问该服务。

本节介绍网络的用户指南：Service概述 Pod地址可变性 Pod销毁重建后，其IP地址也会变化，例如deployment工作负载升级时，新建的pod地址会改变。Kubernetes的Service可提供一个固定的IP地址（来自订购集群时配置的服务网段）和Service域名，结合标签选择器，对一组pod做负载均衡。客户端可通过该地址或域名访问IP地址可变的pod。如下图所示，nginx部署的前端服务，通过service地址访问后端服务. Service类型 Service支持如下类型： 1. ClusterIP：Service默认类型，用于集群内应用间访问，客户端可通过ClusterIP或内部Service域名访问后端Pod； 2. NodePort：用于集群外部访问集群内服务，将Service通过集群节点固定端口暴露，集群外部可通过任一集群节点IP和该固定端口来访问Serivce； 3. LoadBalancer：用于集群外部访问集群内服务，通过LoadBalancer实例访问NodePort或直通Pod，相对于NodePort方式，有更高的可用性和性能； 4. Headless：该类Service没有IP地址，可用于DNS负载均衡场景，客户端访问Service域名时会通过DNS返回该Service所有后端Pod的IP地址； 5. ExternalName：将集群外部域名映射到集群内部Service上，使得集群内可通过Service名访问外部域名。 Service创建 登录云容器引擎控制台，进入指定集群，选择服务（Service）>创建，按需配置信息即可。

名称 说明 名称 必填，还原任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且还原任务是当前集群中唯一 重定义命名空间 选填，可以将备份包中指定命名空间的资源还原到目标命名空间中 数据清洗 选填，此属于高级选项，可对导入资源的Annotation和Lable值进行增删替换操作

本节介绍了云审计的用户指南。 操作场景 本服务现已对接天翼云++云审计++，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考++使用限制云审计++。 操作步骤 1. 开通云审计服务。 参见++开通云审计服务云审计++。 2. 查看云审计事件。 参见++查看审计事件云审计++。 3. 在事件列表中，选择事件来源为“容器”，资源类型选择“云容器引擎”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考++用户指南、++++常见问题++。

本节介绍了设置负载的节点选择器（nodeSelector）的用户指南。 在Kubernetes中，调度Pod到特定节点的最简单方法是通过工作负载配置中的nodeSelector字段。它允许您指定目标节点的标签，Kubernetes将仅把Pod调度到匹配这些标签的节点上。 前提条件 为了使用nodeSelector，您首先需要为目标节点添加自定义标签。添加标签的具体步骤，请参考节点标签指南。 一旦节点被正确标记，您就可以在工作负载的定义中设置nodeSelector字段，指定希望Pod调度的节点标签。这样，Kubernetes调度器就会自动将Pod分配到符合条件的节点上，确保工作负载能够运行在您期望的环境中。 设置负载的节点选择器 进入创建负载的页面，在高级配置中，选择调度策略，在节点选择器中，选择节点标签。

NodeComponent检查 检查项名称 说明 修复方案 检查节点CNI组件状态是否正常 检查节点上CNI组件Pod是否正常。 请检查集群网络组件状态。具体操作，请参见Pod异常问题排查。 检查节点CSI组件状态是否正常 检查节点上CSI组件Pod是否正常。 请检查集群件存储组件状态。具体操作，请参见Pod异常问题排查。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。

本节介绍网络的用户指南：Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍了事件中心的用户指南。 K8S Event是集群中某个事件的报告，它一般表示系统的某些状态变化，通过事件可以查看集群的状态变更，包括创建Pod、运行Pod、删除Pod、组件异常等。事件中心提供集群中最近一小时的所有事件的查询；通过安装日志插件及事件中心插件，可以把集群的事件持久化到日志服务，从而能够查询更长时间的事件。 操作步骤 查询集群最近一小时的事件 可以通过以下两种方式查询集群最近一小时的事件。 方式一：在集群概览页中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【集群信息】中选择【概览】Tab页即可查看集群一小时内的事件。 2、您也可以点击【下载】将事件保存为Excel文件。 方式二：在事件中心中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【运维管理】中选择【事件中心】。 2、选择【事件列表】Tab页即可查看集群一小时内的事件。您也可以选择级别、命名空间、类型、名称对事件列表进行过滤。 将集群事件持久化到日志服务 1、选择指定容器集群，确保已开通云日志服务并安装ctglogoperator插件和cubeeventer插件，插件安装可参考 用户指南 > 插件 章节。 2、在菜单栏【运维管理】中选择【事件中心】。 3、选择【事件查询】，可以通过开始时间、结束时间、关键词过滤事件日志。

操作步骤：为单个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择 服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户 > 查看 > 权限管理 > 新增权限 为用户授予IAM权限。 4、云容器引擎预定义了系统策略，直接选择并点击下一步及确定。 操作步骤：为多个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户组 > 创建用户组 创建用户组。 4、点击 用户组管理 将需要授权的子用户加到用户组。 5、点击 授权 为用户组授予IAM权限。 6、容器引擎预定义了系统策略，直接选择并点击下一步及确定。 RBAC授权指引 前提条件：已创建容器集群，具体操作请参见 用户指南 > 集群管理 > 新建集群 章节。若已有容器集群，无需重复操作。

本节介绍网络的用户指南： CoreDNS介绍。 CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管。 云容器引擎订购的集群使用CoreDNS负责集群的服务发现，可根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 默认配置 在命名空间kubesystem下，有一个名为coreDNS的配置项。CoreDNS会基于该配置项启用和配置插件。不同CoreDNS版本的配置项有略微差异，修改配置前请仔细阅读CoreDNS官方文档。 以下是一个1.6.2版本CoreDNS默认采用的配置文件： Corefile: .:53 { errors log health { lameduck 15s } ready kubernetes {{.ClusterDomain}} inaddr.arpa ip6.arpa { pods verified fallthrough inaddr.arpa ip6.arpa } prometheus :9153 forward . /etc/resolv.conf { preferudp } cache 30 loop reload loadbalance } 配置文件中ClusterDomain代指集群创建过程中填写的集群本地域名，默认值为cluster.local。配置项说明如下： 参数 描述 errors 错误信息到标准输出。 health CoreDNS自身健康状态报告，默认监听端口8080，一般用来做健康检查，可以通过 获取健康状态。 ready CoreDNS插件状态报告，默认监听端口8181，一般用来做可读性检查，可以通过 获取可读状态。当所有插件都运行后，ready状态为200。 kubernetes CoreDNS Kubernetes插件，提供集群内服务解析能力。 prometheus CoreDNS自身metrics数据接口，可以通过 获取prometheus格式的监控数据。 forward（或proxy） 将域名查询请求转到预定义的DNS服务器。默认配置中，当域名不在Kubernetes域时，将请求转发到预定义的解析器（/etc/resolv.conf）中。默认使用宿主机的/etc/resolv.conf配置。 cache DNS缓存。 loop 环路检测，如果检测到环路，则停止CoreDNS。 reload 允许自动重新加载已更改的Corefile。编辑ConfigMap配置后，请等待两分钟以使更改生效。 loadbalance 循环DNS负载均衡器，可以在答案中随机A、AAAA、MX记录的顺序。

合理分配CoreDNS副本运行的位置 建议您在部署CoreDNS副本时，应将CoreDNS副本打散在不同可用区、不同集群节点上，避免单节点、单可用区故障。CoreDNS默认配置了按节点的弱反亲和性，可能会因为节点资源不足导致部分或全部副本部署在同一节点上，如果遇到这种情况，请删除Pod重新触发其调度来调整。 CoreDNS所运行的集群节点应避免CPU、内存用满的情况，否则会影响域名解析的QPS和响应延迟。当集群节点条件允许时，可以考虑使用自定义参数将CoreDNS调度至独立的集群节点上，以提供稳定的域名解析服务。关于CoreDNS调度至独立的集群节点的方式，请参见使用自定义参数完成CoreDNS独占部署。 手动扩容副本数 当集群节点数长时间较为固定时，您可以通过以下命令扩容CoreDNS副本数。 kubectl scale replicas{target} deployment/coredns n kubesystem 基于CPU负载指标自动扩容副本数（HPA） 由于HPA会频繁触发CoreDNS副本缩容，建议您不要使用容器水平扩缩容（HPA），如果您的场景下必须依赖于HPA，请参考以下基于CPU负载的策略配置： apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata: name: corednshpa namespace: kubesystem spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: coredns minReplicas: 2 maxReplicas: 10 metrics: type: Resource resource: name: cpu targetAverageUtilization: 50 合理配置CoreDNS 云容器引擎仅提供CoreDNS的默认配置，您应关注配置中的各个参数、优化其配置，以使CoreDNS可以为您的业务容器正常提供DNS服务。CoreDNS的配置非常灵活。 早期版本随Kubernetes集群部署的CoreDNS默认配置可能存在一些风险，推荐您按以下方式检查和优化： 合理调整CoreDNS的资源Request和Limit 关闭kubedns服务的亲和性配置 配置CoreDNS优雅退出 配置Ready就绪探针插件

步骤二：购买弹性IP 步骤三：购买NAT网关及配置路由 参考：点这里 步骤四：配置SNA规则 进入上一步创建的NAT网关； 选择“添加SNAT”规则； “源网段类型”选择VPC内子网； 子网选择步骤一中确定的子网网段； 弹性ip选择步骤二中新建的弹性ip； 点击“确定”，完成SNAT规则添加。 步骤五：进入指定pod，测试连通性 在步骤一的pod列表中，选择pod，进行“远程登录”： 在命令窗口，执行“ping www.ctyun.com” 能ping通，说明pod内服务可以访问公网。

本节介绍了插件实例的用户指南。 操作场景 插件实例展示的是用户已经安装的插件，用户可以在此界面中完成插件的重新安装、卸载等操作。 前提条件 在维护插件实例前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 在维护插件实例前，您需要先安装插件。若没有插件实例，请参考插件市场操作步骤安装插件中的内容进行安装。 操作步骤 重新安装插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要重新安装的插件实例，点击“重新安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“重新安装”按钮 卸载插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要卸载的插件实例，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了插件市场的用户指南。 操作场景 插件市场展示的是云容器引擎提供的插件，用于丰富集群的能力，满足用户特定的功能需求。 前提条件 在安装插件前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 操作步骤 安装插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要安装的插件，点击“安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“安装”按钮。 卸载插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要卸载的插件，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了用户指南：使用OceanFS静态存储卷（subPath模式）。 使用海量文件静态存储卷，即使用预先在海量文件服务控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载海量文件。 该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 subPath模式是指将海量文件存储中的指定子目录作为持久卷使用。当用户挂载持久卷声明时，持久卷中记录的子目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 已在海量文件服务控制台创建文件系统 已建文件系统VPC需要包括容器集群所属VPC，如没有，在文件系统列表页，针对指定实例点击“添加VPC” 使用限制 参见海量文件使用限制 通过控制台使用海量文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 海量文件名称 选择已创建的文件系统。 已有存储类 选择存储类，该功能一般在静态的方式下不怎么使用。 除非用户有一个持久卷申明并且携带了存储类，那么这里才需要添加存储类，使其与持久卷申明匹配。 模式 使用已有海量文件：基于已经存在的海量文件，使用海量文件本身作为一个持久卷。 使用海量文件子目录：基于某个已经存在的海量文件，使用它的子目录作为一个持久卷。 选择“使用海量文件子目录”模式。 子目录 输入海量文件存储中，一个已经存在的子目录。 注意：输入不存在的子目录，会最终导致使用该存储的pod，启动失败。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 说明 静态导入场景下，回收策略均为默认Retain，cstorcsi不会删除数据。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

插件名称 插件类型 插件简介 ccseschedulerplugins 核心组件 自定义调度插件：基于当前集群节点上cpu和内存真实可用的资源进行调度 cubems 应用管理 cubems可以让部署在CCSE Kubernetes集群中的Java应用接入MSE、ARMS。 ccsemonitor 日志与监控 CCSE监控插件，为 CCSE 提供指标的观测能力 ctglogoperator 日志与监控 天翼云自研基于CCSE的一站式日志插件，为CCSE提供的日志采集、存储、检索能力，具有日志数据集中存储，高效压缩，秒级检索等特性。

本节主要介绍如何使用API修改存储池。 此操作用来修改存储池信息。 请求语法 plaintext PUT /rest/v1/system/storagepool/poolName HTTP/1.1 Date: date ContentType: application/json; charsetutf8 ContentLength: length Host: ip:port Authorization: authorization { "newName": poolName, "description": description } 请求参数 参数 类型 描述 是否必须 poolName String 存储池名称。 是 newName String 存储池的新名称。 取值：长度范围是1~16，只能由字母、数字和短横线（）、下划线（）组成，字母区分大小写，且仅支持以字母和数字开头。 否 description String 存储池的描述信息。 取值：1~50位字符串。 否 请求示例 修改存储池pool4的名称为storagepool4，并修改描述信息。 plaintext PUT /rest/v1/system/storagepool/pool4 HTTP/1.1 Date: Wed, 19 Jun 2024 06:02:44 GMT ContentType: application/json; charsetutf8 Authorization: HBlock userName:signature ContentLength: 90 Host: 192.168.0.110:1443 { "newName": "storagepool4", "description": "The storage pool level is path" } 响应示例 plaintext HTTP/1.1 200 OK xhblockrequestid: 2a6ccdba8d284dbd8d8aa7aaadc3f050 Connection: keepalive Date: Wed, 19 Jun 2024 06:02:44 GMT Server: HBlock

本节介绍了用户指南： 使用HPFS静态存储卷。 使用并行文件静态存储卷，即使用预先在并行文件控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载并行文件。 该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件版本>3.3.2，插件正常运行。（建议使用>4.0的CSI版本） 已在并行文件控制台创建文件系统 使用限制 参见 并行文件使用限制 通过控制台使用并行文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 并行文件 选择已创建文件系统。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 说明 静态导入场景下，回收策略均为默认Retain。当PVC被删除时，cstorcsi不会删除文件系统。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动 计费模式 可以选择按需计费或者包年包月 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

本节介绍了用户指南： 并行文件概述。 云容器引擎支持使用天翼云并行文件存储卷。cstorcsi插件支持使用并行文件动态存储卷和静态存储卷，通过将并行文件存储卷挂载到容器指定目录，可满足数据持久化需求。 并行文件服务提供高性能并行文件存储，支持全NVMe闪存与RDMA技术，最高可实现百万级IOPS和百GBps吞吐量，同时保障亚毫秒级延迟。该服务具备高性能、高可靠性和高可扩展性特点，能够充分满足影视渲染、AI训练及自动驾驶等数据密集型场景的需求。 使用限制 插件版本 使用并行文件存储功能，需要cstorcsi插件版本 >3.3.2 容器集群 当前并行文件服务功能仅智算集群可见 文件协议 当前cstorcsi插件仅支持HPFSPOSIX协议 容量 单个文件系统最小容量为512GB 可用区 协议类型为hpfs时，不支持跨可用区挂载。 使用并行文件存储PVC的Pod将会被强制调度到该PVC创建时指定的的可用区内 其他限制 参见 并行文件使用限制 产品优势 共享访问 1. 支持上千台客户端挂载同一文件系统，实现共享访问。 2. 支持 NFS、HPFSPOSIX 协议类型，用户能够在创建文件系统时指定协议类型，通过标准 POSIX 接口访问数据，无缝适配主流应用程序进行数据读写。 3. 支持 MPII/O 并行计算接口，满足多客户端并行计算场景。 弹性扩展 1. 采用可扩展的元数据架构，单个文件系统可支持几十亿级别的文件数量，在海量文件场景下，仍然保持稳定持续的高效访问性能。 2. 分钟级别快速扩容，用户可根据实际需要对文件系统进行在线扩容，扩容过程 IO 不中断，保障业务连续性。 安全可信 1. 支持使用 VPC 用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 使用多种 EC 方式、热备盘备份保证数据的可靠性。 3. 支持 HA，故障时自动切换，服务可用性在99.90%及以上。 性能优越 1. 可支持高性能100GE 以太网、IB、RoCE 网络。 2. 带宽、IOPS 性能可以随文件系统容量线性提升，最高提供百万 IOPS 和百 GBps 吞吐，同时保证亚毫秒级时延，使得数据访问更加高效。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、本地存储、并行文件，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 对应StorageClass yaml中provisioner，值为local.csi.cstor.com。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 参数 本地存储类型：参数键为type；该场景下选择lvm。 存储池：参数键为baseStor，选择上一步创建的存储池。 挂在类型：参数键为csi.storage.k8s.io/fstype，支持参数值包括ext4、xfs。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {YOURPVCNAME} namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 5Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "zostest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" subPath: "ccsetest" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“工作负载”——“有状态”，在列表查看