5、调度失败再次自动调度到虚拟节点示例 步骤一：在安装cubevkprofile插件时，添加环境变量VNODEAUTOSCALER"true"，不添加环境变量默认为开启，关闭需修改VNODEAUTOSCALER"false"。例如使用helm安装插件时，修改values.yaml： plaintext ... vnodeAutoScaler: "true" .. 步骤二：确认节点资源使用情况。 当真实节点计算资源不足时，cubevkprofile才会将创建失败的Pod自动调度到虚拟节点上。验证pod调度失败再次自动调度到虚拟节点的效果前，可以先确认节点资源使用情况。假设采用的示例环境如下： 真实节点：1台ECS，名称为master（4 vCPU 8 GiB内存），已部署1个deployment，CPU请求接近100%。 虚拟节点：1个，名称为vnd0002，未部署工作负载。 步骤三：部署deployment。 准备YAML文件，deploymentautoscaler.yaml的内容示例如下，配置副本数（replicas）为2，每个副本的容器声明了4 vCPU 8 GiB的计算资源： plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginxdeploymentautoscaler labels: app: nginxautoscaler spec: replicas: 2 selector: matchLabels: app: nginxautoscaler template: metadata: labels: app: nginxautoscaler spec: containers: name: nginx image: lengbuleng/nginx:1.14.2 ports: containerPort: 80 resources: requests: cpu: 4 memory: 8G 创建deployment： plaintext kubectl create f deploymentautoscaler.yaml 步骤四：确认Pod调度情况。 查看Pod运行情况： plaintext kubectl get pods o wide 返回示例如下，可以看到步骤三创建的Pod均运行在虚拟节点上： plaintext $ kubectl get pod o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginxdeploymentautoscaler7cf75fcc46pss4s 0/1 ProviderFailed 0 19s vnd0002 nginxdeploymentautoscaler7cf75fcc46vhj9k 0/1 ProviderFailed 0 19s vnd0002 查看Pod的事件信息，查看名为nginxdeploymentautoscaler7cf75fcc46pss4s的Pod的信息： plaintext kubectl describe pod nginxdeploymentautoscaler7cf75fcc46pss4s 返回示例如下，在Events中可以看到由于真实节点计算资源不足，kubescheduler通过cubevkprofile把Pod调度到了虚拟节点上： plaintext Events: Type Reason Age From Message Warning FailedScheduling 2m40s defaultscheduler 0/3 nodes are available: 1 Insufficient cpu, 1 Insufficient memory, 2 node(s) had untolerated taint {virtualkubelet.io/provider: cubeeci}. preemption: 0/3 nodes are available: 1 No preemption victims found for incoming pod, 2 Preemption is not helpful for scheduling.. Normal Scheduled 2m39s defaultscheduler Successfully assigned default/nginxdeploymentautoscaler7cf75fcc46pss4s to vnd0002 Warning ProviderCreateFailed 2m29s vnd0002/podcontroller Post " context deadline exceeded (Client.Timeout exceeded while awaiting headers) Normal ProviderCreateSuccess 2m20s vnd0002/podcontroller Create pod in provider successfully

验证调度结果 1. 在Kubernetes集群控制台中，导航到“工作负载”页面。 2. 点击工作负载名称进入详情页，查看实例列表。 3. 确认所有Pod都已调度到包含gputrue标签的目标节点上。 通过上述步骤，您可以利用Kubernetes的节点亲和性调度功能，确保高性能计算等特定需求的工作负载被精确地调度到合适的节点上，从而优化资源利用和性能表现。

配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载

资源层弹性组件介绍 组件名称 组件介绍 适用场景 cubeclusterautoscaler CCSE自研插件，节点水平伸缩组件，提供了调度、弹性优化、成本优化的功能。 全场景支持，适合在线业务、深度学习、大规模成本算力交付等。 功能入口 支持用户手动伸缩应用容器实例，HPA自动伸缩策略和定时自动伸缩。

本节介绍网络的用户指南：服务发现DNS概述。 创建集群时会自动安装CoreDNS插件，用来提供集群内部域名解析。在kubesystem命名空间下，可以查看到CoreDNS相关Pod： kubectl nkubesystem get po l k8sappkubedns NAME READY STATUS RESTARTS AGE coredns84f6584c855rmgq 1/1 Running 0 41h coredns84f6584c85rs4n6 1/1 Running 0 41h 作为集群内部DNS服务器，CoreDNS会将Service域名与Service的IP记录起来，Pod可以向CoreDNS查询Service域名获取对应IP地址。Pod访问的Service域名格式为..svc.，其中为Service名称，为命名空间名称，为集群内部域名，默认为cluster.local。若客户端和服务端在同一个命名空间下，可通过直接访问。建议在集群内部使用Service域名访问Pod，无需感知具体Service地址。 默认情况下，会将Coredns Service的地址作为域名解析服务地址写在Pod的/etc/resolv.conf kubectl nkubesystem get svc kubedns NAME TYPE CLUSTERIP EXTERNALIP PORT(S) AGE kubedns ClusterIP 10.96.0.10 53/UDP,53/TCP,9153/TCP 9d kubectl exec it nginxdemo748fb499d78f2t5 cat /etc/resolv.conf search default.svc.cluster.local svc.cluster.local cluster.local nameserver 10.96.0.10 options ndots:5 Pod内通过Service域名访问后端Pod的DNS解析过程，如下图所示：

删除模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，选择具体的模板包。 步骤 3，在模板版本列表中选择具体的模板包版本，并点击“删除”按钮，也可以勾选多个版本，点击“批量删除”按钮 步骤 4，在弹窗中点击“确认”按钮。

配置Service负载均衡的注意事项 多个Service使用同个负载均衡的同个监听端口 CCM版本v1.0.7之前，若不同Service监听同个负载均衡的同个监听端口，会导致监听配置相互覆盖的问题。CCMv1.0.7及之后版本，后创建的Service默认会配置失败，可通过设置Service注解“service.beta.kubernetes.io/ctyunloadbalanceroverridelisteners”为“true”指定强制覆盖已有监听。 存量集群请检查好CCM版本（通过查看kubesystem命名空间下的工作负载ccsecloudcontrollermanager使用的镜像版本可知），将CCM版本升级到v1.0.7或以上。 LoadBlance类型Service流量走向 访问LoadBlance类型Service，流量走向主要和外部流量策略及网络插件类型有关。如下所示： 外部流量策略为cluster 当外部流量策略为cluster时，业务LoadBlance类型Service会把集群所有工作节点添加到LoadBlance实例后端。此时访问LoadBlance的流量，将均衡到各个工作节点的NodePort，随后二次转发到对应的Pod后端，如下图所示： 外部流量策略为local，网络插件为calico 当外部流量策略为local，网络插件为calico时，只有Pod所在节点才会加入LoadBlance实例后端，访问LoadBlance的流量将均衡到Pod所在节点，不做SNAT处理直接二次转发到节点上的Pod后端，如下图所示： 外部流量策略为local，网络插件为cubecni cubecni网络插件为Pod分配VPC地址时，Pod直接加入LoadBlance实例后端组，访问LoadBlance的流量将直接发送到Pod，不经过Service二次转发，性能较优，如下图所示：

执行还原 在“集群备份”的列表或者备份详情页都可以执行还原操作，点击还原会弹出还原任务的创建页面。 名称 说明 名称 必填，还原任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且还原任务是当前集群中唯一 重定义命名空间 选填，可以将备份包中指定命名空间的资源还原到目标命名空间中 数据清洗 选填，此属于高级选项，可对导入资源的Annotation和Lable值进行增删替换操作 数据清洗各字段说明： 名称 说明 命名空间 选填，可输入多个命名空间，多个用‘,’分隔，按照源命名空间进行筛选，符合条件的资源会执行数据清洗操作 资源类型 选填，可输入多个资源类型，即资源的kind字段，多个用‘,’分隔，符合条件的资源会执行数据清洗操作 标签选择器 选填，输入k8s的标签选择器语句，可根据该选择条件进行资源筛选,符合条件的资源会执行数据清洗操作 操作 必填，可输入多个操作内容，可以新增、删除或者替换资源中的annotation和label 配置完成后点击“导入”开始执行还原操作。 在备份任务详情页面的“相关还原记录”列表中，可查看还原任务的执行情况。可展示还原任务的名称、源目标命名空间的映射关系、任务执行状态和还原任务的创建日期。 上传备份包 集群备份功能支持从外部导入备份包到当前集群中，备份包的获取方式可参考执行备份一节中，备份列表操作列的说明。 在集群备份的列表中，点击“上传”按钮，在输入框录入名称，点击“点击上传”按钮，弹出文件选择对话框中选择先前下载好的备份包，即可上传。上传后，会在备份任务列表中显示刚上传的备份包信息。

事件名称 级别 创建用户委托 normal 删除用户委托 warning 授权企业项目 normal 创建集群 normal 节点扩容 normal 节点缩容 warning 节点升规格 normal 节点重置 warning 节点磁盘扩容 normal 节点磁盘缩容 warning 集群退订 warning 集群销毁 warning 集群复机 normal 更新集群描述 normal 升级集群 normal 暂停升级集群 normal 取消升级集群 warning 恢复升级集群 normal 删除集群 warning 获取kubeconfig warning 获取临时kubeconfig warning 吊销用户证书 warning 集群API Server绑定/解绑eip warning 集群节点绑定eip normal 集群节点解绑eip warning 创建节点池 normal 更新节点池 normal 删除节点池 warning 批量删除节点池 warning 发布插件实例 normal 升级插件实例 normal 重新发布插件实例 normal 回滚插件实例 warning 删除插件实例 warning 创建工作负载 normal 工作负载扩缩容 normal 全量替换工作负载 warning 克隆工作负载 normal 删除工作负载 warning 快速重新部署工作负载 warning 滚动重新部署工作负载 warning 停止工作负载 warning 启动工作负载 normal 回滚工作负载到上一版本 warning 回滚负载到指定版本 warning 重启工作负载指定Pod warning 设置工作负载自动伸缩 normal 关闭工作负载自动伸缩 normal 批量删除工作负载 warning 批量启动工作负载 warning 批量停止工作负载 warning 批量快速重新部署工作负载 warning 批量滚动部署工作负载 warning 批量水平伸缩工作负载 warning 创建ConfigMap normal 删除ConfigMap warning 批量删除ConfigMap warning 新增ConfigMap Item normal 删除ConfigMap Item warning 更新ConfigMap Item normal 创建Secret normal 删除Secret warning 批量删除Secret warning 新增Secret Item normal 删除Secret Item warning 更新Secret Item normal 创建TLS凭证 normal 更新TLS凭证 normal 创建Ingress normal 删除Ingress warning 批量删除Ingress warning 全量替换Ingress warning 创建Service normal 删除Service warning 批量删除Service warning 全量替换Service warning 创建namespace normal 删除namespace warning 设置 namespace 资源配额 normal 更新 namespace 资源配额 normal 取消设置 namespace 资源配额 warning 创建PVC normal PVC扩容 normal 删除PVC warning 批量删除PVC warning 新增存储池 normal 更新存储池 normal 删除存储池 warning 删除Role warning 批量删除Role warning 删除ClusterRole warning 批量删除ClusterRole warning 子账号RBAC授权 warning 创建策略实例 normal 更新策略实例 normal 删除策略实例 warning 创建/配置巡检任务 normal 执行巡检检查 normal 删除巡检任务 warning 删除巡检报告 warning 创建ETCD备份任务 normal 删除ETCD备份任务 warning 更新ETCD备份任务 normal 触发ETCD备份 normal ETCD备份还原 normal 下载ETCD备份文件 normal 创建备份任务 normal 下载集群备份文件 normal 上传集群备份文件 normal 删除集群备份任务 warning 集群备份还原 warning 删除集群还原任务 warning 创建集群定时备份任务 normal 更新集群定时备份任务 normal 删除集群定时备份任务 warning 立即执行集群定时备份任务 normal 下发命名空间级别Resource normal 下发集群级别Resource normal 更新命名空间级别Resource normal 更新集群级别Resource normal 删除命名空间级别Resource warning 删除集群级别Resource warning 上传模板 normal 删除模板 warning 删除模板版本 warning 批量删除模板版本 warning 修改模板 normal 发布模板实例 normal 删除模板实例 warning 更新模板实例 normal 升级模板实例 normal 回滚模板实例 warning

环境变量的查看 若已知testcm1和testsecret1的内容，可通过kubectl命令进入Pod并查看环境变量。例如，使用“kubectl exec”命令执行“printenv”以列出所有环境变量。通过此方式，可以验证环境变量是否已正确设置和导入。 注意 由于密钥值在YAML中以base64编码形式展示，因此在查看时需要进行相应的解码处理。同时，资源引用中的CPU限制值在展示时可能因单位转换（如从毫核转换为核）而略有差异。

本节介绍了节点诊断对应的检查项以及修复方案。 节点诊断主要包括ClusterComponent检查、Node检查、NodeComponent检查等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 诊断项分组 说明 ClusterComponent 检查集群常见问题，检查项包括APIServer可用性、DNS可用性、集群插件版本是否最新等。 Node 检查节点实例常见问题，检查项包括节点状态、网络状态、内核日志、核心进程和服务可用性等。 NodeComponent 检查节点核心组件状态，检查项包括集群网络插件和集群存储插件。 ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。

本节介绍了故障诊断的用户指南，云容器引擎提供一键故障诊断能力，包括Service诊断、节点诊断、Pod诊断、Ingress诊断，辅助定位集群中出现的异常问题。 前提条件 已创建容器集群，具体操作请参见 用户指南 > 集群 > 新建集群 。 确保集群运行状态处于运行中。 故障诊断功能介绍 云容器引擎提供的故障诊断功能如下表所示： 诊断项 说明 Service诊断 诊断Service相关问题，例如Service后端就绪Pod、异常事件信息等。 节点诊断 诊断节点相关问题，例如K8s节点NotReady等。 Pod诊断 诊断K8s Pod状态异常相关的问题，例如Pod启动失败、Pod频繁重启等 。 Ingress诊断 诊断Ingress相关流量配置问题。 配置故障诊断 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、Docker、kubelet等运行状态以及系统日志中的关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 配置Service、节点、Pod、Ingress等诊断操作类似。下文以配置节点诊断为例，介绍如何配置故障诊断功能。 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要配置故障诊断的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择运维管理 > 故障诊断，进入故障诊断页面。 4. 在故障诊断页面，点击节点诊断Tab页面，在选择节点面板，选择需要诊断的节点名称，点击确定按钮发起诊断。 在诊断列表页面可查看诊断进展。诊断完成后，诊断页面将显示诊断结果。

检查项 描述 级别 PrivilegeEscalationAllowed 允许特权升级 紧急 CanImpersonateUser role/clusterrole 有伪装成其他用户权限 警告 CanDeleteResources role/clusterrole 有删除 kubernetes 资源权限 警告 CanModifyWorkloads role/clusterrole 有修改 kubernetes 资源权限 警告 NoCPULimits 资源没有设置 CPU 使用限制 警告 NoCPURequests 资源没有设置预留 CPU 警告 HighRiskCapabilities 开启了高危功能，例如 ALL/SYSADMIN/NETADMIN 紧急 HostIPCAllowed 开启了主机 IPC 紧急 HostNetworkAllowed 开启了主机网络 紧急 HostPIDAllowed 开启了主机PID 紧急 HostPortAllowed 开启了主机端口 紧急 ImagePullPolicyNotAlways 镜像拉取策略不是 always 警告 ImageTagIsLatest 镜像标签是 latest 警告 ImageTagMiss 镜像没有标签 紧急 InsecureCapabilities 开启了不安全的功能，例如 KILL/SYSCHROOT/CHOWN 警告 NoLivenessProbe 没有设置存活状态检查 警告 NoMemoryLimits 资源没有设置内存使用限制 警告 NoMemoryRequests 资源没有设置预留内存 警告 NoPriorityClassName 没有设置资源调度优先级 通知 PrivilegedAllowed 以特权模式运行资源 紧急 NoReadinessProbe 没有设置就绪状态检查 警告 NotReadOnlyRootFilesystem 没有设置根文件系统为只读 警告 NotRunAsNonRoot 没有设置禁止以 root 用户启动进程 警告 CertificateExpiredPeriod 将检查 ApiServer 证书的到期日期少于30天 紧急 EventAudit 事件检查 警告 NodeStatus 节点状态检查 警告 DockerStatus docker 状态检查 警告 KubeletStatus kubelet 状态检查 警告

应用场景 云容器引擎监控体系集成集群拓扑能力，通过安装cubekindling插件可以实现集群中网络的架构感知和流量追踪。通过监控面板可以查看集群拓扑的图表。 前提条件 已创建集群，具体操作请参见 用户指南 > 集群 > 新建集群 章节。若已有集群，无需重复操作。 集群已安装ccsemonitor插件，可参考 用户指南 > 插件 章节。 集群已安装cubekindling插件，可参考 用户指南 > 插件章节 。 节点内核版本为：5.4.2241 。 监控界面查看网络拓扑 登陆CCSE控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要接入监控的集群，进入集群管理页面。 选择 运维管理 > 监控 > 网络监控 > Topology 查看集群拓扑面板，通过namespace、workload对命名空间、工作负载进行筛选。

本节介绍了子账号授权的用户指南。 本节介绍了子账号授权的用户指南，包括授权概述、IAM授权指引、RBAC授权指引。 授权概述 云容器引擎的授权体系包括管控基础云资源和OpenAPI接口的IAM权限体系以及管控K8s资源的RBAC权限体系，可以根据子账号需要访问的资源类型进行授权。 IAM权限控制 IAM权限控制：用户是否可以操作云资源以及OpenAPI接口的权限，具体场景包括： 控制台操作：访问云容器引擎控制台，通过控制台菜单和按钮操作集群。 OpenAPI操作：通过云容器引擎提供的OpenAPI接口（OpenAPI使用可参考 API参考 章节）操作集群。 RBAC权限控制 RBAC权限控制用户是否可以操作K8s集群中的某类资源（如节点、命名空间、工作负载、服务、路由等），具体场景包括： 通过云容器引擎控制台操作K8s资源（如新增或删除一个工作负载、查看节点情况等）。 使用kubeconfig连接到集群，通过kubectl操作K8s资源。 一般来说，通过云容器引擎控制台或OpenAPI操作集群会同时受到IAM权限及RBAC权限的管控，因此需要为子账号同时授予IAM权限及RBAC权限；而通过kubeconfig方式操作集群只会受到RBAC权限的管控，因此只需为子账号授予RBAC权限；需要注意的是，有部分控制台操作不会涉及到集群资源的操作（如查看监控、日志等），那么就只需为子账号授予IAM权限。 IAM授权指引

监控CoreDNS运行状态 监控指标 CoreDNS通过标准的Promethues接口暴露出解析结果等健康指标，发现CoreDNS服务端甚至上游DNS服务器的异常。 运行日志 在DNS异常发生的情况下，CoreDNS日志有助于您快速诊断异常根因。建议您开启CoreDNS域名解析日志和其SLS日志采集。 合理调整集群CoreDNS部署状态 CoreDNS应部署于您的Kubernetes集群中，默认情况下与您的业务容器运行在同样的集群节点上，注意事项如下： 合理调整CoreDNS副本数 合理分配CoreDNS副本运行的位置 手动扩容副本数 自动扩容副本数（clusterautoscaler） 基于CPU负载指标自动扩容副本数（HPA） 使用自定义参数完成CoreDNS独占节点部署 合理调整CoreDNS副本数 建议您在任何情况下设置CoreDNS副本数应至少为2，且副本数维持在一个合适的水位以承载整个集群的解析。 CoreDNS所能提供的域名解析QPS与CPU消耗成正相关，开启缓存的情况下，单个CPU可以支撑10000+ QPS的域名解析请求。不同类型的业务对域名请求的QPS需求存在较大差异，您可以观察每个CoreDNS副本的峰值CPU使用量，如果其在业务峰值期间占用CPU大于一核，建议您对CoreDNS进行副本扩容。无法确定峰值CPU使用量时，可以保守采用副本数和集群节点数1：8的比值来部署，即每扩容8个集群节点，增加一个CoreDNS副本，但副本数不应大于10。针对100节点以上的集群，推荐使用节点DNS缓存NodeLocal DNSCache。 当集群节点数目长时间较为固定时，可以手动扩容副本数。 如果集群节点数持续增长，可以设置自动扩容副本数。

本节介绍了POD联网使用案例的用户指南。 本文介绍如何在容器集群创建的pod中，实现访问公网。 准备工作 已创建云服务引擎集群； 已在容器集群中创建pod，该pod需要进行公网访问。 操作步骤 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段； 步骤二：购买弹性IP; 步骤三：购买NAT网关及配置路由； 步骤四：配置SNAT规则； 步骤五：pod内测试连通性。 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段 1、首先确定容器集群部署所用网络插件类型，步骤如下 登录天翼云“云容器引擎”管理控制台； 选择指定资源池，进去集群列表； 点击进入指定集群； 在“集群信息”“基本信息”中查看网络插件； 2、确定访问公网的pod所属vpc子网网段 以无状态部署为例： “工作负载”“无状态”，选择命名空间，进入指定deployment； 进入deployment实例详情，查看pod列表； 如果网络插件是calico，那么记录实例所在节点ip： 如果网络插件是cubecni，那么记录pod ip： 在“虚拟私有云”“子网” 中，查看上述记录ip所属ip网段；

响应示例 plaintext HTTP/1.1 200 OK xhblockrequestid: e59fb36c5d3e4a72a93d8eb8caa3ee7e Connection: keepalive ContentLength: 0 Date: Mon, 24 Jun 2024 09:34:29 GMT Server: HBlock

配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 是否指定存储卷 在静态创建的场景下，需要指定上一步的存储卷。 持久卷名称 选择上一步创建的PV名称。

参数 类型 描述 是否必须 poolName String 存储池名称。 是 newName String 存储池的新名称。 取值：长度范围是1~16，只能由字母、数字和短横线（）、下划线（）组成，字母区分大小写，且仅支持以字母和数字开头。 否 description String 存储池的描述信息。 取值：1~50位字符串。 否

配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 并行文件 选择已创建文件系统。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。

本节介绍了用户指南：使用HPFS动态存储卷。 云容器引擎支持使用天翼云并行文件存储持久卷。当前cstorcsi插件支持使用并行文件存储动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录下，以实现数据持久化需求。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件版本>3.3.2，插件正常运行。（建议使用>4.0的CSI版本） 使用限制 参见并行文件使用限制 通过控制台使用并行文件动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动 计费模式 可以选择按需计费或者包年包月 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。

使用场景 根据业务需求，并行文件类型的存储常见以下使用场景： 使用并行文件动态存储卷：即用户无需预先创建并行文件系统和PV，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建并行文件系统及对应PV资源，推荐使用。 使用并行文件静态存储卷：即用户预先创建并行文件系统，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载并行文件：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 计费说明 通过存储插件动态创建的并行文件服务，默认计费模式为按需订购，并且支持包年包月。 关于并行文件的计费详情，请参见 并行文件产品计费说明

本节介绍了：创建一个无状态工作负载——查看容器实例监控的用户指引。 在工作负载实例详情的界面中，选择监控，按需安装CCSE监控插件。 插件安装完成后即可查看工作负载及容器的监控数据。

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvclocallvm spec: accessModes: ReadWriteOnce resources: requests: storage: 2Gi storageClassName: cstorcsilocallvmsc 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷声明”，在存储类列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "lvmsts" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "lvmsts" serviceName: "" template: metadata: labels: app: "" ccseappname: "" kubernetes.io/qos: "None" name: "lvmsts" source: "CCSE" spec: containers: image: "nginx:1.23.2alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "128Mi" requests: cpu: "100m" memory: "128Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/tmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvclocallvm" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，在存储类列表查看。

配置项 说明 名称 PVC的名称 存储声明类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 分配模式 这里选择“使用存储类”。 StorageClass名称 选择上一步创建的StorageClass。 容量 根据业务需求自定义容量。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 访问模式 ReadWriteOnce：卷可以被一个节点以读写方式挂载。 高级选项 节点：可以根据需要手动选择PVC对应存储的节点。该操作即在PVC上打上注解如下：topology.kubernetes.io/zone: {节点名}

使用示例 pod中直接使用HostPath 使用kubectl连接集群，创建示例yaml文件hostpathpodexample.yaml： apiVersion: v1 kind: Pod metadata: name: testpd spec: containers: image: registry.k8s.io/testwebserver name: testcontainer volumeMounts: mountPath: /testpd name: testvolume volumes: name: testvolume hostPath: 主机节点上目录位置 path: /data 此字段为可选 type: Directory 执行以下命令，创建Pod kubectl apply f hostpathpodexample.yaml 查看创建的Pod： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“容器组”，在列表查看。 PV和PVC方式定义HostPath 使用kubectl连接集群，创建示例yaml文件hostpathpvexample.yaml: apiVersion: v1 kind: PersistentVolume metadata: name: hostpathpv labels: type: local spec: capacity: storage: 1Gi accessModes: ReadWriteOnce hostPath: path: "/data" apiVersion: v1 kind: PersistentVolumeClaim metadata: name: hostpathpvc spec: accessModes: ReadWriteOnce resources: requests: storage: 1Gi volumeName: "hostpathpv" 执行以下命令，创建PV、PVC kubectl apply f hostpathpvexample.yaml 查看创建的PV、PVC： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”，在持久卷和持久卷声明列表查看。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 登录“天翼云对象存储”管理控制台，根据PV名称查看bucket，进入bucket——文件管理，可以看到在容器内创建的文件： 下载文件并查看内容，预期结果与容器内写入数据一致。 以上步骤说明，pod删除重建后，重新挂载对象存储卷，数据仍然存在；从对象存储下载数据并与写入数据一致， 说明对象存储中的数据可持久化保存。

参数名称 参数说明 污点键 标识节点的污点键。 操作符 Equal：精确匹配指定污点键（必填）及值的节点；Exists：匹配存在指定污点键的节点，此时无需指定污点值。 污点值 当操作符为Equal时，需填写对应的污点值。 污点效果 全部：匹配所有污点效果；NoSchedule、PreferNoSchedule、NoExecute：分别匹配对应的污点效果。 容忍时间 即tolerationSeconds，仅NoExecute效果时支持配置，设定Pod在污点节点上的容忍时长，超时后被移除。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择对象存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccsetmp 目录下写一个文件，执行echo "Hello World" > /ccsetmp/test.log 2、查看/ccsetmp目录下文件，执行ls /ccsetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

本节介绍了：节点资源预留策略的用户指南。 云容器引擎需要占用一定的节点资源来运行相关组件（例如kubelet、kubeproxy、calico、Container Runtime等），从而使节点作为集群的一部分来运行。这会造成节点的资源总数与容器集群中可分配的资源数之间存在差异。本文介绍容器的节点资源预留策略、相关注意事项，以便在部署应用时合理设置Pod的请求资源量和限制资源量。 查询节点可分配资源 执行以下命令，查看节点的资源总量和可分配资源。 plaintext kubectl describe node [NODENAME] grep Allocatable B 7 A 6 预期输出： plaintext Capacity: cpu: 4 节点的CPU总核数。 ephemeralstorage: 123722704Ki 节点的临时存储总量，单位KiB。 hugepages1Gi: 0 hugepages2Mi: 0 memory: 7925980Ki 节点的内存总量，单位KiB。 pods: 64 Allocatable: cpu: 3900m 节点可分配的CPU核数。 ephemeralstorage: 114022843818 节点可分配的临时存储，单位KiB。 hugepages1Gi: 0 hugepages2Mi: 0 memory: 5824732Ki 节点可分配的内存，单位KiB。 pods: 64 计算节点可分配资源 可分配资源的计算公式：可分配资源（Allocatable） 总资源（Capacity）预留资源（Reserved）驱逐阈值（EvictionThreshold）