本节介绍网络的用户指南：Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍了事件中心的用户指南。 K8S Event是集群中某个事件的报告，它一般表示系统的某些状态变化，通过事件可以查看集群的状态变更，包括创建Pod、运行Pod、删除Pod、组件异常等。事件中心提供集群中最近一小时的所有事件的查询；通过安装日志插件及事件中心插件，可以把集群的事件持久化到日志服务，从而能够查询更长时间的事件。 操作步骤 查询集群最近一小时的事件 可以通过以下两种方式查询集群最近一小时的事件。 方式一：在集群概览页中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【集群信息】中选择【概览】Tab页即可查看集群一小时内的事件。 2、您也可以点击【下载】将事件保存为Excel文件。 方式二：在事件中心中查看集群一小时内事件 1、选择指定容器集群，在菜单栏【运维管理】中选择【事件中心】。 2、选择【事件列表】Tab页即可查看集群一小时内的事件。您也可以选择级别、命名空间、类型、名称对事件列表进行过滤。 将集群事件持久化到日志服务 1、选择指定容器集群，确保已开通云日志服务并安装ctglogoperator插件和cubeeventer插件，插件安装可参考 用户指南 > 插件 章节。 2、在菜单栏【运维管理】中选择【事件中心】。 3、选择【事件查询】，可以通过开始时间、结束时间、关键词过滤事件日志。

操作步骤：为单个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择 服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户 > 查看 > 权限管理 > 新增权限 为用户授予IAM权限。 4、云容器引擎预定义了系统策略，直接选择并点击下一步及确定。 操作步骤：为多个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户组 > 创建用户组 创建用户组。 4、点击 用户组管理 将需要授权的子用户加到用户组。 5、点击 授权 为用户组授予IAM权限。 6、容器引擎预定义了系统策略，直接选择并点击下一步及确定。 RBAC授权指引 前提条件：已创建容器集群，具体操作请参见 用户指南 > 集群管理 > 新建集群 章节。若已有容器集群，无需重复操作。

本节介绍网络的用户指南： CoreDNS介绍。 CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管。 云容器引擎订购的集群使用CoreDNS负责集群的服务发现，可根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 默认配置 在命名空间kubesystem下，有一个名为coreDNS的配置项。CoreDNS会基于该配置项启用和配置插件。不同CoreDNS版本的配置项有略微差异，修改配置前请仔细阅读CoreDNS官方文档。 以下是一个1.6.2版本CoreDNS默认采用的配置文件： Corefile: .:53 { errors log health { lameduck 15s } ready kubernetes {{.ClusterDomain}} inaddr.arpa ip6.arpa { pods verified fallthrough inaddr.arpa ip6.arpa } prometheus :9153 forward . /etc/resolv.conf { preferudp } cache 30 loop reload loadbalance } 配置文件中ClusterDomain代指集群创建过程中填写的集群本地域名，默认值为cluster.local。配置项说明如下： 参数 描述 errors 错误信息到标准输出。 health CoreDNS自身健康状态报告，默认监听端口8080，一般用来做健康检查，可以通过 获取健康状态。 ready CoreDNS插件状态报告，默认监听端口8181，一般用来做可读性检查，可以通过 获取可读状态。当所有插件都运行后，ready状态为200。 kubernetes CoreDNS Kubernetes插件，提供集群内服务解析能力。 prometheus CoreDNS自身metrics数据接口，可以通过 获取prometheus格式的监控数据。 forward（或proxy） 将域名查询请求转到预定义的DNS服务器。默认配置中，当域名不在Kubernetes域时，将请求转发到预定义的解析器（/etc/resolv.conf）中。默认使用宿主机的/etc/resolv.conf配置。 cache DNS缓存。 loop 环路检测，如果检测到环路，则停止CoreDNS。 reload 允许自动重新加载已更改的Corefile。编辑ConfigMap配置后，请等待两分钟以使更改生效。 loadbalance 循环DNS负载均衡器，可以在答案中随机A、AAAA、MX记录的顺序。

合理分配CoreDNS副本运行的位置 建议您在部署CoreDNS副本时，应将CoreDNS副本打散在不同可用区、不同集群节点上，避免单节点、单可用区故障。CoreDNS默认配置了按节点的弱反亲和性，可能会因为节点资源不足导致部分或全部副本部署在同一节点上，如果遇到这种情况，请删除Pod重新触发其调度来调整。 CoreDNS所运行的集群节点应避免CPU、内存用满的情况，否则会影响域名解析的QPS和响应延迟。当集群节点条件允许时，可以考虑使用自定义参数将CoreDNS调度至独立的集群节点上，以提供稳定的域名解析服务。关于CoreDNS调度至独立的集群节点的方式，请参见使用自定义参数完成CoreDNS独占部署。 手动扩容副本数 当集群节点数长时间较为固定时，您可以通过以下命令扩容CoreDNS副本数。 kubectl scale replicas{target} deployment/coredns n kubesystem 基于CPU负载指标自动扩容副本数（HPA） 由于HPA会频繁触发CoreDNS副本缩容，建议您不要使用容器水平扩缩容（HPA），如果您的场景下必须依赖于HPA，请参考以下基于CPU负载的策略配置： apiVersion: autoscaling/v2beta1 kind: HorizontalPodAutoscaler metadata: name: corednshpa namespace: kubesystem spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: coredns minReplicas: 2 maxReplicas: 10 metrics: type: Resource resource: name: cpu targetAverageUtilization: 50 合理配置CoreDNS 云容器引擎仅提供CoreDNS的默认配置，您应关注配置中的各个参数、优化其配置，以使CoreDNS可以为您的业务容器正常提供DNS服务。CoreDNS的配置非常灵活。 早期版本随Kubernetes集群部署的CoreDNS默认配置可能存在一些风险，推荐您按以下方式检查和优化： 合理调整CoreDNS的资源Request和Limit 关闭kubedns服务的亲和性配置 配置CoreDNS优雅退出 配置Ready就绪探针插件

本节介绍了插件实例的用户指南。 操作场景 插件实例展示的是用户已经安装的插件，用户可以在此界面中完成插件的重新安装、卸载等操作。 前提条件 在维护插件实例前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 在维护插件实例前，您需要先安装插件。若没有插件实例，请参考插件市场操作步骤安装插件中的内容进行安装。 操作步骤 重新安装插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要重新安装的插件实例，点击“重新安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“重新安装”按钮 卸载插件 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件实例”。 步骤 3，在插件实例列表中选择要卸载的插件实例，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

本节介绍了插件市场的用户指南。 操作场景 插件市场展示的是云容器引擎提供的插件，用于丰富集群的能力，满足用户特定的功能需求。 前提条件 在安装插件前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 操作步骤 安装插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要安装的插件，点击“安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“安装”按钮。 卸载插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要卸载的插件，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

插件名称 插件类型 插件简介 ccseschedulerplugins 核心组件 自定义调度插件：基于当前集群节点上cpu和内存真实可用的资源进行调度 cubems 应用管理 cubems可以让部署在CCSE Kubernetes集群中的Java应用接入MSE、ARMS。 ccsemonitor 日志与监控 CCSE监控插件，为 CCSE 提供指标的观测能力 ctglogoperator 日志与监控 天翼云自研基于CCSE的一站式日志插件，为CCSE提供的日志采集、存储、检索能力，具有日志数据集中存储，高效压缩，秒级检索等特性。

本节主要介绍如何使用API修改存储池。 此操作用来修改存储池信息。 请求语法 plaintext PUT /rest/v1/system/storagepool/poolName HTTP/1.1 Date: date ContentType: application/json; charsetutf8 ContentLength: length Host: ip:port Authorization: authorization { "newName": poolName, "description": description } 请求参数 参数 类型 描述 是否必须 poolName String 存储池名称。 是 newName String 存储池的新名称。 取值：长度范围是1~16，只能由字母、数字和短横线（）、下划线（）组成，字母区分大小写，且仅支持以字母和数字开头。 否 description String 存储池的描述信息。 取值：1~50位字符串。 否 请求示例 修改存储池pool4的名称为storagepool4，并修改描述信息。 plaintext PUT /rest/v1/system/storagepool/pool4 HTTP/1.1 Date: Wed, 19 Jun 2024 06:02:44 GMT ContentType: application/json; charsetutf8 Authorization: HBlock userName:signature ContentLength: 90 Host: 192.168.0.110:1443 { "newName": "storagepool4", "description": "The storage pool level is path" } 响应示例 plaintext HTTP/1.1 200 OK xhblockrequestid: 2a6ccdba8d284dbd8d8aa7aaadc3f050 Connection: keepalive Date: Wed, 19 Jun 2024 06:02:44 GMT Server: HBlock

本节介绍了用户指南： 并行文件概述。 云容器引擎支持使用天翼云并行文件存储卷。cstorcsi插件支持使用并行文件动态存储卷和静态存储卷，通过将并行文件存储卷挂载到容器指定目录，可满足数据持久化需求。 并行文件服务提供高性能并行文件存储，支持全NVMe闪存与RDMA技术，最高可实现百万级IOPS和百GBps吞吐量，同时保障亚毫秒级延迟。该服务具备高性能、高可靠性和高可扩展性特点，能够充分满足影视渲染、AI训练及自动驾驶等数据密集型场景的需求。 使用限制 插件版本 使用并行文件存储功能，需要cstorcsi插件版本 >3.3.2 容器集群 当前并行文件服务功能仅智算集群可见 文件协议 当前cstorcsi插件仅支持HPFSPOSIX协议 容量 单个文件系统最小容量为512GB 可用区 协议类型为hpfs时，不支持跨可用区挂载。 使用并行文件存储PVC的Pod将会被强制调度到该PVC创建时指定的的可用区内 其他限制 参见 并行文件使用限制 产品优势 共享访问 1. 支持上千台客户端挂载同一文件系统，实现共享访问。 2. 支持 NFS、HPFSPOSIX 协议类型，用户能够在创建文件系统时指定协议类型，通过标准 POSIX 接口访问数据，无缝适配主流应用程序进行数据读写。 3. 支持 MPII/O 并行计算接口，满足多客户端并行计算场景。 弹性扩展 1. 采用可扩展的元数据架构，单个文件系统可支持几十亿级别的文件数量，在海量文件场景下，仍然保持稳定持续的高效访问性能。 2. 分钟级别快速扩容，用户可根据实际需要对文件系统进行在线扩容，扩容过程 IO 不中断，保障业务连续性。 安全可信 1. 支持使用 VPC 用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 使用多种 EC 方式、热备盘备份保证数据的可靠性。 3. 支持 HA，故障时自动切换，服务可用性在99.90%及以上。 性能优越 1. 可支持高性能100GE 以太网、IB、RoCE 网络。 2. 带宽、IOPS 性能可以随文件系统容量线性提升，最高提供百万 IOPS 和百 GBps 吞吐，同时保证亚毫秒级时延，使得数据访问更加高效。

配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {YOURPVCNAME} namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 5Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "zostest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" subPath: "ccsetest" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“工作负载”——“有状态”，在列表查看

本节介绍了有状态服务的用户指南。 基本概念 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysqlHA等。 操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。 因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于云容器引擎提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照集群开通中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建StatefulSet与创建Deployment的过程类似，但主要有以下几个方面的差异，需要注意： 数据卷 除了Deployment能够使用的六种类型的数据卷之外，StatefulSet还多了新建PVC这种类型的数据卷挂载，而且这种类型的数据卷仅StatefulSet能够使用。一般情况下，如果我们使用StatefulSet来做数据的持久化，即可使用新建PVC这种数据卷。 使用这种数据卷挂载的时候，我们需要提前创建好存储类，然后点击上面的新建pvc。 新建pvc时的参数需要留意，只有同时满足下述条件，新建PVC才能成功绑定到我们提前创建的持久存储卷上： 名称可以任意填写 StorageClass；名称要选择我们提前创建好的持久存储类。 所需容器：不能超过我们提前创建好的持久存储卷的容量。 访问模式：要和我们提前创建的持久存储卷的访问模式一致。

默认容忍策略解析 Kubernetes默认会为Pod添加针对node.kubernetes.io/notready和node.kubernetes.io/unreachable污点的容忍度，并设置容忍时间为300秒。这意味着，当Pod所在节点被标记为这两种污点之一时，Pod仍可在5分钟内保持运行状态。 注意 在DaemonSet创建Pod时，针对上述污点自动添加的容忍度不会设定容忍时间，意味着在节点存在这些污点的情况下，DaemonSet中的Pod将始终不会被移除。 容忍度配置示例 进入创建负载的页面，在高级配置中，选择容忍策略，进行污点容忍配置。

配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件和对象存储，这里选择对象存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载

性能规格 云硬盘性能的指标有很多种，例如IOPS，吞吐量，读写时延： IOPS：云硬盘每秒进行读写的操作次数，可以细分到单盘最大IOPS，基线IOPS，IOPS突发上限等等。 吞吐量：云硬盘每秒成功传送的数据量，即读取和写入的数据量，一般会衡量云硬盘最大吞吐量，每GB云硬盘的吞吐量。 读写时延：云硬盘处理一个读写IO需要的时间。 各类型云硬盘的性能比较详见：云硬盘性能介绍 使用场景 根据业务需求，云硬盘类型的存储常见以下使用场景： 使用云盘动态存储卷：即用户无需预先创建云硬盘和PV，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建云盘实例及对应PV资源，推荐使用。 使用云盘静态存储卷：即用户预先创建云盘实例，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载云盘：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 计费说明 说明 通过存储插件动态创建的云盘实例，计费模式为按需订购，不支持包年包月。 关于云硬盘的计费详情，请参见：点这里。

HTTP status 错误码 错误信息 描述 400 StandaloneModeNotAllowed ' operation ' is not supported by standalone mode of HBlock. 单机版本HBlock不支持该操作。 404 TuningNotComplete The previous tuning operation failed to execute on serverid1 , serverid2 ......, the system is automatically retrying. In the meantime, please check and ensure network connection is stable. If the issue persists, please contact software vendor. 上一次的性能调优操作未结束。

使用终端进入容器 1、登录控制台 2、在控制台左侧导航栏，单击集群 3、在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情 4、在集群管理页左侧导航栏，选择工作负载> 容器组 5、在容器组页面，单击目标容器组右侧远程登陆 6、可通过终端进入容器，在容器内查看本地文件等信息 Pod状态为Pending 问题现象：Pod长期处于Pending状态。 问题原因：Pod长期处于Pending状态是因为Pod不能被调度到某一个节点上。通常是由于资源依赖、资源不足、该Pod使用了hostPort、污点和容忍等原因导致集群中缺乏需要的资源。 解决方案：通过查看Pod的事件定位Pod不能被调度到节点的原因，常见的原因有以下几类： 1、存在资源依赖。创建Pod时，需要依赖于集群中ConfigMap、PVC等资源。例如，Pod添加存储卷声明前，存储卷声明需要先与存储卷绑定。 2、资源不足。在集群信息页面，查看节点CPU、内存的使用情况，确定集群的资源使用率。若集群中的CPU或内存都已经耗尽，可参考如下方法处理： 调整deployment资源类型副本数量 调整Pod的资源配置 为集群添加新的节点 为节点进行升配 3、使用了hostPort，使用hostPort会导致因端口新占用导致Pod新副本无法调度到节点，改为通过Service访问Pod。 4、污点和容忍。当在Pod的事件中看到Taints 或Tolerations时，说明是由于污点导致，可以删除污点或者给Pod设置容忍。

名称 类型 描述 perfScen String 性能调优针对的场景: ICv1：智算场景。 VMv1：虚拟化场景。 default：系统默认的类型。 haSens String 性能调优针对的场景敏感型： High：高敏感型场景。 Middle：中等敏感型场景。 Low：低敏感型场景。 custom：用户设置的场景。 Unknown：场景未知。

参数 参数说明 名称 新建的镜像拉取凭证名称，同⼀个命名空间⾥命名必须唯⼀。 仓库域名 需要使⽤凭证认证的仓库域名。 ⽤户名 仓库认证⽤户名。 邮箱 仓库认证邮箱。 密码 仓库认证密码。

参数 类型 描述 是否必须 perfScen String 设置性能调优针对的场景。 取值： ICv1：智算场景。 VMv1：虚拟化场景。 default：系统默认的类型。 否 haSens String 设置性能调优针对的场景敏感型。 取值： High：高敏感型场景。 Middle：中等敏感型场景。 Low：低敏感型场景。 默认值为Middle。 否

实例间发现服务配置 Headless Service用于解决StatefulSet内Pod互相访问的问题，Headless Service给每个Pod提供固定的访问域名。具体请参见Headless Service。 服务配置 服务（Service）是用来解决Pod访问问题的。每个Service有一个固定IP地址，Service将访问流量转发给Pod，而且Service可以给这些Pod做负载均衡。您也可以在创建完工作负载之后再创建Service，Service的概念和使用方法请参见Service概述。 高级配置 设置升级策略、调度策略、标签与注解、DNS 配置、性能管理配置、网络配置等。单击右下角“创建工作负载”完成创建。

解决方案 当节点调度资源不足时，需降低节点负载，方法如下： 1、删除或减少不必要的Pod，降低节点的负载。 2、根据自身业务情况，限制Pod的资源配置。 3、在集群中添加新的节点。 4、为节点进行升配。 节点CPU不足 问题原因 通常是节点上的容器占用CPU过多导致节点的CPU不足。 问题现象 当节点CPU不足时，可能会导致节点状态异常。 解决方案 1、通过节点的监控查看CPU增长曲线，确认异常出现时间点，检查节点上的进程是否存在CPU占用过高的现象。 2、降低节点的负载。 3、如需重启节点，可尝试重启异常节点。 节点内存不足MemoryPressure 问题原因 通常是节点上的容器占用内存过多导致节点的内存不足。 问题现象 1、当节点的可用内存低于memory.available配置项时，则节点状态中MemoryPressure为True，同时该节点上的容器被驱逐。 2、当节点内存不足时，会有以下常见错误信息： 2.1 节点状态中MemoryPressure为True。 2.2 当节点上的容器被驱逐时： 2.2.1 在被驱逐的容器事件中可看到关键字The node was low on resource: memory。 2.2.2 在节点事件中可看到关键字attempting to reclaim memory。 2.2.3 可能会导致系统OOM异常，当出现系统OOM异常时，节点事件中可看到关键字System OOM。 解决方案 1、通过节点的监控查看内存增长曲线，确认异常出现时间点，检查节点上的进程是否存在内存泄露现象。 2、降低节点的负载。 3、如需重启节点，可尝试重启异常节点。 节点索引节点不足InodesPressure

资源限制 资源类型 说明 默认资源限制 未指定资源限制时，每个容器的CPU、内存默认限制值 默认资源申请 未指定资源申请时，每个容器的CPU、内存默认申请值 最小资源限制 容器的最小资源请求值 最大资源限制 容器的最大资源限制值 注意 只填写最小资源限制或最大资源限制的情况下，Kubernetes会自动设置默认资源限制和默认资源申请 只填写最小资源限制时，Kubernetes会根据该值自动设置默认资源申请 有填写最大资源限制时，Kubernetes会根据该值自动设置默认资源限制、默认资源申请

请求示例 移除存储池storagepool4内的节点。 plaintext DELETE /rest/v1/system/storagepool/storagepool4/node HTTP/1.1 Date: Wed, 19 Jun 2024 08: 06: 59 GMT ContentType: application/json; charsetutf8 Authorization: HBlock userName:signature ContentLength: 111 Host: 192.168.0.110: 1443 { "nodes": [ "default:hblock3:/mnt/stor", "default:hblock3:/mnt/storage01" ] } 响应示例 plaintext HTTP/1.1 202 Accepted xhblockrequestid: 81f0984208a54271a4a5fdfeed0091e0 Connection: keepalive ContentLength: 0 Date: Wed, 19 Jun 2024 08:06:59 GMT Server: HBlock

配置名 说明 示例 名称 网络策略的名称。 example1 Pod选择器 单击+ 选择工作负载添加标签 ，设置使用网络策略的Pod。 若不配置Pod选择器，则对命名空间下所有Pod生效。 示例设置如下： 设置工作类型为：Deployment 设置工作负载为：nginxdeployment 设置标签为：appnginx 来源 配置入站规则（igress）列表，用于声明谁可以访问目标Pod。每个列表项包含规则和端口。 每个规则表示一组允许的来源，若配置多个规则，则满足任一规则即允许访问。 规则： 1. podSelector：此选择器将在与NetworkPolicy相同的名字空间中选择特定的Pod，将其允许作为入站流量来源； 2. namespaceSelector：此选择器将选择特定的名字空间，将所有Pod用作其入站流量来源； 3. ipBlock：此选择器将选择特定的IP CIDR范围用作入站流量来源。 端口：支持TCP和UDP协议。 本示例不添加任何来源规则。 去向 配置出站规则（egress）列表，用于声明目标Pod可以访问哪些地址。每个列表项包含规则和端口。 每个规则表示一组允许的去向，若配置多个规则，则满足任一规则即允许访问。 规则： 1. podSelector：此选择器将在与NetworkPolicy相同的名字空间中选择特定的Pod，将其允许作为出站流量目的地； 2. namespaceSelector：此选择器将选择特定的名字空间，将所有Pod用作其出站流量目的地； 3. ipBlock：此选择器将选择特定的IP CIDR范围用作出站流量目的地。 端口：支持TCP和UDP协议。 本示例不添加任何去向规则。

声明使用独占ENI或固定IP的Pod卡在pending状态为什么没创建出来？ 可查看工作负载或Pod的事件，通常是ENI配额不够导致Pod无法调度： plaintext Events: Type Reason Age From Message Warning FailedScheduling defaultscheduler 0/5 nodes are available: 5 Insufficient network.ccse.ctyun.cn/eni.

kubectl get no ccseagentvmAggbkVfL ojsonpath'{.spec.podCIDR}' 172.16.13.0/24 网段规划建议 集群网络网段分为节点网络、容器网络和服务网络，在规划这三种网络的网段时需考虑如下要点： 1. 为避免地址冲突，三个网络的网段不能重叠，容器网段和服务网段不能与VPC网段重叠； 2. 结合集群规模选择合适的网段，节点所属子网的空闲IP数直接限制了集群可添加节点数，容器网段大小直接限制了可创建的Pod总数，服务网段大小直接限制了可创建的Service总数； 3. 单个节点可创建Pod总数还与其它配置相关，如Pod request总量等。 网络访问示例 创建一个使用Calico容器网络插件的集群，然后创建一个Deployment： apiVersion: apps/v1 kind: Deployment metadata: name: nginxdemo namespace: default spec: replicas: 2 selector: matchLabels: app: nginxdemo template: metadata: labels: app: nginxdemo spec: containers: image: registryvpccrshuadong1.ctyun.cn/library/nginxphoton:v1.8.6 name: demo 查看对应的Pod： [root@CCSEAGENTvmAggbkVfL paasdp] kubectl get po l appnginxdemo owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginxdemo58656854f47nvmn 1/1 Running 0 48s 172.16.13.22 ccseagentvmAggbkVfL nginxdemo58656854f4j88mx 1/1 Running 0 48s 172.16.19.17 ccseagentvmBubacp2 在集群内部节点或Pod内，都能直接访问Pod。如下所示，节点直接访问Pod: 如下所示，Pod直接访问Pod: 因为Calico容器网络不支持集群外部网络与容器IP直通，所以在同个VPC下集群外云主机直接访问Pod的IP，会发现访问不通。

本节介绍网络的用户指南：Service。 Service可为一个或一组Pod提供固定的IP地址，并为这些Pod做负载均衡。 Service支持如下类型： 1. ClusterIP：Service默认类型，用于集群内应用间访问，客户端可通过ClusterIP或内部Service域名访问后端Pod； 2. NodePort：用于集群外部访问集群内服务，将Service通过集群节点固定端口暴露，集群外部可通过任一集群节点IP和该固定端口来访问Serivce； 3. LoadBalancer：用于集群外部访问集群内服务，通过LoadBalancer实例访问NodePort或直通Pod，相对于NodePort方式，有更高的可用性和性能； 4. Headless：该类Service没有IP地址，可用于DNS负载均衡场景，客户端访问Service域名时会通过DNS返回该Service所有后端Pod的IP地址； 5. ExternalName：将集群外部域名映射到集群内部Service上，使得集群内可通过Service名访问外部域名。 关于Service详细配置和管理，请详见Service管理

本节介绍了守护进程的用户指南。 基本概念 创建守护进程集：即kubernetes中的“DaemonSet”，守护进程集确保全部（或者某些）节点都运行一个Pod实例，支持实例动态添加到新节点，适用于实例在每个节点上都需要运行的场景，如ceph、fluentd、Prometheus Node Exporter等。 操作场景 守护进程集（DaemonSet）可以确保全部（或者某些）节点上仅运行一个Pod实例，当有节点加入集群时，也会为他们新增一个 Pod。当有节点从集群移除时，这些Pod也会被回收。删除 DaemonSet 将会删除它创建的所有Pod。 使用DaemonSet的一些典型用法： 运行集群存储daemon，例如在每个节点上运行glusterd、ceph。 在每个节点上运行日志收集daemon，例如fluentd、logstash。 在每个节点上运行监控daemon，例如Prometheus Node Exporter、collectd、Datadog代理、New Relic代理，或Ganglia gmond。 一种简单的用法是为每种类型的守护进程在所有的节点上都启动一个DaemonSet。一个稍微复杂的用法是为同一种守护进程部署多个DaemonSet；每个具有不同的标志， 并且对不同硬件类型具有不同的内存、CPU要求。 前提条件 在创建守护进程集前，您需要存在一个可用集群。若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 创建DaemonSet与创建Deployment的过程类似，仅升级方式有差异，需要注意： 删除升级（不推荐这种升级方式）：如果设置DaemonSet的升级方式为删除升级，那么我们全量替换升级DaemonSet时，全量替换更新的内容在我们重新部署Pods前是不会生效的。 滚动升级：如果设置DaemonSet的升级方式为滚动升级，那么我们全量替换升级DaemonSet时，k8s会自动帮我们删除重建DaemonSet的每一个Pod，此时有一个可选的参数MaxUnavailable。MaxUnavailable：设置升级过程中最多有多少个Pod处于不可用状态，默认值为1。

高级设置 启停处理 启动执行：用于指定容器在启动时执行的命令和参数。虽然启动执行里有添加命令和添加参数两个按钮，但是我们可以只是用添加命令、或者只使用添加参数、或者两者同时使用，其达到的效果是完全一致的 启动后处理：配置容器在启动完成后执行的命令。用法上和上面的启动执行完全一致 停止前处理：配置容器在停止前执行的命令。用法上和上面的启动执行完全一致 容器健康检查 容器的健康检查支持就绪检查和存活检查两种，建议给容器都配上这两种健康检查方式 就绪检查：会检查容器是否处于ready状态，不就绪则停止转发流量到当前实例 存活检查：检查容器是否正常，不正常则重启实例 三种健康检查方式的公共参数解释： 目前支持三种健康检查方式： Http方式：需要填写端口、协议、请求路径等参数，然后kubelet 会向容器内运行的程序发送一个 HTTP GET 请求来执行探测。如果容器的处理程序返回成功码，则kubelet认为容器是存活/就绪的。如果处理程序返回失败码，则kubelet会杀死这个容器并且重新启动它/认为它没有就绪 Tcp方式：需要填写主机、端口等参数，然后kubelet 会尝试在指定端口和容器建立套接字链接。如果能建立链接，这个容器就被看作是健康的/就绪的，如果不能则这个容器就被看作是有问题的/没有就绪的 命令方式：需要添加命令，然后kubelet 在容器中执行该命令来进行检测。如果命令执行成功并且返回值为0，kubelet会认为这个容器是健康存活的/就绪的。如果这个命令返回非 0 值，kubelet 会杀死这个容器并重新启动它/认为它没有就绪

参数 类型 描述 是否必须 poolName String 存储池名称。 取值：长度范围是1~16，只能由字母、数字和短横线（）、下划线（）组成，字母区分大小写，且仅支持以字母和数字开头。 是 nodes Array of String 指定加入存储池的节点，该节点必须属于集群拓扑节点。 说明 如果待添加的节点下含有子节点，则尚未被分配到任何存储池的子节点，将会被统一添加到该存储池中。 节点名称可以使用在集群拓扑中的全路径，格式为： name : name : name ，从根节点开始逐级指定；也可以使用部分路径，但该路径需在集群拓扑中唯一。例如default:room4:hblock4、room4:hblock4、hblock4在集群拓扑中均指向同一节点，且节点名在集群拓扑中唯一，则任选其一即可。 是