背景信息 本文介绍如何在智算容器引擎加载DeepSeekR1 蒸馏模型。 前提条件 已开通包含GPU节点的Kubernetes集群。 已安装智算套件。 添加GPU节点 点击左侧【节点】>【节点池】，点击【创建节点池】。若集群已有GPU资源，请忽略。 在规格中可选择【x86计算】或【弹性裸金属服务器】中的【GPU计算加速型】或【GPU型】，节点池创建成功后，进入节点池列表，扩容节点至期望的节点数量。 操作步骤 进入云容器引擎控制台。 点击左侧【集群】进入集群列表。 点击使用的集群名称，进入集群。 点击左侧【工作负载】>【自定义资源】，选择资源浏览器，找到apps/v1/Deployment，选择命名空间，点击新增。 在创建yaml中，填入以下GPU模板信息后点击【创建】。 注意 1. 修改对应的镜像仓库地址前缀为对应资源池，可在容器镜像控制台查看，如武汉41，则修改{imagerepo}为registryvpccrswuhan41.cnspinternal.ctyun.cn。 2. namespace: 要和界面选择的一致。 3. 已经支持的资源池有华北2，武汉41，杭州7。 GPU模板 xml apiVersion: apps/v1 kind: Deployment metadata: name: deepseek spec: replicas: 1 selector: matchLabels: app: deepseek template: metadata: labels: app: deepseek spec: containers: name: deepseek image: {imagerepo}/opensource/openwebuideepseekr1:7b

填写从存储控制台上取得的挂载地址 volumeHandle: 02060chpfstest01 格式为0206{PVNAMESUFFIXLENTH}{PVNAMESUFFIX}，具体参照《参数说明》 nodeAffinity: required: nodeSelectorTerms: matchExpressions: key: topology.hpfs.csi.cstor.com/zone operator: In values: cnhuadong1jsnj1Apublicctcloud 填写存储openapi使用的azName，必须与并行文件所在的可用区一致。 persistentVolumeReclaimPolicy: Retain volumeMode: Filesystem 参数说明： 1. volumeHandle：格式为0206{PVNAMESUFFIXLENTH}{PVNAMESUFFIX} 2. PVNAMESUFFIX表示PV名字后缀。 3. PVNAMESUFFIXLENTH为16进制，表示PV名字后缀的长度。 4. 例如PVNAMESUFFIX是"hpfstest01"，则PVNAMESUFFIXLENTH为0c 执行以下命令，创建PV plaintext kubectl apply f pvexample.yaml 查看创建的PV：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“持久卷”，在持久卷列表查看。 2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {YOURPVCNAME} 设置自己的pvc名字 namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 512Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“持久卷声明”，在列表查看。

资源类型 说明 CPU申请(requests.cpu) 所有非终止状态的 Pod，其 CPU 申请总量不能超过该值 CPU限制(limits.cpu) 所有非终止状态的 Pod，其 CPU 限制总量不能超过该值 内存申请(requests.memory) 所有非终止状态的 Pod，其内存申请总量不能超过该值 内存限制(limits.memory) 所有非终止状态的 Pod，其内存限制总量不能超过该值 存储空间(requests.storage) 所有持久卷声明的申请总量不能超过该值 持久卷声明数量(persistentvolumeclaims) 在该命名空间中允许存在的 PVC 的总数上限 配置项数量(configmaps) 在该命名空间中允许存在的 ConfigMap 总数上限 容器组数量(pods) 在该命名空间中允许存在的非终止状态的 Pod 总数上限 服务数量(services) 在该命名空间中允许存在的 Service 总数上限 负载均衡型服务数量(services.loadbalancers) 在该命名空间中允许存在的 LoadBalancer 类型的 Service 总数上限 主机端口型服务数量(services.nodeports) 在该命名空间中允许存在的 NodePort 或 LoadBalancer 类型的 Service 的 NodePort 总数上限 保密字段数量(secrets) 在该命名空间中允许存在的 Secret 总数上限 RC数量(replicationcontrollers) 在该命名空间中允许存在的 ReplicationController 总数上限 资源配额数量(resourcequotas) 在该命名空间中允许存在的 ResourceQuota 总数上限 Deployment数量(deployments.apps) 在该命名空间中允许存在的无状态负载(Deployment)的总数上限 Daemenset数量(daemonsets.apps) 在该命名空间中允许存在的守护进程(Daemonset)的总数上限 Statefulset数量(daemonsets.apps) 在该命名空间中允许存在的有状态负载(Statefulset)的总数上限 Job数量(jobs.batch) 在该命名空间中允许存在的任务(Job)的总数上限 Cronjob数量(cronjobs.batch) 在该命名空间中允许存在的定时任务(Cronjob)的总数上限

步骤2：实现灰度发布 1、为了将部署的Deployment服务暴露给外部访问，我们为其创建一个类型为LoadBalancer的Service。在这个Service的配置中，不会在其selector中指定特定的版本标签，这样做的目的是让Service能够同时选中并暴露两个不同版本Deployment的Pod。通过这种方式，外部流量可以通过这个Service访问到这两个版本的Pod，从而实现了服务的对外暴露和版本共存。YAML示例如下： apiVersion: v1 kind: Service metadata: annotations: service.beta.kubernetes.io/ctyunloadbalancerid: 586c97daa47c467ca615bd25a20de39c ELB实例的ID，请替换为实际取值 name: appservice spec: ports: name: service0 port: 80 protocol: TCP targetPort: 80 selector: selector中不包含version信息 app: myapp type: LoadBalancer 类型为LoadBalancer 2、没有内置的机制来按权重分配流量，因此流量可能会随机分配到这两个版本的Pod上。要验证这一点，你可以多次访问Service并观察响应是否来自不同的版本。访问若干次，结果一半为v1的响应，一半为v2的响应。 3、通过控制台或kubectl方式调整Deployment的副本数，将v1版本调至4个副本，v2版本调至1个副本。 kubectl scale deployment/appv1 replicas4 kubectl scale deployment/appv2 replicas1 4、再次访问若干次，结果中v1与v2版本的响应比例与其副本数比例一致，为4:1。通过控制不同版本服务的副本数就实现了灰度发布。

响应结果 名称 类型 描述 luns Array of lun 卷的属性集合，详见“表2响应参数lun说明”。 表2 响应参数lun说明 名称 类型 描述 lunName String 关联卷的名称。 iSCSITargets Array of iSCSITarget iSCSI target属性集合，详见“表3 响应参数iSCSITarget说明”。 表3 响应参数iSCSITarget说明 名称 类型 描述 iqn String iSCSI target IQN。 status String 卷对应的iSCSI target的状态： Active：主target。 Standby：热备target。 Offline：离线target。 Unavailable：冷备target。 ips Array of ip iSCSI target的IP属性集合，详见“表4 响应参数ip说明”。 targetPortalIP Object iSCSI目标门户，详见“表5 响应参数targetPortalIP说明”。 表4 响应参数ip说明 名称 类型 描述 ip String iSCSI target的IP。 port Integer iSCSI target的端口号。 表5 响应参数targetPortalIP说明 名称 类型 描述 ips Array of ip iSCSI目标门户的IP属性集合，详见“表6 响应参数targetPortalIP.ip说明”。 status String iSCSI目标门户的状态： Enabled：启用状态。 Disabled：禁用状态。 表6 响应参数targetPortalIP.ip说明 名称 类型 描述 ip String iSCSI目标门户的IP地址。 port Integer iSCSI目标门户的端口号。

本节介绍智算资源监控。 GPU 资源监控面板能够帮助您从不同的维度（比如：集群、节点、训练任务等）监控集群的GPU资源使用情况，以及集群的各命名空间下的资源配额使用情况。 前提条件 已开通智算容器集群 监控安装 1. 登录 “云容器引擎” 控制台，在左侧导航栏选择 “集群”。 2. 在“集群”页面显示的集群列表中，单击目标集群名称，然后在左侧导航栏，选择 “智算套件”。 3. 安装监控组件，等待安装完成。 监控面板 从“运维管理” “监控” 可打开监控面板页面，提供了 GPU/NPU 多维监控能力。 GPU监控 NPU监控

本节介绍了POD联网使用案例的用户指南。 本文介绍如何在容器集群创建的pod中，实现访问公网。 准备工作 已创建云服务引擎集群； 已在容器集群中创建pod，该pod需要进行公网访问。 操作步骤 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段； 步骤二：购买弹性IP; 步骤三：购买NAT网关及配置路由； 步骤四：配置SNAT规则； 步骤五：pod内测试连通性。 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段 1、首先确定容器集群部署所用网络插件类型，步骤如下 登录天翼云“云容器引擎”管理控制台； 选择指定资源池，进去集群列表； 点击进入指定集群； 在“集群信息”“基本信息”中查看网络插件； 2、确定访问公网的pod所属vpc子网网段 以无状态部署为例： “工作负载”“无状态”，选择命名空间，进入指定deployment； 进入deployment实例详情，查看pod列表； 如果网络插件是calico，那么记录实例所在节点ip： 如果网络插件是cubecni，那么记录pod ip： 在“虚拟私有云”“子网” 中，查看上述记录ip所属ip网段；

本节介绍网络的用户指南:Ingress。 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 关于Ingress详细配置和管理，请参见Ingress管理。

使用配置凭证 把上述config文件配置到home的下面目录： [docker@10 ~]$ mkdir p $HOME/.kube [docker@10 ~]$ mv config $HOME/.kube 使用kubectl命令切换集群上下文： [docker@10 ~]$ kubectl config usecontext clusteracontext Switched to context "clusteracontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at KubeDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'. [docker@10 ~]$ kubectl config usecontext clusterbcontext Switched to context "clusterbcontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at CoreDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'.

名称 说明 名称 必填，备份任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且备份任务是当前集群中唯一 命名空间 非必填，选择备份资源的命名空间，可多选 资源 非必填，选择所备份资源的类型，可多选，也可以手动输入 持久卷 选择是否备份pod所使用的持久卷，备份内容中有pod资源，此项才生效。不能备份临时卷及hostPath

高级设置升级方式 StatefulSet的另外一个差异点就是升级方式和Deployment不同，（升级方式需要点开工作负载的高级设置）： 1、删除升级：如果设置StatefulSet的升级方式为删除升级，那么我们全量替换升级StatefulSet时，全量替换更新的内容在我们重新部署Pods前是不会生效的。 2、滚动升级（不推荐这种升级方式）：如果设置StatefulSet的升级方式为滚动升级，那么我们全量替换升级StatefulSet时，k8s会自动帮我们删除重建StatefulSet的每一个Pod，此时有一个可选的参数Partition。一般建议不设置Partition。 以下场景可以设置Partition：执行预发布 执行金丝雀更新 执行按阶段的更新。 Partition含义：只有序号大于或等于partition值时， Pod 将被删除重建，即序号小于partition值，Pod会维持原状不更新。 partition默认值为0，意味着所有的Pod都会被删除重建（序号的含义：假设StatefulSet有3个副本，即对应三个Pod，那么StatefulSet的这三个Pod会依次命名为0, 1, 2号，这里的编号即是序号）。 序号小于partition的Pod不会被升级，即使手动删除该Pod，重新创建出来的也是旧版本的Pod。 服务名称 强烈建议创建有状态工作负载的同时创建Headless服务，同时创建有状态工作负载和服务时可以忽略这个参数 。这个参数仅对于分开创建有状态工作负载和服务的用户有效 如果分开创建有状态工作负载和服务，那么请务必设置这个参数，并且后续创建服务时，服务名称必须和这个参数保持一致。

本节介绍了:CSI的常见问题。 存储FAQCSI 本文主要介绍天翼云存储插件cstorcsi，其安装及使用过程中常见的问题及分析流程。 安装失败 失败原因查看 在“插件”——“插件市场”——选择“cstorcsi”插件安装，完成相关参数配置后点击“安装”；安装详情可以在“插件”——“插件实例”中看到cstorcsi实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 常见问题 查阅日志报 “no matches for kind “PodSecurityPolicy” in version“policy/v1beta1” 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。该问题解决方案为： 1、将cstorcsi升级至3.2.0，按原参数安装即可； 2、如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 使用cstorcsi创建存储卷错误 通用分析流程 1、在“插件”——“插件实例”查看cstorcsi实例，运行是否异常； 2、进入“工作负载”——“无状态”，切换命名空间为“cstor”，查看名称为“cstorcsiprovisioner”的pod日志，切换容器名称为“csiprovisioner”和“cstorcsiplugin”，查看是否有错误日志输出。 常见问题 1、Can not get AK 该报错是由于cstorcsi安装过程中，未进行AK、SK配置。解决方案为：在”账号中心”——”安全设置”——”用户AccessKey”中查看AK、SK。 卸载cstorcsi后，选择重新安装该插件，在安装配置窗口中根据获得的 AK、SK值，分别填入AuthConfig.AK和AuthConfig.SK字段中，点击安装即可完成插件部署。 2、用户不允许订购按需类订单。 该报错是由于cstorcsi插件开通的云硬盘为按需付费方式，需要账户余额在100元以上才可正常开通。 解决方案：请检查天翼云“账户余额”是否在100元以上。 2、can not support RWX in filesystem mode for disk 当使用cstorcsi安装生成的storageclass，创建持久卷声明（PVC）。正常情况下，创建持久卷声明后，在“存储”——”持久卷”，列表栏会看到相应持久卷（PV）创建，并且状态为“已绑定”。 如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为 can not support RWX in filesystem mode for disk，表示当前创建的持久卷声明，不支持访问模式为多机读写。 目前，cstorcsi插件安装，默认创建的云硬盘类型的storageclass，其访问模式与是否是共享盘有关，只有在使用共享盘的情况下，支持多机读写，其他情况仅支持单机读写。 解决方案：修改持久卷声明访问模式为“单机读写”。 3、failed to create disk volume, message: disk size should be in range [10G ,32T] 目前，当使用cstorcsi插件安装的storageclass，云硬盘类型要求容量为 [10G ,32T]，文件存储要求容量500G以上。如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为： failed to create disk volume, message: disk size should be in range [10G ,32T]，表示当前创建的存储卷声明，其容量需要调整为合理范围大小。

参数 描述 类型 是否必填 servicePort 指定健康检查对应的端口配置的服务协议（spec.ports[].protocol）及端口（spec.ports[].port），如"TCP:80" string 是 protocol 健康检查的协议，取值：TCP/UDP/HTTP string 是 interval 健康检查时间间隔，取值范围：160s string 是 maxRetry 健康检查最大重试次数，取值范围：110次 string 是 timeout 健康检查超时时间，取值范围：260s string 是 path 健康检查的URL，protocol为“HTTP”时需要配置，默认为“/” string 否 expectedCodes 期望响应状态码，protocol为“HTTP”时需要配置，取值支持http2xx/http3xx/http4xx/http5xx，默认为http2xx;多个响应状态码用逗号分隔，如"http2xx,http3xx" string 否

声明使用独占ENI或固定IP的Pod卡在pending状态为什么没创建出来？ 可查看工作负载或Pod的事件，通常是ENI配额不够导致Pod无法调度： plaintext Events: Type Reason Age From Message Warning FailedScheduling defaultscheduler 0/5 nodes are available: 5 Insufficient network.ccse.ctyun.cn/eni.

Service 与 kubeproxy Service是Kubernetes抽象出来的网络组件，它对外提供统一的IP，屏蔽后端 Pod 的变化，将请求负载到后端的容器 Pod。 kubeproxy是 Kubernetes 的核心组件之一，负责维护节点上 Service 到 Pod 的网络规则。云容器引擎的 kubeproxy 支持 iptables 和 IPVS 两种模式。 iptables iptables 是 Linux 用于过滤和处理数据包的内核功能，其原理是通过 Hook 机制挂载的一系列规则对路径上的数据包进行处理。在使用 iptables 模式时，kubeproxy 会为每一个 Service 添加一条 iptables 规则。通过这些规则流向 Service 的数据包将被随机转发到后端的容器 Pod上。适用的场景： 成熟稳定的kubeproxy代理模式，性能一般，适用于Service数量较少（小于3000）的场景 随机平等的负载均衡算法能满足需求的场景 IPVS IPVS（IP Virtual Server）是构建在传输层上的负载均衡，其原理是将客户端的 TCP 和 UDP 请求根据预设的调度算法分配到后端的真实服务器上，从而实现服务器集群的负载均衡。采用 IPVS 模式时，kubeproxy 会使用 IPVS 提供的高效查找算法将请求转发到后端的容器 Pod上，且处理效率与集群规模无关。适用的场景： 高性能的kubeproxy代理模式，适用于集群规模较大或Service数量较多的场景 有轮询、最短期望延迟、最少连接以及各种哈希方法等负载均衡算法需求的场景

配置项 说明 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 说明：如果使用非共享盘存储，访问模式不能为ReadWriteMany或者ReadOnlyMany。仅PVC为块设备模式（Block）时，才可以使用共享盘，访问模式才可以为ReadWriteMany或者ReadOnlyMany。 挂载类型 当前支持ext4、xfs。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 比如设置挂载参数为： discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 说明：如果使用共享盘存储，卷模式仅支持块设备（Block）。 名称 PV的名称，以pvc开头。 已有存储类 选择存储类功能在静态存储卷场景下较少使用。 仅当已存在带有存储类声明的持久卷申明（PVC）时，才需在此处配置匹配的存储类以实现绑定。 云盘ID 选择已有云盘实例。单击会弹出选择云盘会话，会话中会展示可使用的云盘信息，可使用条件包括： 云盘所在可用区与集群节点可用区相同。 磁盘模式为VBD、磁盘为非加密盘。 磁盘为非系统盘 及非云主机成套资源 。 磁盘状态可用。 如磁盘为非共享盘，磁盘需未被挂载。 注意 同一个云硬盘不能导入到两个持久卷中使用，这样会造成一些K8S的使用问题。用户需要辨别哪些云硬盘已经被pv使用，需要避免出现两个持久卷指向同一个云硬盘的情况。

本节介绍了云容器引擎的计费类常见问题。 容器计费项和计费方式是什么？ 支持包年包月和按需计费2种方式，详情可查：点这里 容器如何定价？ 收费项包括：集群管理费、IaaS资源费等, 详情可查：点这里 容器创建的节点是否支持按需转包周期？ 目前不支持按需与包周期互转。 如何为购买的容器实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长容器实例的有效期，也可以设置到期自动续费的相关操作。 开通的容器实例资源何时生效？ 天翼云容器资源在客户支付成功之后，系统经过初始化完成后即可生效使用。 包周期集群到期可以直接删除吗？ 按天翼云规则，到期实例有15天冻结期，期间用户可以发起续订，集群实例会恢复。超过15天冻结期，实例会注销。 如何退订我的容器集群？ 进入控制台，从集群管理列表，可以发起退订。详细可查看：删除集群

本节介绍配置AK/SK。 智算集群订购时需要用户设置您的 AccessKey 和 SecurityKey，用户可以通过“账号中心”>“安全设置”>“用户AccessKey”中查看您的AccessKey、SecurityKey信息。 注意 1. 该AccessKey和SecurityKey用于CSI插件程序自动开通hpfs并行文件存储。 2. 如果AccessKey和SecurityKey输入错误，订购页并不会校验此正确性。后续可参考: 存储FAQCSI排查说明

本节介绍了:节点异常问题排查的用户指南。 Kubelet异常处理 问题原因 通常是Kubelet进程异常、运行时异常、Kubelet配置有误等原因导致。 问题现象 Kubelet状态为inactive。 解决方案 1、执行 systemctl restart kubelet 命令重启Kubelet。重启Kubelet不会影响运行中的容器。 2、Kubelet重启后，登录节点执行 systemctl status kubelet命令，再次查看kubelet状态是否恢复正常。 3、若Kubelet重启后状态仍异常，请登录节点执行 journalctl u kubelet 命令查看Kubelet日志。 若日志中有明确的异常信息，请根据异常关键字进行排查。 若确认是Kubelet配置异常，请执行如下命令修改Kubelet配置。 plaintext vi /etc/systemd/system/kubelet.service.d/10kubeadm.conf 修改Kubelet配置。 systemctl daemonreload;systemctl restart kubelet 重新加载配置并重启Kubelet。 Dockerd异常处理RuntimeOffline 问题原因 通常是Dockerd配置异常、进程负载异常、节点负载异常等原因导致。 问题现象 1、Dockerd状态为inactive。 2、Dockerd状态为active(running)，但未正常工作，导致节点异常。通常有docker ps、docker exec等命令执行失败的现象。 3、节点状态中RuntimeOffline为True。 解决方案 1、执行如下命令重启Dockerd。 plaintext systemctl restart docker 2、Dockerd重启后，登录节点执行以下命令，再次查看Dockerd状态是否恢复正常。 plaintext systemctl status docker 3、若Dockerd重启后状态仍异常，请登录节点执行以下命令查看Dockerd日志。 plaintext journalctl u docker Containerd异常处理RuntimeOffline

配置优化 根据实际需求，可以调整Cluster Autoscaler的配置以优化节点伸缩性能。 1.调整扩容和缩容的延迟时间 scaleDownDelayAfterAdd：新增节点后等待的时间。 scaleDownUnneededTime：节点在被认为不需要前等待的时间。 2.调整资源利用率阈值： scaleDownUtilizationThreshold：低于该阈值的节点将被移除。

有没有vLLM部署指导？ 请参考：在天翼云使用Ollama运行DeepSeek的最佳实践7B等版本。 返回DeepSeek专题导航。

本节介绍了云容器引擎的网络插件常见问题。 容器集群节点为什么会自动添加网卡？ 如下图所示，容器集群主机除了主网卡外，额外绑定了多张网卡，这是因为使用了Cubecni网络插件。 Cubecni网络插件会为集群内每个节点动态添加弹性网卡，用于构建Underlay容器网络。如下图所示，eth1是该插件动态绑定到云主机的弹性网卡。 注意 请勿删除这类网卡。若删除，可能导致部分Pod的访问异常。 容器集群的Pod如何访问公网？ 1. 使用Cubecni网络插件，Pod访问外网流量默认不会经过主机主网卡，所以为主机主网卡绑定EIP后，Pod依旧无法访问外网。在该网络模式下，建议通过配置公网NAT网关，将Pod IP所属子网加入NAT网关SNAT规则，以实现Pod访问外网。 2. 使用Calico网络插件，配置集群主机能够访问外网，Pod便能访问外网，如配置EIP或公网NAT网关。 已创建的容器集群能否切换容器网络插件？ 容器网络插件仅支持在集群创建时选择，集群创建后不支持修改。如需切换，请重新创建集群。 使用Cubecni网络插件，增加Pod子网后，部分新建的Pod无法访问公网，如何解决？

本节介绍了云容器引擎的退订说明。 如果您有退订的需求，可以进行登录天翼云管理中心或云容器引擎控制台进行退订操作。天翼云目前支持7天无理由全额退订和非七天无理由退订以及其他退订，详细规则请参考文档费用中心退订。

Node检查 检查项名称 说明 修复方案 检查节点是否存在 检查集群中是否存在该节点。 请检查Node在集群中是否存在。 检查节点状态是否Ready 检查节点在集群中的状态是否为Ready。 请登录到节点上执行systemctl status kubelet或journalctl exu kubelet查看节点上kubelet进程异常日志并尝试修复。 检查ECS实例是否存在 检查ECS实例是否存在。 请检查ECS实例状态。 检查ECS实例状态正常 检查ECS实例状态，实例状态异常时会影响Pod的正常运行。 请检查ECS实例状态。 检查节点状态是否不可调度 检查节点是否不可调度，不可调度的节点会影响Pod的正常运行。 节点不可调度，请检查节点调度设置。 检查节点Chronyd进程状态是否正常 检查节点Chronyd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Chronyd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart chronyd重启节点Chronyd进程。 检查节点Ntpd进程状态是否正常 检查节点Ntpd进程是否异常，该进程异常可能会影响系统时钟同步。 节点Ntpd进程异常，可能影响节点系统时间同步。请尝试通过命令systemctl restart ntpd重启节点Ntpd进程。 检查节点Containerd状态是否正常 检查节点Containerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Containerd状态异常，请收集节点日志并提交工单处理。 检查节点Containerd镜像拉取是否正常 检查节点Containerd进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Docker状态是否正常 检查节点Dockerd服务的状态，该进程异常时可能会影响Pod的正常运行。 节点Docker状态异常，请收集节点日志并提交工单处理。 检查节点Docker镜像拉取是否正常 检查节点Docker进程拉取pause镜像是否正常。 请检查节点网络及镜像配置。 检查节点Kubelet状态是否正常 检查节点Kubelet服务的状态，该进程可能会影响Pod的正常运行。 请检查节点Kubelet日志。 检查节点Kubelet启动时间 检查节点Kubelet进程启动时间。 无 节点OS版本 检查节点操作系统版本。 无 节点内核版本 检查节点内核版本是否过低，内核版本过低可能造成系统异常。 请尝试更换节点升级内核。 节点Systemd版本 检查节点systemd版本。 无 节点runc版本 检查节点runc版本，runc版本过低可能造成系统异常。 无 节点系统时间 检查节点系统时间。 无 节点硬件时间 检查节点硬件时间。 无 节点硬件时间漂移 检查节点硬件时钟与系统时间是否一致，时间相差超过2分钟可能引起组件异常。 请尝试登录节点，通过命令hwclock systohc将节点系统时间同步到硬件时间。 检查节点内存交换区开启情况 检查节点内存交换区 (Memory Swap) 功能是否开启，K8s默认要求关闭内存交换区。 当前节点内存交换区 (Memory Swap) 功能不支持开启，请登录节点关闭该功能。 检查Conntrack表使用情况 检查节点Conntrack表是否满，Conntrack表满可能影响网络性能。 请检查nfconntrackbuckets和nfconntrackmax内核参数。 检查节点访问集群API Server是否正常 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 节点DNS服务地址 检查节点能否正常使用主机DNS服务，通过主机DNS服务解析集群外域名。 请检查主机DNS服务是否正常。更多信息，请参见DNS解析异常问题排查。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS服务是否正常 检查节点能否正常访问集群kubedns服务的Cluster IP，通过集群的DNS服务解析集群内域名。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查节点访问集群DNS后端端点是否正常 检查节点能否正常访问集群CoreDNS的Pod IP地址，通过CoreDNS进行域名解析。 请检查节点能否正常访问CoreDNS的Pod IP地址。更多信息，请参见DNS解析异常问题排查。 检查节点内网IP是否存在 检查节点内网IP是否存在。 节点内网IP不存在，请尝试移除节点后重新导入，移除时需保留ECS。 检查节点能否访问公网 检查节点能否正常访问公网，无法访问公网可能影响公网镜像拉取。 请检查集群是否开启SNAT公网访问。 节点CPU使用率 检查节点CPU负载是否过高，CPU负载过高可能影响系统性能。 无 节点内存使用率 检查节点内存负载是否过高，内存过高可能影响系统性能。 无

本节介绍了节点池概述的用户指南。 节点池概述 节点池是集群中一个或一组节点的逻辑集合，可以帮助您高效管理集群中的节点。一个集群中可以创建多个不同配置的节点池。节点池的配置包含节点的属性，例如节点规格、标签、污点等。这些属性可以在创建节点池时指定，也可以在创建完成后进行编辑修改。 您可以通过节点池扩缩容，弹出一个或多个具有相同配置的ECS节点。 通过节点池，您可以更方便地对集群节点进行分组管理和运维等。 通过节点池，您可以在同一个集群中实现不同类型的节点混合部署管理。 同一个集群中，允许创建不同节点规格的节点池。 同一个集群中，允许创建多个开启自动弹性伸缩的节点池。 节点池功能 节点池目前支持以下功能。 功能 说明 创建节点池 创建节点池，需要指定节点池的配置。 编辑节点池 重要编辑节点池时，如无特殊说明（如同步更新存量节点标签及污点），不会修改节点池已有存量节点的配置，仅作用于新增节点。 扩缩容节点池 扩容会根据节点池的配置弹出节点。 · 缩容可以选择移出节点池，也可以选择释放节点池内的节点。 弹性伸缩 弹性伸缩可以根据业务负载和策略，按需弹出不同规格节点，满足不同的节点伸缩场景，进行成本优化。

五、扩展资源 资源 1.19 1.21 1.23 1.25 1.27 1.29 1.31 CustomResourceDefinition (CRD) apiextensions.k8s.io/v1 apiextensions.k8s.io/v1 apiextensions.k8s.io/v1 apiextensions.k8s.io/v1 apiextensions.k8s.io/v1 apiextensions.k8s.io/v1 apiextensions.k8s.io/v1 Event (events.k8s.io) events.k8s.io/v1 events.k8s.io/v1beta1 events.k8s.io/v1 events.k8s.io/v1beta1 events.k8s.io/v1 events.k8s.io/v1beta1 events.k8s.io/v1 events.k8s.io/v1 events.k8s.io/v1 events.k8s.io/v1

VPC网段 容器网段 Service网段 最大可分配Pod地址数 192.168.0.0/16 172.16.0.0/16 10.96.0.0/16 65536

本节介绍了用户指南: 用LocalPV动态存储卷。 使用LocalPV动态存储卷时，无需预先手动创建PV，只需在创建PVC时指定本地存储类（StorageClass），存储插件cstorcsi即会自动以子目录形式创建对应的PV资源。 此模式为推荐方案，您可专注于工作负载的存储需求，无需提前手动创建和配置存储资源，从而降低底层基础设施的复杂度。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 cstorcsi插件安装版本要求3.4.0及以上； 本地存储卷取决于底层节点的可用性，如果节点变得不健康，那么存储卷也将变得不可被 Pod 访问，影响Pod运行； 如果需要指定节点使用本地存储卷，可以通过以下两种方式： 1、创建持久卷声明PVC时，通过设置节点亲和来指定本地存储使用节点； 2、StorageClass创建时指定绑定策略WaitForFirstConsumer模式，创建工作负载指定节点亲和或者NodeSelector，通过pod调度决定存储使用节点。 通过控制台使用LocalPV动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 开关默认打开，也建议打开。 如果开关关闭，则使用该存储类的pvc无法扩容。 参数 本地存储类型：参数键为type；该场景下选择localpv。 挂载目录：参数键为baseStor。当配置目录不存在时，插件会在节点上自动创建目录。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。比如设置挂载参数为：discard：表示在挂载文件系统时指定 discard 参数，文件系统中删除文件后会自动触发 discard 操作，通知块设备释放掉未使用的 Block 。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

接口功能介绍 查询节点详情 接口约束 1、不支持Serverless集群 URI GET /v2/cce/clusters//nodes/ 路径参数 参数 是否必填 参数类型 说明 示例 下级对象 clusterId 是 String 集群ID，获取方式请参见如何获取接口URI中参数。 47281b02f87757478f20b1827c97cadf nodeName 是 String 节点名称 defaultsdaqs Query参数 无 请求参数 请求头header参数 参数 是否必填 参数类型 说明 示例 下级对象 regionId 是 String 资源池ID，您可以查看地域和可用区来了解资源池 获取： 查 资源池列表查询 bb9fdb42056f11eda1610242ac110002 请求体body参数 无 响应参数 参数 参数类型 说明 示例 下级对象 statusCode Integer 状态码 500 requestId String 请求ID message String 提示信息 returnObj Object 返回参数 返回对象 returnObj error String 错误码 CCSE500 表 returnObj 参数 参数类型 说明 示例 下级对象 nodeName String 集群节点名称 ccsedemo123 nodeType Integer 节点类型，取值： 1：master 2：slave 2 nodeStatus String 节点状态，取值： normal：健康 abnormal：异常 expulsion：驱逐中 normal isSchedule Integer 是否调度，取值： 1：是 0：否 1 isEvict Integer 是否驱逐，取值： 1：是 0：否 0 createdTime String 创建时间 20230101 01:01:01 hostIp String 主机管理ip 10.10.10.10 hostExtraIpv6 String 主机业务ipv6 kubeletVersion String Kubelet 版本 1.23.3 podCidr String Pod CIDR kernelVersion String 内核版本 4.19 osImageVersion String OS 镜像 kubeProxyVersion String KubeProxy 版本 1.23.3 ecsId String 云主机ID hostType String host类型 zoneName String 可用区名称 zoneCode String 可用区编码 createUserId String 用户ID osVersion String OS 版本

本节介绍了云容器引擎的其他类常见问题。 前提条件：确认对应节点已绑定EIP，并能通过EIP进行登录访问 问题现象：执行yum安装或者更新无响应 当出现上述问题，用户可以登录主机执行以下步骤修复；或者通过提工单方式，运维介入处理。 修复步骤 1、执行 cat /etc/dnf/dnf.conf，查看dnf配置： 2、删除下图中proxy相关配置： 3、重新执行yum命令，进行安装或更新，比如： 4、如上述步骤未能解决问题，请提工单介入处理。

本节介绍了自定义资源的用户指南。 基本概念 Kubernetes集群支持通过自定义资源定义（Custom Resource Definition）扩展Kubernetes API，并允许您添加自定义资源（Custom Resources）。您可以查看集群中的所有API组和其包含的资源类型，查看各个资源类型的对象列表并进行管理操作。 操作场景 针对自定义资源定义及自定义资源的管理。 前提条件或限制 暂时不支持创建自定义资源。 操作步骤及说明 登录容器服务管理控制台。 在控制台左侧导航栏中，单击集群。 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。 在集群管理页面左侧导航栏中，选择工作负载 > 自定义资源。 对象浏览器左侧列出了集群支持的全部API组。您可以点击API组的名称展开查看组内包含的资源类型，也可以通过上方的搜索框，使用关键词搜索全部资源类型浏览资源对象。 在左侧API列表中选择一个资源类型，即可浏览对应的资源对象。您可以对资源对象进行YAML编辑和删除操作。

本节介绍了安全管理角色的用户指南。 操作场景 基于角色（Role）的访问控制（RBAC）是一种基于组织中用户的角色来调节控制对计算机或网络资源的访问的方法。 RBAC 的 Role 或 ClusterRole 中包含一组代表相关权限的规则。 这些权限是纯粹累加的（不存在拒绝某操作的规则）。 Role 总是用来在某个名字空间内设置访问权限； 在你创建 Role 时，你必须指定该 Role 所属的名字空间。与之相对，ClusterRole 则是一个集群作用域的资源。这两种资源的名字不同（Role 和 ClusterRole）是因为 Kubernetes 对象要么是名字空间作用域的，要么是集群作用域的，不可两者兼具。 前提条件 已创建云容器引擎集群，具体操作请参见创建一个集群。若已有容器集群，无需重复操作。 操作步骤 创建Role或Cluster Role 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要创建Role的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择安全管理 > 角色，进入角色信息页面。 4. 在上⽅选项卡中选择Role或Cluster Role创建对应的角色，本文以Cluster Role为例。 5. 点击创建进入创建YAML页面，Yaml编辑窗口提供⼀个默认的Cluster Role Yaml模板，可参考模板创建需要的Cluster Role。