本节介绍了节点池最佳实践：Pod调度到节点池的不同节点。 Pod调度到节点池不同节点 场景：服务在同一个节点池中，同一个应用的Pod之间反亲和，一个节点只能调度一个Pod。 创建节点池扩容两个节点。在节点池详情的节点列表可以查看到创建的两个节点。 使用以下示例内容，配置应用YAML。通过反亲和性配置两个应用Pod，将不同的Pod调度到节点池不同节点上。 plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginx labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: name: nginx labels: app: nginx spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: 设置调度策略。 labelSelector: matchExpressions: key: app operator: In values: nginx topologyKey: kubernetes.io/hostname nodeSelector: ccse.ctyun.cn/nodepoolname: 指定节点池。 containers: name: nginx image: nginx resources: limits: cpu: 1 requests: cpu: 1 在无状态页面，单击目标Deployment进入详情，在容器组页签，可以看到两个不同的Pod调度到节点池不同节点上。

更换节点池操作系统 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“节点管理”——“节点池”； 选择指定节点池，在操作“更多”列选择“升级”； 在升级界面勾选更换操作系统选项（可选择同类型更高版本号操作系统也可选择其他类型系统，如无同类型更高版本号操作系统则当前操作系统已是最新版本），选择目标升级版本，点击“开始升级”。

使用配置凭证 把上述config文件配置到home的下面目录： [docker@10 ~]$ mkdir p $HOME/.kube [docker@10 ~]$ mv config $HOME/.kube 使用kubectl命令切换集群上下文： [docker@10 ~]$ kubectl config usecontext clusteracontext Switched to context "clusteracontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at KubeDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'. [docker@10 ~]$ kubectl config usecontext clusterbcontext Switched to context "clusterbcontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at CoreDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'.

选择Master节点规格 Master节点运行着etcd、kubeapiserver、kubescheduler、kubecontrollermanager等核心组件，Master节点的稳定性直接决定整个Kubernetes的稳定性。集群规模与所需的Master规格成正比，即集群规模越大，所需Master规格越高。 在个人开发和学习环境中，可以选择小规格的ECS进行体验。然而，在生产环境中，建议用户在综合考虑节点数量、Pod数量、部署频度以及apiserver访问量的基础上评估集群规模。以下是从节点数量单个纬度出发给出的Master节点规格的推荐配置。 Master节点推荐规格 节点规模 4核 8GB（不推荐使用 4核 8GB 以下规格） 1～5个节点 4核 16GB 6～20个节点 8核 32GB 21～100个节点 16核 64GB 101～200个节点 64核 128GB 201～500个节点（请评估爆炸半径风险） 选择Worker节点规格 1、ECS规格要求，要求CPU大于等于4核，内存大于等于8GB。 2、确定集群可用性的容忍度。 计算集群总核数，例如320核。 确定容忍度，例如容忍10%的故障。那么最小选择10台32核ECS，并保证高峰运行负荷不超过320 90% 288核。在这个容忍度下，即使一台ECS故障，剩余ECS仍能支撑业务运行 3、根据Pod的CPU和内存配比选择规格，天翼云支持1:2、1:4、1:8的配比。 4、根据网络需求选择ECS类型，例如，对于网络密集型应用，推荐选择网络增强型ECS。ECS规格参考：点这里

本节介绍了Pod诊断对应的检查项以及修复方案。 Pod诊断主要包括Pod检查、ClusterComponent检查、Node检查、NodeComponent检查等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Pod诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 诊断项分组 说明 Pod检查 检查Pod常见问题，检查项包括Pod状态、镜像拉取、网络连通性等。 ClusterComponent检查 检查集群常见问题，检查项包括APIServer可用性、DNS可用性、集群插件版本是否最新等。 Node检查 检查节点实例常见问题，检查项包括节点状态、网络状态、内核日志、核心进程和服务可用性等。 NodeComponent检查 检查节点核心组件状态，检查项包括网络和存储插件。 Pod检查 检查项名称 说明 修复方案 检查Pod是否存在 检查集群中是否存在该Pod。 请检查Pod在集群中对应命名空间下是否存在。 Pod容器重启次数统计 统计Pod中容器重启次数。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod容器是否存在镜像下载阻塞情况 检查Pod容器对应的镜像下载被阻塞。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod容器镜像Secrets是否有效 检查Pod拉取镜像的Secrets是否有效。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod是否初始化成功 检查Pod是否正常初始化。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod是否处于调度中状态 检查Pod是否正常调度。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。

配置指标告警 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警规则 进入告警规则页面，点击按钮创建告警规则 创建告警规则。 目前共提供的告警分组有Kubernetes节点、Kubernetes负载、指标采集上报和黑盒监控，其中节点、负载和指标采集上报均为基础告警，只要安装了ccsemonitor插件即可使用，黑盒监控需要应用接入黑盒监控才可使用，可参考 用户指南 > 集群可观测 > 黑盒监控 章节。 选择告警分组和告警指标后会显示告警阈值及当前集群的指标值，部分指标可以通过告警条件调整告警阈值及判断条件；告警触发条件可以选择立即触发或告警条件持续数分钟后才触发。 查看告警事件历史及告警发送历史 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警事件历史 或 告警发送历史 可分别查看集群告警事件历史及告警发送历史。 告警事件历史页面可以查看告警事件名称、事件描述、事件数量、事件状态等信息，通过右上角事件状态筛选下拉框还可以筛选指定状态的告警事件。 告警发送历史页面可以查看事件告警的告警状态、通知状态等，还可以根据告警的状态、等级等进行筛选。

查看Pod的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 工作负载 > 无状态/有状态/守护进程/任务/定时任务/容器组 进入需要查看的工作负载列表，并点击上方监控tab查看pod监控信息

Entries added by HostAliases. 127.0.. foo.local bar.local 10.1.. foo.remote bar.remote DNS解析请求流程 若未配置存根域，没有匹配集群域名后缀的任何请求，将转发到节点的上游域名服务器。 若已配置存根域和上游DNS服务器，DNS查询将基于下面的流程进行路由： 查询coredns中的DNS缓存层； 在缓存层，检查请求后缀，根据下面情况转发到对应DNS： 带有集群后缀的域名，例如.cluster.local，请求被发送到Coredns； 带有存根域后缀的域名，例如.test.local，请求被转发到配置的自定义DNS解析器； 其它域名解析请求则被转发到上游DNS。 如下图所示：

本节介绍了RBAC授权的用户指南。 操作场景 角色绑定（Role Binding）是将角色中定义的权限赋予一个或者一组用户。它包含若干主体（用户、组或服务账户）的列表和对这些主体所获得的角色的引用。 RoleBinding 在指定的名字空间中执行授权，而 ClusterRoleBinding 在集群范围执行授权。一个 RoleBinding 可以引用同一的名字空间中的任何 Role。 或者，一个 RoleBinding 可以引用某ClusterRole 并将该 ClusterRole 绑定到RoleBinding 所在的名字空间。如果你希望将某 ClusterRole 绑定到集群中所有名字空间，你要使⽤ClusterRoleBinding。 前提条件 已创建云容器引擎集群，具体操作请参见创建⼀个集群。若已有容器集群，⽆需重复操作。 操作步骤 注意 子账号来自于天翼云的 ，请提前创建好子用户，并需子用户登陆天翼云后才可以同步到云容器引擎控制台。 为⼦账号授权或调整子账号权限： 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要授权的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择安全管理 > 授权，进入角色授权页面。 4、点击管理权限操作单个子账号权限，或选择多个子账号后点击添加权限为多个子账号批量授权，点击后进入集群RBAC配置页面。 5、在集群RBAC配置页面中，可以对子账号已有的用户权限进行调整或为子账号新增权限，权限可以限定单个命名空间或不限制命名空间（集群权限），⽤户可设置的权限有内置权限（管理员、运维人员、开发人员、受限人员）和自定义权限，选择自定义权限可选择集群中创建的任意Cluster Role进行授权。 6、点击下⼀步完成授权。

本节介绍了用户指南： 海量文件概述。 云容器引擎支持挂载天翼云海量文件存储卷。cstorcsi插件支持使用海量文件动态存储卷和静态存储卷，通过将海量文件存储卷挂载到容器指定目录下，以满足数据持久化需求。 海量文件服务OceanFS为全托管、可扩展的海量文件系统，适用于海量数据及高带宽应用场景。OceanFS支持弹性扩展至PB级别，具备高可用性与数据持久性，适用于高性能计算、媒体处理、文件共享、内容管理及Web服务等多种场景。 使用限制 插件版本 使用海量文件存储功能，需要cstorcsi插件版本 >3.6.0 文件协议 当前cstorcsi插件仅支持NFS协议 容量 单个文件系统最小容量为100GB subpath模式 在subpath模式下，暂不支持目录配额，subpath使用的容量实际上是整个海量文件的容 其他限制 参见 海量文件使用限制 产品优势 共享访问 1. 支持多台客户端挂载访问同一文件系统，可支持连接上千个客户端实例。 2. 支持NFSv3/v4.1。 3. 支持IPv4和IPv6网络协议。 海量可扩展 1. 用户可以根据业务需要配置文件系统的初始存储容量，后续可以随着数据量的变化而扩容。 2. 支持PB级存储空间。 安全可信 1. 支持使用VPC用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 文件服务支持HA高可用，出现任何硬件故障时，业务自动切换到其他节点，服务可用性在99.95%及以上。 友好易用 1. 操作界面友好、简单易用，用户可通过控制台界面快速轻松地创建、配置和管理文件系统，省去复杂的文件系统部署工作。 2. 提供全托管服务，不必考虑复杂的安装、配置及性能调优工作，用户可轻松创建使用文件系统，只需几分钟便可使用高性能的文件系统。

那么PVC使用设置了该字段的storageClass，会创建报错 topology.kubernetes.io/zone: cnhuadong1jsnj1Apublicctcloud 填写标签，根据自己需求填写，以逗号分隔，例如以下示例就是两对标签， 其中第一个标签key为ccse，value为plugin，另外一个标签key为cstorcsiprovison，value为yes 注意，此标签为存储侧的标签，并非容器侧的标签，最终只会在存储控制台展示。 tags: "ccse:plugin,cstorcsiprovison:yes" reclaimPolicy: Delete allowVolumeExpansion: true mountOptions: mountOptions 支持nfs的相关配置 vers3 prototcp async nolock noatime noresvport nodiratime wsize1048576 rsize1048576 timeo300 执行以下命令，创建StorageClass plaintext kubectl apply f scexample.yaml 查看创建的StorageClass： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“存储”——“存储类”，在存储类列表查看。 2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvcoceanfssharepath spec: accessModes: ReadWriteOnce resources: requests: storage: 100Gi storageClassName: cstorcsioceanfsscsharepath 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“存储”——“持久卷声明”，在列表查看。

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 选择新建子目录模式。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，仅支持Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 海量文件名称：需要选择一个海量文件，后续会基于该海量文件分配子目录 子目录回收策略： 保留：当持久卷被csi删除时，会保留子目录在文件存储中，不做删除。默认为该选项。 删除：当持久卷被csi删除时，会删除文件存储中对应的子目录，数据无法恢复。 注意 删除子目录属于高危操作，请谨慎选择“删除”子目录回收策略。

验证CPU独占与隔离 注意 FullPCPUs策略 使用FullPCPUs策略可以确保分配完整的物理CPU核心，避免跨物理核心的线程干扰 当节点剩余的逻辑CPU数量足够但完整的物理核心不足时，会继续分配 性能影响 CPU独占会减少节点上可用的CPU资源，可能影响整体资源利用率 建议只为真正需要稳定性能的关键业务应用配置CPU独占 监控与调优 定期监控CPU使用情况，根据实际负载调整资源分配 使用节点监控工具（如top、htop等）验证CPU隔离效果 兼容性 确保所有节点都正确配置了koordruntimeproxy 不同版本的Kubernetes和容器运行时可能需要不同的配置 常见问题 如何确认CPU独占是否生效？ 可以通过以下方式验证： 1. 检查Pod的注解中是否包含scheduling.koordinator.sh/resourcestatus字段。 2. 在节点上查看容器的cpuset配置是否与调度器分配一致。 3. 使用性能监控工具观察CPU使用情况。 为什么BE应用无法使用某些CPU核心？ 这是预期的行为。高优先级应用（LSE）独占的CPU核心会被排除在BE应用的cpuset之外，确保资源隔离。 如何修改已部署应用的CPU独占配置？ 需要更新应用的ColocationProfile配置，并重启相关Pod使配置生效。 CPU独占会影响节点调度吗？ 是的，调度器会考虑节点的可用CPU核心数量进行调度决策。当所有CPU核心都被独占时，新的高优先级应用将无法调度到该节点。

本节介绍超卖调度与离线应用CPU压制的用户指南。 CPU QoS 功能包括节点资源超卖调度和 BE 离线应用 CPU 压制机制，帮助您实现资源的高效利用与动态调整。 适用场景 集群资源利用率低，需要提高节点资源使用效率。 需要在保证在线应用（LS 优先级）性能的同时，充分利用空闲资源运行离线应用（BE 优先级）。 需要在在线应用负载增加时，自动压制离线应用资源使用，确保在线应用性能。 功能概览 节点资源超卖调度：允许节点接受超过其声明资源总量的应用调度请求，提高资源利用率。 BE 应用 CPU 动态压制：根据在线应用的实际负载，动态调整离线应用可使用的 CPU 资源范围。 优先级差异化服务：确保高优先级应用（LS）获得资源保障，低优先级应用（BE）弹性使用剩余资源。 操作指南 节点资源超卖调度 BE 应用 CPU 动态压制 当节点上的在线应用（LS 优先级）CPU 负载增加时，混部系统会自动压制 BE 优先级应用的 CPU 使用范围，确保在线应用获得足够资源，同时最大化利用节点空闲资源。 压制机制 系统通过动态调整 BE 应用的 cpuset 范围来实现 CPU 压制 压制程度根据 LS 应用的实际负载动态变化 系统确保 BE 应用至少保留最小核心数（默认为 2 核），避免完全饿死 观察压制效果 1. 查看 BE 应用初始 CPU 分配 在节点负载较低时，BE 应用获得较大的 CPU 使用范围 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 02

2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 这里选择通用。 分配模式 这里选择“已有存储卷”。 持久卷名称 选择上一步创建的PV名称。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。 3、创建工作负载 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，单击左上角“创建SatefulSet”； 在创建对话框，数据卷栏中，选择添加数据卷，卷类型选择“使用已有PVC”，操作栏选择“添加已有PVC”； 在实例内容器栏，为容器设置挂载点。选择添加挂载点，选择数据卷为上一步创建，根据需要配置容器路径和权限； 所有的信息都配置完成后，单击 “提交” 。 创建成功后，您就可以正常使用数据卷。 通过kubectl命令行使用云盘静态存储卷

本节介绍使用在离线应用优先级管理的用户指南。 在离线应用的优先级（混部规则）包括规则的创建、编辑、绑定与解绑等操作，帮助您实现资源的灵活调度与隔离。 适用场景 需要为不同类型的离线应用设置资源独占或共享等级。 通过优先级规则提升集群资源利用率与调度灵活性。 功能概览 支持新建、编辑、删除混部规则（优先级）。 支持将应用批量绑定/解绑至指定优先级。 可查看规则详情及已绑定应用列表。 操作步骤 查看混部规则列表 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。 2. 页面展示当前集群已配置的混部规则，包括规则名称、QoS 类型、是否启用负载感知调度器等信息。 3. 可在“更多”下拉菜单中进行规则的绑定应用、删除等操作。 新建混部规则 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单，点击列表左上角“新建规则”按钮，弹出新建窗口。 2. 填写唯一规则名称，选择服务质量（QoS）类型，并决定是否启用负载感知调度器。 3. 提交后，规则即出现在规则列表中。

本节介绍了用户指南： 本地存储概述。 云容器引擎支持使用本地存储卷。当前cstorcsi插件支持通过LVM和LocalPV的方式动态使用容器集群节点上的硬盘或者文件系统。 功能介绍 本地存储卷包含以下几种方式，可以根据业务需求及存储特点进行选择。 类型 存储卷类型 能力供应 特点 LocalPV 动态存储卷 cstorcsi插件 使用节点上已有数据目录，动态创建子路径绑定到PV上，供业务使用。 LocalPV 静态存储卷 Kubernetes原生 通过手动创建PV，指定节点亲和性及本地存储设备的方式使用本地存储。pod无需手动调度指定的节点。 HostPath Kubernetes原生 将主机节点文件系统上指定文件或目录挂载到 Pod 中。 LVM 动态存储卷 cstorcsi插件 基于节点上的数据盘，虚拟化成一个小型存储池，当需要特定份额的存储时，从中划分出对应份额的磁盘跟用户容器使用。 约束与限制 cstorcsi插件本地存储功能需要插件版本>3.3.3； 请勿在节点上手动删除存储池或卸载数据盘，否则会导致数据丢失等异常情况； 请勿对本地存储资源自行执行增删改等操作，否则会导致PVC不可用或者无法达到使用预期。 本地存储资源包括存储池管理的VG，PV，LV，或者基于硬盘构建的文件系统；或者自行申领的文件系统等； 重置或缩容节点会导致与节点关联的本地持久存储卷类型的PVC/PV数据丢失，无法恢复，且PVC/PV无法再正常使用； 本地存储并非高可用存储卷，只适用于一些临时数据的保存及应用自带高可用的场景； LVM本地存储卷，不支持数据的跨节点迁移，不适合在高可用场景中使用。

本节介绍在离线混部概述。 在离线混部是在多维资源调度与管控方面的核心能力，包括节点资源超卖调度与 BE 离线应用 CPU 压制、高优先级应用 CPU 独占与隔离、容器磁盘读写限速、容器网络限速等，帮助用户在保障关键业务性能的同时，实现资源的高效利用。 适用场景 资源利用率低，需提升集群资源使用效率。 在线关键业务（高优先级）需要稳定的性能保障。 离线批量任务（低优先级）需充分利用空闲资源。 需要自动调度和压制离线应用，兼顾在线与离线业务。 需对磁盘 IO 或网络带宽进行限速，防止单一业务占用过多。 功能概览 节点资源超卖调度与 BE 离线应用 CPU 压制：允许节点超卖资源，并根据在线负载动态压制离线应用 CPU 使用，提升资源利用并保证在线应用性能。 高优先级应用 CPU 独占与隔离：为高优先级应用分配独占 CPU 核心，通过 cgroup 隔离其他应用，确保关键业务性能稳定。 容器磁盘读写限速：通过注解为容器配置磁盘带宽与 IOPS 限制，防止单一容器影响整体磁盘性能。 容器网络限速：通过注解为容器配置入站/出站带宽及优先级，保障关键流量的网络体验。

规则类型 参数设置 指标触发 触发条件 当节点池内任一节点的CPU、内存满足设置的阈值 执行动作：达到触发条件后所要执行的动作。 定时触发 触发时间：可选择每天、每周、每月或每年的具体时间点。 执行动作：达到触发时间值后所要执行的动作，为节点池增加或减少指定数量的节点 告警触发 触发时间：当节点池内任一节点的告警指标满足设置的阈值 执行动作：达到触发条件后所要执行的动作，为节点池增加或减少指定数量的节点

操作 Docker crictl ctr 上传镜像 docker push crictl push ctr n k8s.io i push 拉取镜像 docker pull crictl pull ctr n k8s.io i pull 查看镜像详情 docker inspect crictl inspecti 无 列出本地镜像列表 docker images crictl images ctr n k8s.io i ls 删除本地镜像 docker rmi crictl rmi ctr n k8s.io i rm 创建容器 docker create crictl create crt n k8s.io c create 启动容器 docker start crictl start crt n k8s.io run 连接容器 docker attach crictl attach 无 进入容器 docker exec crictl exec 无 查看容器详情 docker inspect crictl inspect crt n k8s.io c info 查看容器日志 docker logs crictl logs 无 查看容器资源使用情况 docker stats crictl stats 无 更新容器资源限制 docker update crictl update 无 停止容器 docker stop crictl stop 无 列出容器列表 docker ps crictl ps crt n k8s.io c ls 删除容器 docker rm crictl rm crt n k8s.io c del 启动 Pod 无 crictl start 无 运行 Pod 无 crictl runp 无 查看 Pod详情 无 crictl inspectp 无 停止 Pod 无 crictl stopp 无 列出 Pod列表 无 crictl pods 无 删除 Pod 无 crictl rmp 无

操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的编辑。 4、在编辑节点池页面，编辑节点池的配置项。 扩缩容节点池 前提条件 已创建Kubernetes集群。 Kubernetes集群连通性正常。 已在Kubernetes集群中创建节点池。 操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的扩容、缩容。 4、选择扩容入口，确认扩容费用后提交订单。 5、选择缩容入口，选择所选的主机后选择退订，退订成功后主机不再收费。 6、可以到节点池详情或订单中心查看节点的退订进度。 删除节点池

5、调度失败再次自动调度到虚拟节点示例 步骤一：在安装cubevkprofile插件时，添加环境变量VNODEAUTOSCALER"true"，不添加环境变量默认为开启，关闭需修改VNODEAUTOSCALER"false"。例如使用helm安装插件时，修改values.yaml： plaintext ... vnodeAutoScaler: "true" .. 步骤二：确认节点资源使用情况。 当真实节点计算资源不足时，cubevkprofile才会将创建失败的Pod自动调度到虚拟节点上。验证pod调度失败再次自动调度到虚拟节点的效果前，可以先确认节点资源使用情况。假设采用的示例环境如下： 真实节点：1台ECS，名称为master（4 vCPU 8 GiB内存），已部署1个deployment，CPU请求接近100%。 虚拟节点：1个，名称为vnd0002，未部署工作负载。 步骤三：部署deployment。 准备YAML文件，deploymentautoscaler.yaml的内容示例如下，配置副本数（replicas）为2，每个副本的容器声明了4 vCPU 8 GiB的计算资源： plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginxdeploymentautoscaler labels: app: nginxautoscaler spec: replicas: 2 selector: matchLabels: app: nginxautoscaler template: metadata: labels: app: nginxautoscaler spec: containers: name: nginx image: lengbuleng/nginx:1.14.2 ports: containerPort: 80 resources: requests: cpu: 4 memory: 8G 创建deployment： plaintext kubectl create f deploymentautoscaler.yaml 步骤四：确认Pod调度情况。 查看Pod运行情况： plaintext kubectl get pods o wide 返回示例如下，可以看到步骤三创建的Pod均运行在虚拟节点上： plaintext $ kubectl get pod o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginxdeploymentautoscaler7cf75fcc46pss4s 0/1 ProviderFailed 0 19s vnd0002 nginxdeploymentautoscaler7cf75fcc46vhj9k 0/1 ProviderFailed 0 19s vnd0002 查看Pod的事件信息，查看名为nginxdeploymentautoscaler7cf75fcc46pss4s的Pod的信息： plaintext kubectl describe pod nginxdeploymentautoscaler7cf75fcc46pss4s 返回示例如下，在Events中可以看到由于真实节点计算资源不足，kubescheduler通过cubevkprofile把Pod调度到了虚拟节点上： plaintext Events: Type Reason Age From Message Warning FailedScheduling 2m40s defaultscheduler 0/3 nodes are available: 1 Insufficient cpu, 1 Insufficient memory, 2 node(s) had untolerated taint {virtualkubelet.io/provider: cubeeci}. preemption: 0/3 nodes are available: 1 No preemption victims found for incoming pod, 2 Preemption is not helpful for scheduling.. Normal Scheduled 2m39s defaultscheduler Successfully assigned default/nginxdeploymentautoscaler7cf75fcc46pss4s to vnd0002 Warning ProviderCreateFailed 2m29s vnd0002/podcontroller Post " context deadline exceeded (Client.Timeout exceeded while awaiting headers) Normal ProviderCreateSuccess 2m20s vnd0002/podcontroller Create pod in provider successfully

验证调度结果 1. 在Kubernetes集群控制台中，导航到“工作负载”页面。 2. 点击工作负载名称进入详情页，查看实例列表。 3. 确认所有Pod都已调度到包含gputrue标签的目标节点上。 通过上述步骤，您可以利用Kubernetes的节点亲和性调度功能，确保高性能计算等特定需求的工作负载被精确地调度到合适的节点上，从而优化资源利用和性能表现。

配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载

资源层弹性组件介绍 组件名称 组件介绍 适用场景 cubeclusterautoscaler CCSE自研插件，节点水平伸缩组件，提供了调度、弹性优化、成本优化的功能。 全场景支持，适合在线业务、深度学习、大规模成本算力交付等。 功能入口 支持用户手动伸缩应用容器实例，HPA自动伸缩策略和定时自动伸缩。

本节介绍网络的用户指南：服务发现DNS概述。 创建集群时会自动安装CoreDNS插件，用来提供集群内部域名解析。在kubesystem命名空间下，可以查看到CoreDNS相关Pod： kubectl nkubesystem get po l k8sappkubedns NAME READY STATUS RESTARTS AGE coredns84f6584c855rmgq 1/1 Running 0 41h coredns84f6584c85rs4n6 1/1 Running 0 41h 作为集群内部DNS服务器，CoreDNS会将Service域名与Service的IP记录起来，Pod可以向CoreDNS查询Service域名获取对应IP地址。Pod访问的Service域名格式为..svc.，其中为Service名称，为命名空间名称，为集群内部域名，默认为cluster.local。若客户端和服务端在同一个命名空间下，可通过直接访问。建议在集群内部使用Service域名访问Pod，无需感知具体Service地址。 默认情况下，会将Coredns Service的地址作为域名解析服务地址写在Pod的/etc/resolv.conf kubectl nkubesystem get svc kubedns NAME TYPE CLUSTERIP EXTERNALIP PORT(S) AGE kubedns ClusterIP 10.96.0.10 53/UDP,53/TCP,9153/TCP 9d kubectl exec it nginxdemo748fb499d78f2t5 cat /etc/resolv.conf search default.svc.cluster.local svc.cluster.local cluster.local nameserver 10.96.0.10 options ndots:5 Pod内通过Service域名访问后端Pod的DNS解析过程，如下图所示：

删除模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，选择具体的模板包。 步骤 3，在模板版本列表中选择具体的模板包版本，并点击“删除”按钮，也可以勾选多个版本，点击“批量删除”按钮 步骤 4，在弹窗中点击“确认”按钮。

配置Service负载均衡的注意事项 多个Service使用同个负载均衡的同个监听端口 CCM版本v1.0.7之前，若不同Service监听同个负载均衡的同个监听端口，会导致监听配置相互覆盖的问题。CCMv1.0.7及之后版本，后创建的Service默认会配置失败，可通过设置Service注解“service.beta.kubernetes.io/ctyunloadbalanceroverridelisteners”为“true”指定强制覆盖已有监听。 存量集群请检查好CCM版本（通过查看kubesystem命名空间下的工作负载ccsecloudcontrollermanager使用的镜像版本可知），将CCM版本升级到v1.0.7或以上。 LoadBlance类型Service流量走向 访问LoadBlance类型Service，流量走向主要和外部流量策略及网络插件类型有关。如下所示： 外部流量策略为cluster 当外部流量策略为cluster时，业务LoadBlance类型Service会把集群所有工作节点添加到LoadBlance实例后端。此时访问LoadBlance的流量，将均衡到各个工作节点的NodePort，随后二次转发到对应的Pod后端，如下图所示： 外部流量策略为local，网络插件为calico 当外部流量策略为local，网络插件为calico时，只有Pod所在节点才会加入LoadBlance实例后端，访问LoadBlance的流量将均衡到Pod所在节点，不做SNAT处理直接二次转发到节点上的Pod后端，如下图所示： 外部流量策略为local，网络插件为cubecni cubecni网络插件为Pod分配VPC地址时，Pod直接加入LoadBlance实例后端组，访问LoadBlance的流量将直接发送到Pod，不经过Service二次转发，性能较优，如下图所示：

执行还原 在“集群备份”的列表或者备份详情页都可以执行还原操作，点击还原会弹出还原任务的创建页面。 名称 说明 名称 必填，还原任务的名称，名称限制为由小写字母开头，只允许小写字母，数字和‘’组成，且还原任务是当前集群中唯一 重定义命名空间 选填，可以将备份包中指定命名空间的资源还原到目标命名空间中 数据清洗 选填，此属于高级选项，可对导入资源的Annotation和Lable值进行增删替换操作 数据清洗各字段说明： 名称 说明 命名空间 选填，可输入多个命名空间，多个用‘,’分隔，按照源命名空间进行筛选，符合条件的资源会执行数据清洗操作 资源类型 选填，可输入多个资源类型，即资源的kind字段，多个用‘,’分隔，符合条件的资源会执行数据清洗操作 标签选择器 选填，输入k8s的标签选择器语句，可根据该选择条件进行资源筛选,符合条件的资源会执行数据清洗操作 操作 必填，可输入多个操作内容，可以新增、删除或者替换资源中的annotation和label 配置完成后点击“导入”开始执行还原操作。 在备份任务详情页面的“相关还原记录”列表中，可查看还原任务的执行情况。可展示还原任务的名称、源目标命名空间的映射关系、任务执行状态和还原任务的创建日期。 上传备份包 集群备份功能支持从外部导入备份包到当前集群中，备份包的获取方式可参考执行备份一节中，备份列表操作列的说明。 在集群备份的列表中，点击“上传”按钮，在输入框录入名称，点击“点击上传”按钮，弹出文件选择对话框中选择先前下载好的备份包，即可上传。上传后，会在备份任务列表中显示刚上传的备份包信息。

事件名称 级别 创建用户委托 normal 删除用户委托 warning 授权企业项目 normal 创建集群 normal 节点扩容 normal 节点缩容 warning 节点升规格 normal 节点重置 warning 节点磁盘扩容 normal 节点磁盘缩容 warning 集群退订 warning 集群销毁 warning 集群复机 normal 更新集群描述 normal 升级集群 normal 暂停升级集群 normal 取消升级集群 warning 恢复升级集群 normal 删除集群 warning 获取kubeconfig warning 获取临时kubeconfig warning 吊销用户证书 warning 集群API Server绑定/解绑eip warning 集群节点绑定eip normal 集群节点解绑eip warning 创建节点池 normal 更新节点池 normal 删除节点池 warning 批量删除节点池 warning 发布插件实例 normal 升级插件实例 normal 重新发布插件实例 normal 回滚插件实例 warning 删除插件实例 warning 创建工作负载 normal 工作负载扩缩容 normal 全量替换工作负载 warning 克隆工作负载 normal 删除工作负载 warning 快速重新部署工作负载 warning 滚动重新部署工作负载 warning 停止工作负载 warning 启动工作负载 normal 回滚工作负载到上一版本 warning 回滚负载到指定版本 warning 重启工作负载指定Pod warning 设置工作负载自动伸缩 normal 关闭工作负载自动伸缩 normal 批量删除工作负载 warning 批量启动工作负载 warning 批量停止工作负载 warning 批量快速重新部署工作负载 warning 批量滚动部署工作负载 warning 批量水平伸缩工作负载 warning 创建ConfigMap normal 删除ConfigMap warning 批量删除ConfigMap warning 新增ConfigMap Item normal 删除ConfigMap Item warning 更新ConfigMap Item normal 创建Secret normal 删除Secret warning 批量删除Secret warning 新增Secret Item normal 删除Secret Item warning 更新Secret Item normal 创建TLS凭证 normal 更新TLS凭证 normal 创建Ingress normal 删除Ingress warning 批量删除Ingress warning 全量替换Ingress warning 创建Service normal 删除Service warning 批量删除Service warning 全量替换Service warning 创建namespace normal 删除namespace warning 设置 namespace 资源配额 normal 更新 namespace 资源配额 normal 取消设置 namespace 资源配额 warning 创建PVC normal PVC扩容 normal 删除PVC warning 批量删除PVC warning 新增存储池 normal 更新存储池 normal 删除存储池 warning 删除Role warning 批量删除Role warning 删除ClusterRole warning 批量删除ClusterRole warning 子账号RBAC授权 warning 创建策略实例 normal 更新策略实例 normal 删除策略实例 warning 创建/配置巡检任务 normal 执行巡检检查 normal 删除巡检任务 warning 删除巡检报告 warning 创建ETCD备份任务 normal 删除ETCD备份任务 warning 更新ETCD备份任务 normal 触发ETCD备份 normal ETCD备份还原 normal 下载ETCD备份文件 normal 创建备份任务 normal 下载集群备份文件 normal 上传集群备份文件 normal 删除集群备份任务 warning 集群备份还原 warning 删除集群还原任务 warning 创建集群定时备份任务 normal 更新集群定时备份任务 normal 删除集群定时备份任务 warning 立即执行集群定时备份任务 normal 下发命名空间级别Resource normal 下发集群级别Resource normal 更新命名空间级别Resource normal 更新集群级别Resource normal 删除命名空间级别Resource warning 删除集群级别Resource warning 上传模板 normal 删除模板 warning 删除模板版本 warning 批量删除模板版本 warning 修改模板 normal 发布模板实例 normal 删除模板实例 warning 更新模板实例 normal 升级模板实例 normal 回滚模板实例 warning

环境变量的查看 若已知testcm1和testsecret1的内容，可通过kubectl命令进入Pod并查看环境变量。例如，使用“kubectl exec”命令执行“printenv”以列出所有环境变量。通过此方式，可以验证环境变量是否已正确设置和导入。 注意 由于密钥值在YAML中以base64编码形式展示，因此在查看时需要进行相应的解码处理。同时，资源引用中的CPU限制值在展示时可能因单位转换（如从毫核转换为核）而略有差异。

本节介绍了节点诊断对应的检查项以及修复方案。 节点诊断主要包括ClusterComponent检查、Node检查、NodeComponent检查等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 诊断项分组 说明 ClusterComponent 检查集群常见问题，检查项包括APIServer可用性、DNS可用性、集群插件版本是否最新等。 Node 检查节点实例常见问题，检查项包括节点状态、网络状态、内核日志、核心进程和服务可用性等。 NodeComponent 检查节点核心组件状态，检查项包括集群网络插件和集群存储插件。 ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。