多个伸缩组在弹性伸缩的时候是如何被选择的？ 在Pod处在无法调度时，会触发弹性伸缩组件的模拟调度逻辑，会根据伸缩组配置的标签和污点以及实例规格等信息进行判断。当配置的伸缩组可以模拟调度Pod的时候，就会被选择进行节点弹出。当同时有多个伸缩组满足模拟调度条件的时候，根据配置的策略选择。默认采用的是最少浪费原则，即根据模拟弹出后节点上剩余的资源最小为原则进行抉择。

本节介绍了节点伸缩原理。 工作原理 在Kubernetes中，节点自动伸缩的工作原理与传统意义上基于使用率阈值的模型有所差别，这也是很多开发者在从传统的IDC或者其他编排系统迁移到Kubernetes后最难理解的地方。 传统的弹性伸缩模型是基于使用率的，例如：一个集群中有3个节点，当集群中的节点CPU、内存使用率超过特定的阈值时，此时弹出新的节点。但当深入思考时会发现以下几个问题： 阈值是如何选择与判断的？ 在一个集群中，部分热点节点的利用率会较高，而另外一个节点的利用率会很低。如果选择平均利用率的话可能会造成弹性伸缩的不及时。如果使用最低的节点的利用率，那么也会造成弹出资源的浪费。 弹出实例后是如何缓解压力的？ 在Kubernetes中，应用是以Pod为最小单元，部署在集群的不同节点上的。当一个Pod资源利用率较高的时候，即便此时所在的节点或者集群的总量触发了弹性扩容，但是该应用的Pod数目，以及Pod对应的Limit没有任何变换，那么负载的压力是无法转移到新扩容出的节点上的。 如何判断以及执行实例的缩容？ 如果基于资源利用率的方式判断节点是否缩容，那么很有可能出现，Request很大，但是Usage很小的Pod被驱逐，当集群中这种类型的Pod较多时，会导致集群的调度资源被占满，部分Pod无法调度。 Kubernetes节点伸缩是怎么解决以上问题的呢？Kubernetes是通过调度与资源解耦的两层弹性模型来解决的。 基于资源的使用率来触发应用副本的变化，也就是调度单元的变化。而当集群的调度水位达到100%的时候会触发资源层的弹性扩容，当资源弹出后，无法调度的单元会自动调度到新弹出的节点上，从而降低整个应用的负载状况。以下介绍Kubernetes弹性伸缩的技术细节： 如何判断节点的弹出？ clusterautoscaler是通过对处在Pending的Pod进行监听而触发的。当Pod处在Pending的原因是调度资源不足的时候，会触发clusterautoscaler的模拟调度，模拟调度器会计算在配置的伸缩组中哪个伸缩组弹出节点后可以调度这些Pending的Pod。如果有伸缩组可以满足，那么就弹出相应的节点。 模拟调度就是将一个伸缩组当成一个抽象的Node，伸缩组中配置的机型规格对应会成为Node的CPU/内存/GPU的容量，然后设置伸缩组上面的Label、Taint，也就是Node的Label与Taint。模拟调度器会在调度模拟的时候，将该抽象的Node纳入调度参考。如果Pending的Pod可以调度到抽象的Node，那么就会计算所需的Node的数目，驱动伸缩组弹出节点。 如何判断节点的缩容？ 首先只有弹性伸缩弹出的节点会被缩容，静态的节点是无法被clusterautoscaler接管的。缩容的判断是通过每个节点单独判断的。当任意一个节点的调度利用率低于所设置的调度阈值时，会触发节点的缩容判断。此时clusterautoscaler会尝试模拟驱逐节点上面的负载，判断当前节点是否可以排水彻底。有些特殊的Pod（kubesystem命名空间的非DaemonSet Pod、PDB控制的Pod等），则会跳过该节点而选择其他的候选节点。当节点发生驱逐时，会先进行排水，将节点上的Pod驱逐到其他的节点，然后再下线该节点。 多个分组之间如何选择？ 不同分组之间，实际上相当于不同的虚拟的Node之间的选择，和调度策略一样，这里也存在一个打分的机制。首先符合调度策略的Node会先过滤出来，在符合调度策略的Node中，会根据affinity等亲和性的策略进行选择。如果上述的策略都不存在，默认情况下clusterautoscaler会通过leastwaste的策略来进行抉择。leastwaste的策略的核心就是模拟弹出节点后，剩余的资源最少。此外，有一个特别的场景，当有一个GPU的伸缩组和CPU的伸缩组同时可以弹出生效时，默认CPU会优先于GPU弹出。 如何提高弹性伸缩的成功率？ 弹性伸缩的成功率主要取决如下两个因素： 1、调度策略是否满足 首先在配置好伸缩组后，开发者需要先确认下该伸缩组可以承载的Pod的调度策略范围。如果无法直接判断，最简单的方式是通过nodeSelector直接选择伸缩组的Label进行预弹模拟。 2、资源配置是否充分 当模拟调度通过后，会选择伸缩组进行弹出，但是伸缩组中配置的ECS规格是否有库存会直接决定是否可以成功弹出实例。因此配置多个节点池选择不同的规格可以大大提高弹出成功率。

状态 说明 已激活 成功创建节点池。 扩容中 扩容或添加节点池节点中。 缩容中 移除节点池节点中。 已删除（该状态用户不可见） 成功删除节点池。

本节介绍了负载调度策略概述。 在Kubernetes体系内，Pod构成了工作负载调度的核心单元。当创建工作负载时，调度系统会自动为Pod分配合理的位置，例如将它们分散到资源充裕的节点上。尽管调度器的默认设置足以应对许多基础需求，但在特定场景下，用户可能希望对Pod的部署位置进行更为精细的控制。为此，Kubernetes提供了在工作负载定义中自定义调度策略的功能。具体示例如下： 将前端与后端应用部署在同一位置，有助于缩减延迟，因为它们可以共享物理资源。 某些应用需部署在特定节点上，以确保关键应用始终运行在最优硬件或配置上。 不同应用部署在不同节点上，有助于实现应用隔离，防止问题扩散。 Kubernetes中Pod调度策略 节点选择（nodeSelector）：这是最简单的调度方式，通过节点标签选择目标节点，仅将Pod调度到拥有特定标签的节点。参考指引：设置负载的节点选择器（nodeSelector） 节点亲和性（nodeAffinity）：节点亲和性不仅具备nodeSelector的功能，而且更为强大。它允许您根据节点标签使用标签选择器筛选亲和节点，支持必须满足和尽量满足的规则。参考指引：设置节点亲和调度（nodeAffinity） 工作负载亲和性/反亲和性（podAffinity/podAntiAffinity）：根据工作负载标签，使用标签选择器筛选亲和/反亲和的Pod，并将新工作负载调度/不调度至目标Pod所在节点（或节点组），同样支持必须满足和尽量满足的规则。参考指引：设置工作负载亲和/反亲和调度（podAffinity/podAntiAffinity） 注意 1. 若同时指定nodeSelector和nodeAffinity，则两者条件均需满足，Pod才能被调度到候选节点。 2. 在大规模集群中，由于工作负载亲和性和反亲和性需要额外计算时间，可能会显著降低调度速度，因此不建议在包含数百个节点的集群中使用节点亲和性调度策略。

本节介绍了 设置节点亲和调度(nodeAffinity)的用户指南。 在Kubernetes中，节点亲和性调度是一种强大的机制，它允许您根据节点的标签将工作负载精确地调度到具有特定属性（如GPU支持）的节点上。以下是如何配置和使用节点亲和性调度策略的简明指南。 配置节点亲和性调度策略 1. 标记节点：首先，确保您的GPU节点已被标记。在本例中，GPU节点被标记为gputrue。 2. 选择调度策略： 不配置：如果不设置节点亲和策略，Kubernetes将按照默认调度策略随机分配Pod。 指定节点调度：直接指定Pod部署的节点，适用于已知确切部署位置的情况。 指定节点池调度：指定Pod部署的节点池，适用于节点池管理策略。 自定义亲和策略：根据节点标签实现灵活调度。 3. 配置自定义亲和策略： 选择规则：在“自定义亲和策略”中，选择“必须满足”或“尽量满足”规则。 必须满足：硬约束，Pod只能调度到满足所有指定条件的节点上。 尽量满足：软约束，调度器会尝试调度到满足条件的节点，但即使不满足也会进行调度。 设置参数： 权重（仅“尽量满足”）：取值1100，作为调度时的附加评分项。 标签名：需要匹配的节点标签。 操作符：六种匹配关系（In、NotIn、Exists、DoesNotExist、Gt、Lt），用于定义标签与值的匹配逻辑。 标签值：与标签名对应的值。 4. 添加策略：在调度策略配置中，点击“添加策略”并填写上述参数。 5. 快速选择（可选）：通过“指定节点调度”或“指定节点池调度”快速选择目标节点或节点池，这些选项本质上也是基于标签实现的便捷操作。

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

本节介绍了设置调度策略的用户指南。 在Kubernetes中，调度策略是指如何将Pod调度到节点上的规则。亲和性（Affinity）和反亲和性（AntiAffinity）是两种常见的调度策略，它们可以帮助您控制Pod的分布，以提高应用的性能和可靠性。 亲和性和反亲和性策略 节点亲和性（Node Affinity）：控制Pod应该调度到哪些节点。 节点反亲和性（Node AntiAffinity）：控制Pod不应该调度到哪些节点。 Pod亲和性（Pod Affinity）：控制Pod应该与哪些Pod共同调度到同一节a点。 Pod反亲和性（Pod AntiAffinity）：控制Pod不应该与哪些Pod共同调度到同一节点。 通过控制台配置负载亲和/反亲和调度策略 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载"，切换至“无状态”页签，点击"创建Deployment"。 3、在创建deployment中，点击显示高级设置，选择负载亲和性调度的策略类型。 4、配置亲和性调度规则，亲和性调度规则又分为必须满足（强制pod调度到某些节点上）和尽量满足（优先pod调度到某些节点上）。 5、待一切配置完成后，单机"提交"，创建完成。 6、查看亲和状态调度到相同节点。 7、删除亲和性规则，添加反亲和性规则。反亲和性规则也分为强制分散调度（强制pod调度在不同节点上）和优先分散调度（优先pod调度在不同节点上）。 8、查看反亲和性分配在不同的节点上。

保留失败、成功记录上限 成功Job的历史记录上限：指定了周期性执行任务的过程中，可以保留多少完成的任务，默认是全部保留，建议设置这个值，避免堆积过多的任务消耗资源，如果设置限制的值为 0，那么成功的任务将不会被保留。 失败Job的历史记录上限：指定了周期性执行任务的过程中，可以保留多少失败的任务，默认是全部保留，建议设置这个值，避免堆积过多的任务消耗资源，如果设置限制的值为 0，那么失败的任务将不会被保留。 高级设置升级方式 CronJob不支持更新，因此没有升级方式这个参数。

本节介绍网络的用户指南:Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍网络的用户指南:ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

功能 说明 创建节点池，需要指定节点池的配置。 重要 编辑节点池时，如无特殊说明（如同步更新存量节点标签及污点），不会修改节点池已有存量节点的配置，仅作用于新增节点。 扩容会根据节点池的配置弹出节点。 · 缩容可以选择移出节点池，也可以选择释放节点池内的节点。 弹性伸缩可以根据业务负载和策略，按需弹出不同规格节点，满足不同的节点伸缩场景，进行成本优化。

BE 应用可使用 02 共 3 个核心 2. 增加 LS 应用负载 当 LS 应用 CPU 负载增加时（例如从 10% 增加到 90% ） 系统自动调整 BE 应用的 cpuset 范围 3. 观察 BE 应用 CPU 被压制 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 01 BE 应用被压制，CPU 使用范围减少为 01 共 2 个核心 常见问题 超卖调度相关 为什么开启超卖后，某些 BE 应用仍无法调度？ 1、检查是否正确绑定了 BE 优先级。 2、确认混部调度器已启用并正常运行。 3、节点可能存在其他资源（如内存）限制。 超卖比例如何确定？ 1、统根据历史负载和配置自动计算合理的超卖比例。 2、默认配置已适用于大多数场景，一般无需手动调整。 CPU 压制相关 BE 应用被压制后性能下降严重？ 1、属于正常现象，BE 应用设计为弹性使用剩余资源。 2、可通过调整优先级或增加节点资源来改善。 如何确认 CPU 压制是否生效？ 1、通过观察 BE 应用的 cpuset 范围变化。 2、查看 BE 应用的实际 CPU 使用率是否下降。 3、监控混部系统的事件日志。 注意 资源超卖可能导致节点负载增加，建议合理规划应用部署。 CPU 压制机制会影响 BE 应用性能，不建议将关键业务设置为 BE 优先级。 混部系统会保证 BE 应用最低资源保障，避免完全饿死。

本节介绍了设置负载的节点选择器(nodeSelector)的用户指南。 在Kubernetes中，调度Pod到特定节点的最简单方法是通过工作负载配置中的nodeSelector字段。它允许您指定目标节点的标签，Kubernetes将仅把Pod调度到匹配这些标签的节点上。 前提条件 为了使用nodeSelector，您首先需要为目标节点添加自定义标签。添加标签的具体步骤，请参考节点标签指南。 一旦节点被正确标记，您就可以在工作负载的定义中设置nodeSelector字段，指定希望Pod调度的节点标签。这样，Kubernetes调度器就会自动将Pod分配到符合条件的节点上，确保工作负载能够运行在您期望的环境中。 设置负载的节点选择器 进入创建负载的页面，在高级配置中，选择调度策略，在节点选择器中，选择节点标签。

配置负载亲和/反亲和调度策略 进入创建负载的页面，在高级配置中，选择调度策略，在负载亲和配置中，添加亲和与反亲和策略。 例如，将新创建的前端应用（附带appfrontend标签）负载分散调度，同时与后端应用（附带appbackend标签）尽量部署到同个zone同一个节点，在负载亲和配置中通过kubernetes.io/hostname拓扑域，每个这样的域仅包含一个节点，在执行工作负载亲和性调度时，可以确保将它们尽量部署到同一节点上；通过topology.kubernetes.io/zone拓扑域，将前后端的负载部署到同个zone。在负载反亲和配置中，通过topology.kubernetes.io/zone拓扑域，将前端负载分散到不同的zone，通过kubernetes.io/hostname拓扑域，尽量将前端负载分散到不同的节点上。

本节介绍了 配置负载容忍策略的用户指南。 调度器能够借助容忍度（Toleration）机制，将Pod部署到带有相应污点的节点之上。这一机制的实现依赖于容忍度与节点污点的协同作用。节点可配置一个或多个污点，对于缺乏对应容忍度的Pod，调度器会根据污点的具体效果进行筛选，以避免不恰当的节点分配。更多关于容忍度的应用实例，请参阅K8S官网“污点与容忍度”章节。 不同类型的污点效果 NoExecute 已在该节点运行的Pod会立即被移除。 未运行的Pod则不会被调度至此节点。 若未设定容忍时间（tolerationSeconds），Pod可持续在该节点运行。 若设定了容忍时间，Pod将在指定时间内继续运行，超时后则被移除。 PreferNoSchedule 已运行的Pod不受影响，不会被移除。 未运行的Pod尽量避免调度至此节点。 Pod可长期在该节点上运行。 NoSchedule 已运行的Pod同样不受影响。 未运行的Pod不会被调度至此节点。 Pod能持续在该节点上运行。 容忍策略配置参数详解 参数名称 参数说明 污点键 标识节点的污点键。 操作符 Equal：精确匹配指定污点键（必填）及值的节点；Exists：匹配存在指定污点键的节点，此时无需指定污点值。 污点值 当操作符为Equal时，需填写对应的污点值。 污点效果 全部：匹配所有污点效果；NoSchedule、PreferNoSchedule、NoExecute：分别匹配对应的污点效果。 容忍时间 即tolerationSeconds，仅NoExecute效果时支持配置，设定Pod在污点节点上的容忍时长，超时后被移除。

本节介绍了该产品的服务协议。 产品服务协议，详情请参见这里

批量版本管理主要包含批量创建应用实例和批量创建应用实例版本。此功能当前只适用于K8s应用实例。 概述 批量版本管理主要包含批量创建应用实例和批量创建应用实例版本。此功能当前只适用于K8s应用实例。 前提条件 目标环境已创建，若没有，请先创建环境。 批量创建应用实例 该功能支持基于基准应用实例的跨环境快速复制能力，用户可将经过验证的稳定版本（基线版本）作为模板，批量生成具有相同配置和版本内容的新应用实例至目标环境，适用于多环境部署、灾备实例创建等场景，有效保障环境间应用版本的一致性和部署效率。 注意 选择的目标环境下若存在目标实例，则必须要选择，且系统会对目标应用实例做覆盖操作。 批量创建应用实例版 本功能提供应用实例版本跨环境批量创建能力，支持在多集群/多区域场景中快速完成应用版本升级。系统通过复用已验证的基准版本全量配置（包含镜像版本、环境变量及附属资源），自动生成符合目标环境要求的应用实例版本，显著减少人工核对和配置迁移时间。 注意 批量创建应用实例版本功能只针对K8s镜像部署的应用实例。 通过查看详情可以对目标应用实例版本做修改。 注意 如果应用实例所在资源池跟当前资源池不相同，需先切换资源池信息。

热点规则 热点规则通过分析统计参数，即资源调用过程中的调用次数较高的参数，并根据配置的热点规则对包含热点参数的资源调用进行限流，保护系统稳定性。适用于针对某些热点数据中访问频次最高的Top数据进行控制的场景。 1. 在应用总览页面，选择限流降级规则管理，进入规则管理页面 2. 选择热点规则页签，点击新增进入热点规则配置页面 3. 选择防护场景 配置项 描述 接口名称 待流控的资源名称。 4. 配置防护规则 参数 描述 参数位置索引 埋点传入参数的索引位置。 统计维度 可选择通过请求数或并发线程数。 1，通过请求数： 限制一段时间内的调用次数。 2，并发数： 限制该资源调用的并发数。 统计周期时间 统计窗口时间长度（单位为秒）。 单机阈值 是作用于每个热点参数的阈值。 流控效果 当统计维度为通过请求数时，可以选择流控效果来处理被拦截流量。 1，快速失败： 达到阈值时，立即拦截请求。 该模式下可以额外设置一个缓冲请求数，即针对突发请求额外允许的请求数目。 2，排队等待： 请求匀速通过，允许排队等待，通常用于消息队列削峰填谷等场景。 需设置具体的超时时间，排队时会计算预计的排队时长，若超过最大超时时间则请求会直接被拒绝。 是否开启 打开开关表示启用该规则，关闭开关表示禁用该规则。 5. 配置限流行为 配置行为主要是配置Fallback行为。Fallback行为定义某个埋点资源触发了某种规则（如流控、熔断、降级）后的处理行为。目前Fallback行为仅支持Web和RPC两种资源类型。如果您不需要自定义限流后的Fallback行为，则选择默认行为即可。 配置成功后，新的热点规则将出现在热点规则列表中。

您可以获取一个 ffmpeg 镜像，并部署到 CAE。

kubectl describe node 192.168.0.173 Name:192.168.0.173 Roles: Labels:… volcano.sh/oversubscriptiontrue Annotations:… volcano.sh/oversubscriptioncpu: 2343 volcano.sh/oversubscriptionmemory: 3073653200 … Allocated resources: (Total limits may be over 100 percent, i.e., overcommitted.) ResourceRequestsLimits cpu4750m (121%)7350m (187%) memory3760Mi (61%)4660Mi (76%) … 增大节点上在线作业的CPU使用率，可以观察到触发离线作业驱逐。 plaintext kubectl get pod o wide NAMEREADYSTATUSRESTARTSAGEIPNODE offline69cdd49bf4bwdm71/1Running011m192.168.10.208192.168.0.3 offline69cdd49bf4pmjp80/1Evicted026m 192.168.0.173 offline69cdd49bf4qpdss1/1Running011m192.168.10.174192.168.0.3 offline69cdd49bf4z8kxh0/1Evicted026m 192.168.0.173 online6f44bb68bdb8z9p1/1Running024m192.168.10.18192.168.0.173 online6f44bb68bdg6xk81/1Running024m192.168.10.69192.168.0.173 错误处理建议 超卖节点kubelet重启后，由于Volcano调度器和kubelet的资源视图不同步，部分新调度的作业会出现OutOfCPU的情况，属于正常现象，一段时间后会恢复正常，Volcano调度器能够正常调度在/离线作业。 在/离线作业提交后，因当前内核不支持离线作业修改为在线作业，因此不建议动态修改作业类型（添加或者删除Pod的annotation volcano.sh/qoslevel: "1"）。 CCE通过cgroups系统中的状态信息收集节点上所有运行的Pod占用的资源量（CPU/内存），可能与用户监控到的资源使用率有所不同，例如使用top命令看到的资源统计。 对于增加超卖资源类型，如超卖资源由cpu变为cpu、memory，此时可以随时添加。 对于减少超卖资源类型，如由cpu、memory变为仅超卖cpu，此时需要在合适的时间进行更改，即分配率不超过100%时才可进行安全更改。 当离线作业先部署到节点，并占用了在线作业的资源，导致资源不足在线作业无法调度时，需要为在线作业设置比离线作业更高的priorityClass。 若节点上只有在线作业，且达到了驱逐水位线，则离线作业调度到当前节点后会很快被驱逐，此为正常现象。

本文为您介绍如何使用SDK远程登录ECI实例。 使用ECI SDK提供的示例代码，执行execCommand命令。 注入AK/SK环境变量 SDK调用依赖用户AK/SK，请从官网获取。 shell var ( accessKey "" secretKey "" baseDomain " ) func init() { accessKey os.Getenv("CTAPIAK") secretKey os.Getenv("CTAPISK") domain : os.Getenv("CTAPIECIDOMAIN") if domain ! "" { baseDomain domain } } 初始化客户端 shell func main() { config : &config.OpenapiConfig{ AccessKey: accessKey, SecretKey: secretKey, } options : []eci.Option{ eci.WithClientConfig(config), eci.WithClientOption(cli.WithTLSConfig(&tls.Config{ InsecureSkipVerify: true, })), } client, err : eci.NewClientSet(baseDomain, options...) if err ! nil { fmt.Println(err) return } ctx : context.Background() req : &containergroup.ExecCommandRequest{ // Fill in the request parameters ContainerGroupId: "ecivtyz7dxommh6wna4", ContainerName: "container1", Command: []string{"/bin/sh"}, TTY: true, Stdin: true, Sync: false, RegionId: "bb9fdb42056f11eda1610242ac110002", } resp, raw, err : client.ContainerGroup().ExecCommand(ctx, req) if err ! nil { fmt.Println(err) return } fmt.Printf("raw: %vnresp: %vn", string(raw.Body()), resp) 连接WebSocket shell if err : execContainerWebsocket(resp.RequestId, resp.WebSocketUri); err ! nil { fmt.Println(err) } } 查看审计日志

操作场景 为方便对CCE集群中的kubernetes配置参数进行管理，提供了配置管理功能，通过该功能您可以对核心组件进行深度配置，更多信息请参见kubelet。 本文将介绍集群创建后对节点池的“配置管理”功能。 约束与限制 仅支持在v1.15及以上版本的集群中对节点池进行配置，V1.15以下版本不显示该功能。 默认节点池DefaultPool不支持修改该类配置。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 步骤 2 在集群选择框中，选择集群，可查看到当前集群下所有的节点池。 步骤 3 单击节点池名称后的“配置管理”。 步骤 4 在侧边栏滑出的“配置管理”窗口中，根据业务需求修改Kubernetes的参数值： 配置管理参数 组件 参数 详情 默认 修改限制 docker nativeumask execopt native.umask normal docker dockerbasesize storageopts dm.basesize 10G kubeproxy conntrackmin sysctl w net.nfconntrackmax 131072 支持在节点池生命周期中修改 kubeproxy conntracktcptimeoutclosewait sysctl w net.netfilter.nfconntracktcptimeoutclousewait 1h0m0s 支持在节点池生命周期中修改 kubelet cpumanagerpolicy cpumanagerpolicy none 支持在节点池生命周期中修改 kubelet kubeapiqps 与kubeapiserver通信的qps 100 支持在节点池生命周期中修改 kubelet kubeapiburst 与kubeapiserver通信的burst 100 支持在节点池生命周期中修改 kubelet maxpods kubelet管理的pod上限 110 支持在节点池生命周期中修改 kubelet withlocaldns 是否使用本地IP作为该节点的ClusterDNS false 支持在节点池生命周期中修改 kubelet allowedunsafesysctls 允许使用的不安全系统配置 [] 支持在节点池生命周期中修改 步骤 5 单击“确定”，完成配置操作。 编辑节点池 步骤 1 登录，在左侧导航栏中选择“资源管理 > 节点池管理”。 步骤 2 在集群选择框中，选择集群，可查看到当前集群下所有的节点池。 步骤 3 单击节点池名称后的“编辑”，在弹出的“编辑节点池”中，配置以下参数： 配置节点池参数 参数 参数说明 节点池名称 自定义节点池名称。 节点个数 请根据业务需求调整节点个数。 弹性扩缩容 默认不开启。 单击开启后，节点池将根据业务需求自动创建或删除节点池内的节点，参数设置如下： 节点数上限和节点数下限：您可设置节点数的上限和下限，保证节点数在合理的范围内伸缩。 优先级：该数值表示节点池之间进行弹性扩缩容的优先级，数值越大优先级越高，如设置为4的节点池比设置为1的节点池优先启动弹性伸缩。若多个节点池的值设置相同，如都设置为2，表示这几个节点池之间不分优先级，系统将按最小资源浪费原则进行伸缩。 弹性缩容冷却时间：请设置时间，单位为分钟。弹性缩容冷却时间是指当前节点池扩容出的节点多长时间不能被缩容。 为保证功能的正常使用，节点池开启弹性扩缩容功能后，请务必安装autoscaler。 Taints 默认为空。支持给该节点池扩容出来的节点加Taints来设置反亲和性，每个节点池最多配置10条Taints，每条Taints包含以下3个参数： −Key：必须以字母或数字开头，可以包含字母、数字、连字符、下划线和点，最长63个字符；另外可以使用DNS子域作为前缀。 −Value：必须以字符或数字开头，可以包含字母、数字、连字符、下划线和点，最长63个字符。 −Effect：只可选NoSchedule，PreferNoSchedule或NoExecute。 须知： Taints配置时需要配合Pod的toleration使用，否则可能导致扩容失败或者Pod无法调度到扩容节点。 K8S标签 K8S标签是附加到Kubernetes对象（比如Pods）上的键值对，旨在用于指定对用户有意义且相关的对象的标识属性，但不直接对核心系统有语义含义。 详细请参见Labels and Selectors。 删除节点池 删除节点池，会先删除节点池中的节点，节点删除后，原有节点上的工作负载实例会自动迁移至其他节点池的可用节点。如果工作负载实例具有特定的节点选择器，且如果集群中的其他节点均不符合标准，则工作负载实例可能仍处于无法安排的状态。 步骤 1 登录，在左侧导航栏中选择“资源管理 > 节点池管理”。 步骤 2 在集群选择框中，选择集群，可查看到当前集群下所有的节点池。 步骤 3 单击节点池名称后的“更多 > 删除”。 步骤 4 在弹出的“删除节点池”窗口中，请仔细阅读界面提示。 步骤 5 确定要对节点池进行删除操作后，请在输入框中输入DELETE并单击“是”，即可完成节点池的删除。 拷贝节点池 通过CCE控制台可以方便的拷贝现有节点池的配置，从而创建新的节点池。 步骤 1 登录，在左侧导航栏中选择“资源管理 > 节点池管理”。 步骤 2 在集群选择框中，选择集群，可查看到当前集群下所有的节点池。 步骤 3 单击节点池名称后的“更多 > 拷贝”。 步骤 4 在弹出的“创建节点池”窗口中，可以看到拷贝的节点池配置，您可以根据需要进行修改，确定配置后单击“下一步：配置确认”。 步骤 5 在“配置确认”步骤中再次确认规格并单击“提交”，即可完成节点池的拷贝并创建新的节点池。 迁移节点 您可以将同一个集群下某个节点池中的节点迁移到默认节点池（defaultpool）中，暂不支持将默认节点池（defaultpool）中的节点迁移到其他节点池中，也不支持将自定义节点池中的节点迁移到其他自定义节点池。 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 步骤 2 在集群选择框中，选择集群，可查看到当前集群下所有的节点池。 步骤 3 单击待迁移的节点池名称后的“更多 > 迁移”。 步骤 4 在弹出的“节点迁移”窗口中，选择目标节点池和待迁移节点。 说明： 迁移完成后，节点原有资源标签、K8S标签、Taints不受影响，并将为其打上未拥有的目标节点池的K8S标签、Taints。 步骤 5 单击“确定”，即可完成节点迁移。

本节介绍了常见问题:HelmChart相关操作报错。 Helm push命令执行时出现以下错误： Error: failed to authorize: failed to fetch oauth token: unexpected status: 401 Unauthorized 该错误提示命名空间不支持自动创建仓库。

集群类型 计费单位 计费方式 按需标准价格（元/vCPU/小时） 按需标准价格（元/vCPU/月） 按需标准价格（元/vCPU/年） 天翼云集群 vCPU 按量计费 0.0556 40.032 487.056 三方云集群 vCPU 按量计费 0.0556 40.032 487.056 本地集群 vCPU 按量计费 0.1668 120.096 1461.168 AnyWhere集群 vCPU 按量计费 0.1668 120.096 1461.168 天翼云集群 GPU 按量计费 0.2223 160.056 1947.348 三方云集群 GPU 按量计费 0.2223 160.056 1947.348 本地集群 GPU 按量计费 0.3335 240.12 2921.46 AnyWhere集群 GPU 按量计费 0.3335 240.12 2921.46 集群联邦 vCPU/GPU 按量计费 0 0 0 AnyWhere集群通道 vCPU/GPU 按量计费 0 0 0

资源池 资源池ID（regionId） 华东1 bb9fdb42056f11eda1610242ac110002 华北2 200000001852 西南1 200000002368 华南2 200000002530

本节介绍了常见问题:镜像仓库相关问题。 页面创建镜像仓库失败 如果提示已超过配额，需增加配额（个人版暂不支持）或者删除已创建的镜像仓库。 企业版可按需增加配额。 通过推送镜像创建镜像仓库失败 1、检查命名空间是否开启了允许自动创建镜像仓库，开启了才能通过推送镜像创建镜像仓库。 2、如果提示已超过配额，需增加配额（个人版暂不支持）或者删除已创建的镜像仓库。 拉取镜像仓库失败 1、检查该镜像的属性是公共还是私有。 2、如果是镜像是私有的，需提前登录，且确保登录的账号有权限拉取。 3、以accelerated结尾的加速镜像暂不支持拉取。

本节介绍联邦资源调度策略。 调度策略概述 调度策略分为自定义调度策略和集群调度策略，自定义调度策略是命名空间级别的，集群调度策略是集群级别的， 自定义调度策略的优先级高于集群调度策略。 调度策略说明 自定义调度策略和集群调度策略配置数据一致。 基础配置 配置说明 优先级： 策略优先级，值越高，优先级越高。 冲突解决策略：资源冲突处理策略，默认“Abort”表示停止传播避免意外覆盖；可选“Overwrite”表示通过主动覆盖来接管资源。 依赖自动传播: 关联的资源是否自动传递，比如工作负载Deployment依赖配置资源ConfigMap，如果开启该配置，配置资源ConfigMap会自动传播，否则不自动传播。 资源选择 选择需要调度的资源，支持多选。支持指定资源名称，也支持通过标签选择资源。 调度配置 调度方式支持集群权重、自动均衡、复制分发三种方式。 集群权重 以静态权重比例方式分配成员集群Pod群。存在余数时，剩余Pod数将按照权重继续分配，如权重相同，则随机选择集群进行分配。

部署rook operator Rook是一个开源的云原生存储编排工具，提供平台、框架和对各种存储解决方案的支持，以和云原生环境进行本地集成。 Rook 利用扩展功能将其深度地集成到云原生环境中，并为调度、生命周期管理、资源管理、安全性、监控等提供了无缝的体验。Rook 目前支持 Ceph、NFS、Minio Object Store 和 CockroachDB。 plaintext 部署rook operator cd rook/deploy/charts/rookceph/ helm install createnamespace namespace rookceph rookceph . 创建rook ceph集群 plaintext 创建rook ceph集群 cd rook/deploy/examples kubectl apply f cluster.yaml 镜像列表 registry.k8s.io/sigstorage/csiattacher:v4.8.1 registry.k8s.io/sigstorage/csinodedriverregistrar:v2.13.0 registry.k8s.io/sigstorage/csiprovisioner:v5.2.0 registry.k8s.io/sigstorage/csiresizer:v1.13.2 registry.k8s.io/sigstorage/csisnapshotter:v8.2.1 quay.io/ceph/ceph:v19.2.2 quay.io/cephcsi/cephcsi:v3.14.0 rook/ceph:v1.17.2 kubectl get cephcluster A NAMESPACE NAME DATADIRHOSTPATH MONCOUNT AGE PHASE MESSAGE HEALTH EXTERNAL FSID rookceph rookceph /var/lib/rook 3 136m Ready Cluster created successfully HEALTHWARN 40a66dd669ed4401b97fef1edaae17b2 部署rook ceph工具 plaintext cd rook/deploy/examples kubectl apply f toolbox.yaml 通过cephtool工具查看ceph集群状态，正常需要3个OSD（准备三个节点，每个节点至少有一块盘） kubectl exec it kubectl get pods n rookcephgrep rookcephtoolsawk '{print $1}' n rookceph bash bash5.1$ ceph s cluster: id: e7abf175ad9c420a92051328f8097a75 health: HEALTHWARN mon b is low on available space services: mon: 3 daemons, quorum a,b,c (age 12h) mgr: a(active, since 12h), standbys: b mds: 1/1 daemons up, 1 hot standby osd: 3 osds: 3 up (since 12h), 3 in (since 13h) data: volumes: 1/1 healthy pools: 4 pools, 81 pgs objects: 34 objects, 639 KiB usage: 203 MiB used, 120 GiB / 120 GiB avail pgs: 81 active+clean io: client: 1.2 KiB/s rd, 2 op/s rd, 0 op/s wr OSD 可用存储设备满足条件： 设备必须没有分区。 设备不得具有任何 LVM 状态。 不得安装设备。 该设备不得包含文件系统。 该设备不得包含 Ceph BlueStore OSD。 设备必须大于 5 GB。 使用Ceph

本节介绍计费模式。 按量计费 适用场景 按需付费是一种灵活的计费模式，适用于需要灵活调整资源、业务不稳定或资金有限的场景。在选择计费模式时，应结合业务需求和实际情况来做出合适的选择。 收费方式 一种后付费模式，即先使用再付费。 计费说明 开通按需计费资源时，您的天翼云账户余额+通用代金券须大于100元，并且大于按需计费资源（当前已开通+即将要开通）1小时费用的总和。 按需计费根据资源的结算周期进行结算。一般按需计费的结算周期有小时/日/月等，在达到结算周期时，系统会生成账单，进行扣费。 如果账户余额不足，资源将进入保留期，需要在保留期完成缴费，超过保留期，所使用资源将被关停并收回资源。

本文主要介绍 查看云审计日志 操作场景 开启了云审计服务（CTS）后，系统开始记录SWR相关的操作。CTS会保存最近1周的操作记录。 本小节介绍如何在CTS管理控制台查看最近1周的操作记录。 操作步骤 步骤 1 登录CTS管理控制台。 步骤 2 选择左侧导航栏的“事件列表”，进入事件列表页面。 步骤 3 事件记录了云资源的操作详情，设置筛选条件，单击“查询”。 当前事件列表支持四个维度的组合查询，详细信息如下： 事件类型、事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中，“事件类型”选择“管理事件”，“事件来源”选择“SWR”。 图 设置筛选条件 其中，筛选类型选择“按资源ID”时，还需手动输入某个具体的资源ID，目前仅支持全字匹配模式的查询。 筛选类型选择“按资源名称”时，选框下拉列表会自动显示符合筛选条件的资源名称。 操作用户：在下拉框中选择某一具体的操作用户。 事件级别：可选项为“所有事件级别”、“Normal”、“Warning”、“Incident”，只可选择其中一项。 时间范围：可选项为“最近1小时”、“最近1天”、“最近1周”和“自定义时间段”，本示例选择“最近1周”。 步骤 4 在需要查看的事件左侧，单击图标展开该事件的详细信息。 图 展开事件 步骤 5 在需要查看的事件右侧，单击“查看事件”，弹出一个窗口，显示了该操作事件结构的详细信息。

本节介绍了该产品的服务协议。 产品服务协议，详情请参见 这里

本文主要介绍 支持云审计的关键操作 操作场景 云审计服务（Cloud Trace Service，CTS），提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 通过云审计服务，您可以记录与SWR相关的操作事件，便于日后的查询、审计和回溯。 支持审计的关键操作列表 表云审计服务支持的SWR操作列表 操作名称 资源类型 事件名称 创建组织权限 usernamespaceauth createUserNamespaceAuth 修改组织权限 usernamespaceauth updateUserNamespaceAuth 删除组织权限 usernamespaceauth deleteUserNamespaceAuth 创建版本 version createVersion 修改版本 version updateVersion 删除版本 version deleteVersion 上传镜像包 image uploadImagePackage 创建组织 usernamespace createUserNamespace 删除组织 usernamespace deleteUserNamesapce 创建触发器 trigger createTrigger 修改触发器 trigger updateTrigger 删除触发器 trigger deleteTrigger 创建仓库权限 userrepositoryauth createUserRepositoryAuth 修改仓库权限 userrepositoryauth updateUserRepositoryAuth 删除仓库权限 userrepositoryauth deleteUserRepositoryAuth 创建镜像仓库 imagerepository createImageRepository 修改镜像仓库 imagerepository updateImageRepository 删除镜像仓库 imagerepository deleteImageRepository 删除镜像版本 imagetag deleteImageTag 生成登录指令 dockerlogincmd createDockerConfig 创建共享镜像 imagerepositoryaccessdomain createImageRepositoryAccessDomain 修改共享镜像 imagerepositoryaccessdomain updateImageRepositoryAccessDomain 删除共享镜像 imagerepositoryaccessdomain deleteImageRepositoryAccessDomain