参数 参数说明 annotations 用于console展示，其中service.protal.kubernetes.io/accessip代表ELB实例的IP及暴露的端口号。service.protal.kubernetes.io/type固定为LoadBalancer。

本文主要介绍权限类问题。 如果不配置集群管理权限，是否可以使用kubectl命令呢？ 使用kubectl命令无需经过IAM认证，因此理论上不配置集群管理（IAM）权限是可以使用kubectl命令的。但前提是需要获取具有命名空间权限的kubectl配置文件（kubeconfig），以下场景认证文件传递过程中均存在安全泄露风险，应在实际使用中注意。 场景一 如果某IAM子用户先配置了集群管理权限和命名空间权限，然后在界面下载kubeconfig认证文件。后面再删除集群管理权限（保留命名空间权限），依然可以使用kubectl来操作Kubernetes集群。因此如需彻底删除用户权限，必须同时删除该用户的集群管理权限和命名空间权限。 场景二 如果某IAM用户拥有一定范围的集群管理权限和命名空间权限，然后在界面下载kubeconfig认证文件。此时CCE根据用户信息的权限判断kubectl有权限访问哪些Kubernetes资源，即哪个用户获取的kubeconfig文件，kubeconfig中就拥有哪个用户的认证信息，任何人都可以通过这个kubeconfig文件访问集群

操作名称 资源类型 事件名称 创建用户委托 集群 createUserAgencies 创建集群 集群 createCluster 创建包周期集群 集群 createCluster/createPeriodicCluster 更新集群描述 集群 updateCluster 升级集群 集群 clusterUpgrade 删除集群 集群 claimCluster/deleteCluster 下载集群证书 集群 getClusterCertByUID 绑定、解绑eip 集群 operateMasterEIP 集群休眠唤醒、节点纳管重置（V2） 集群 operateCluster 集群休眠（V3） 集群 hibernateCluster 集群唤醒（V3） 集群 awakeCluster 按需集群规格变更 集群 resizeCluster 包周期集群规格变更 集群 resizePeriodCluster 修改集群配置 集群 updateConfiguration 创建节点池 节点池 createNodePool 更新节点池 节点池 updateNodePool 删除节点池 节点池 claimNodePool 迁移节点池 节点池 migrateNodepool 修改节点池配置 节点池 updateConfiguration 创建节点 节点 createNode 创建包周期节点 节点 createPeriodNode 删除集群下所有节点 节点 deleteAllHosts 删除单个节点 节点 deleteOneHost/claimOneHost 更新节点描述 节点 updateNode 创建插件实例 插件实例 createAddonInstance 删除插件实例 插件实例 deleteAddonInstance 上传模板 模板 uploadChart 更新模板 模板 updateChart 删除模板 模板 deleteChart 创建模板实例 模板实例 createRelease 升级模板实例 模板实例 updateRelease 删除模板实例 模板实例 deleteRelease 创建ConfigMap K8S资源 createConfigmaps 创建DaemonSet K8S资源 createDaemonsets 创建Deployment K8S资源 createDeployments 创建Event K8S资源 createEvents 创建Ingress K8S资源 createIngresses 创建Job K8S资源 createJobs 创建namespace K8S资源 createNamespaces 创建Node K8S资源 createNodes 创建PersistentVolumeClaim K8S资源 createPersistentvolumeclaims 创建Pod K8S资源 createPods 创建ReplicaSet K8S资源 createReplicasets 创建ResourceQuota K8S资源 createResourcequotas 创建密钥 K8S资源 createSecrets 创建服务 K8S资源 createServices 创建StatefulSet K8S资源 createStatefulsets 创建卷 K8S资源 createVolumes 删除ConfigMap K8S资源 deleteConfigmaps 删除DaemonSet K8S资源 deleteDaemonsets 删除Deployment K8S资源 deleteDeployments 删除Event K8S资源 deleteEvents 删除Ingress K8S资源 deleteIngresses 删除Job K8S资源 deleteJobs 删除Namespace K8S资源 deleteNamespaces 删除Node K8S资源 deleteNodes 删除Pod K8S资源 deletePods 删除ReplicaSet K8S资源 deleteReplicasets 删除ResourceQuota K8S资源 deleteResourcequotas 删除Secret K8S资源 deleteSecrets 删除Service K8S资源 deleteServices 删除StatefulSet K8S资源 deleteStatefulsets 删除卷 K8S资源 deleteVolumes 替换指定的ConfigMap K8S资源 updateConfigmaps 替换指定的DaemonSet K8S资源 updateDaemonsets 替换指定的Deployment K8S资源 updateDeployments 替换指定的Event K8S资源 updateEvents 替换指定的Ingress K8S资源 updateIngresses 替换指定的Job K8S资源 updateJobs 替换指定的Namespace K8S资源 updateNamespaces 替换指定的Node K8S资源 updateNodes 替换指定的PersistentVolumeClaim K8S资源 updatePersistentvolumeclaims 替换指定的Pod K8S资源 updatePods 替换指定的Replicaset K8S资源 updateReplicasets 替换指定的ResourceQuota K8S资源 updateResourcequotas 替换指定的Secret K8S资源 updateSecrets 替换指定的Service K8S资源 updateServices 替换指定的Statefulset K8S资源 updateStatefulsets 替换指定的状态 K8S资源 updateStatus 上传组件模板 K8S资源 uploadChart 更新组件模板 K8S资源 updateChart 删除组件模板 K8S资源 deleteChart 创建模板应用 K8S资源 createRelease 更新模板应用 K8S资源 updateRelease 删除模板应用 K8S资源 deleteRelease

操作场景 暂时不需要使用集群时，为节省集群管理费用，建议您将集群设置为休眠状态。 集群休眠后，将无法在此集群上创建和管理工作负载等资源。 休眠中的集群可以快速唤醒，正常使用。 集群休眠操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”。 步骤 2 单击待休眠集群后的“更多 > 集群休眠”。 步骤 3 在弹出的集群休眠提示框中，查看风险提示，单击“是”，等待集群完成休眠。 须知： 按需付费集群休眠后，将暂停收取控制节点资源费用。 集群休眠后，集群所属的工作节点（ECS）、绑定的弹性IP、带宽等资源仍将按各自的计费方式进行收费。如需关机节点，请在集群休眠提示框中勾选“关机集群下所有节点”或参见节点关机。 步骤 4 当集群状态由“休眠中”变为“休眠”时，即完成休眠操作。 集群唤醒操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”。 步骤 2 单击待唤醒集群后的“更多 > 集群唤醒”。 步骤 3 在弹出的集群唤醒提示框中，单击“是”，等待集群完成唤醒。 步骤 4 当集群状态由“唤醒中”变为“正常”时，即完成唤醒操作。 说明：集群唤醒后，将继续收取控制节点资源费用。

操作场景 云平台提供的云监控，可以对节点运行状态进行日常监控。您可以通过管理控制台，直观地查看节点的各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，云监控显示的是当前时间5～10分钟前的节点状态。如果您的节点刚刚创建完成，请等待5～10分钟后查看监控数据。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”。 步骤 2 单击待监控节点后的“监控”，系统会链接到云监控控制台，查看节点监控信息。

CCE权限管理是在统一身份认证服务（IAM）与Kubernetes的角色访问控制（RBAC）的能力基础上，打造的细粒度权限管理功能，支持基于统一身份认证（IAM）的细粒度权限控制和IAM Token认证，支持集群级别、命名空间级别的权限控制，帮助用户便捷灵活的对租户下的IAM用户、用户组设定不同的操作权限。 如果您需要对已购买的CCE集群及相关资源进行精细的权限管理，例如限制不同部门的员工拥有部门内资源的细粒度权限，您可以使用CCE权限管理提供的增强能力进行多维度的权限管理。 本章节将介绍CCE权限管理机制及其涉及到的基本概念。如果当前帐号已经能满足您的要求，您可以跳过本章节，不影响您使用CCE服务的其它功能。 CCE支持的权限管理能力 CCE的权限管理包括“集群权限”和“命名空间权限”两种能力，能够从集群和命名空间层面对用户组或用户进行细粒度授权，具体解释如下： 集群权限：是基于IAM系统策略的授权，可以通过用户组功能实现IAM用户的授权。用户组是用户的集合，通过集群权限设置可以让某些用户组操作集群（如创建/删除集群、节点、节点池、模板、插件等），而让某些用户组仅能查看集群。 集群权限涉及CCE非Kubernetes API，支持IAM细粒度策略、企业项目管理相关能力。 命名空间权限：是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。同时CCE基于开源能力进行了增强，可以支持基于IAM用户或用户组粒度进行RBAC授权、IAM token直接访问API进行RBAC认证鉴权。 命名空间权限涉及CCE Kubernetes API，基于Kubernetes RBAC能力进行增强，支持对接IAM用户/用户组进行授权和认证鉴权，但与IAM细粒度策略独立。 注意：“集群权限”仅针对与集群相关的资源（如创建/删除集群、节点、节点池、模板、插件等）有效，您必须确保同时配置了“命名空间权限”，才能有操作Kubernetes资源（如工作负载、Service等）的权限。 统一身份认证服务（IAM） 统一身份认证（Identity and Access Management，简称IAM）是提供权限管理的基础服务，可以帮助您安全地控制服务和资源的访问权限。 IAM的优势：对资源可进行精细访问控制 您注册后，系统自动创建帐号，帐号是资源的归属以及使用计费的主体，对其所拥有的资源具有完全控制权限，可以访问所有的云服务。 如果您在购买了多种资源，例如弹性云主机、云硬盘、裸金属服务器等，您的团队或应用程序需要使用您在中的资源，您可以使用IAM的用户管理功能，给员工或应用程序创建IAM用户，并授予IAM用户刚好能完成工作所需的权限，新创建的IAM用户可以使用自己单独的用户名和密码登录。IAM用户的作用是多用户协同操作同一帐号时，避免分享帐号的密码。 Kubernetes的角色访问控制（RBAC） Kubernetes基于角色的访问控制（RoleBased Access Control，即”RBAC”）使用”rbac.authorization.k8s.io” API Group实现授权决策，允许管理员通过Kubernetes API动态配置策略。详情请参见命名空间权限。

ccehpacontroller插件是一款CCE自研的插件，能够基于CPU利用率、内存利用率等指标，对无状态工作负载进行弹性扩缩容。 主要功能 支持按照当前实例数的百分比进行扩缩容。 支持设置一次扩缩容的最小步长。 支持按照实际指标值执行不同的扩缩容动作。 约束与限制 仅支持v1.15及以上版本的CCE集群安装本插件。 安装本插件后，还需要安装prometheus（1.1.0及以上版本），用于指标的采集。 安装插件 安装本插件后，可在“弹性伸缩”页面的“工作负载伸缩”页签下，创建CustomedHPA策略，具体请参见参见创建工作负载弹性伸缩（HPA）。 步骤 1 在CCE控制台中，单击左侧导航栏的“插件管理”，在“插件市场”页签下，单击“ccehpacontroller”下的“安装插件”按钮。 步骤 2 在安装插件页面，选择安装的集群和插件版本，单击“下一步：规格配置”。 步骤 3 该插件可配置“单实例”或“高可用”规格，选择后单击“安装”。 待插件安装完成后，单击“返回”，在“插件实例”页签下，选择对应的集群，可查看到运行中的实例，这表明该插件已在当前集群的各节点中安装。 升级插件 步骤 1 登录CCE控制台，在左侧导航栏中选择“插件管理”，在“插件实例”页签下，选择对应的集群，单击“ccehpacontroller”下的“ 升级”。 说明： 如果升级按钮处于冻结状态，则说明当前插件版本是最新的版本，不需要进行升级操作。 升级“ccehpacontroller”插件时，会替换原先节点上的旧版本的“ccehpacontroller”插件，安装最新版本的“ccehpacontroller”插件以实现功能的快速升级。 步骤 2 在基本信息页面选择插件版本，单击“下一步”。 步骤 3 参考安装插件中参数说明配置参数后，单击“升级”即可升级“ccehpacontroller”插件。 卸载插件 步骤 1 在CCE控制台中，单击左侧导航栏的“插件管理”，在“插件实例”页签下，选择对应的集群，单击“ccehpacontroller”下的“卸载”。 步骤 2 在弹出的窗口中，单击“是”，可卸载该插件。

操作场景 CCE集群支持两种添加节点的方式： 购买节点和纳管节点，纳管节点是指将“已购买的弹性云主机（ECS）加入到CCE集群中”，所纳管节点的计费模式支持“按需计费”和“包年/包月”两种类型。 本节将指导您通过CCE控制台纳管已有虚拟机节点。 须知： 纳管时，会将所选弹性云主机的操作系统重置为CCE提供的标准镜像，以确保节点的稳定性，请选择操作系统及重置后的登录方式。 所选弹性云主机挂载的系统盘、数据盘都会在纳管时被格式化，请确保信息已备份。 纳管过程中，请勿在弹性云主机控制台对所选虚拟机做任何操作。 约束与限制 目前仅支持在CCE集群中纳管同一Region下的虚拟机节点（含GPU加速型）。 集群版本需V1.13及以上。 集群开启IPv6后，只支持纳管所在的子网开启了IPv6功能的节点；集群未开启IPv6，只支持纳管所在的子网未开启IPv6功能的节点。 原虚拟机节点创建时若已设置密码或密钥，需等待虚拟机节点可用10分钟后方可纳管。 前提条件 支持纳管符合如下条件的弹性云主机： 待纳管节点已购买成功，且必须状态为“运行中“，且未被其他集群所使用。 纳管节点需与CCE集群在同一虚拟私有云内（若集群版本低于1.13.10，纳管节点还需要与CCE集群在同一子网内）。 需挂载数据盘，数据盘需满足有且仅有1块，且容量不少于100GB，多余的数据盘请先卸载。 节点规格要求：CPU必须2核及以上，内存必须4GB及以上，网卡有且仅能有一个。 操作步骤 步骤 1 登录CCE控制台，单击左侧导航栏的“资源管理 > 集群管理”，单击待纳管集群下的“更多 > 纳管节点”。 步骤 2 （可选）登录CCE控制台，单击左侧导航栏的“资源管理 > 节点管理”，选择节点所在的集群后，单击页面右上角的“纳管节点”。 步骤 3 在打开的界面中展示了当前符合要求的弹性云主机。如果不符合纳管要求时会显示相应的红色提示图标，列表下方会有被过滤的弹性云主机数量，鼠标移动到后方的 可以查看具体原因。 步骤 4 勾选需要纳管的弹性云主机，单击“下一步”。 步骤 5 在“待纳管节点”页面中，按照界面提示选择“登录方式”，单击“高级配置”后的按钮，可以设置“最大实例数”、“自定义镜像仓库”和“资源分配”，然后单击“提交”。 步骤 6 在弹出的“信息确认”页面中确认信息无误后，单击“确定”。 系统将提示节点纳管请求提交成功。 移除节点 移除节点指从集群中移除“弹性云主机（简称ECS）”，并不会删除ECS和卸载已安装的CCE相关组件。 如需清理CCE相关组件，请前往ECS控制台将机器关机后，点击“更多 > 镜像/磁盘 > 重装系统”操作。 步骤 1 在CCE控制台中，选择导航栏的“资源管理 > 节点管理”，在节点列表中，单击待移除节点后方“操作”栏中的“更多 > 移除”。 步骤 2 在弹出的“移除纳管节点”弹框中，输入REMOVE，确认移除该节点，单击“确定”，即可移除纳管的节点。 说明：以上步骤仅从集群中移除了节点（即弹性云主机ECS），并不会删除节点和已安装的CCE相关组件。请根据界面中展示的步骤清理CCE相关资源。

使用命名空间 创建工作负载时，您可以选择对应的命名空间，实现资源或租户的隔离。 查询工作负载时，选择对应的命名空间，查看对应命名空间下的所有工作负载。 命名空间使用实践 按照不同环境划分命名空间 一般情况下，工作负载发布会经历开发环境、联调环境、测试环境，最后到生产环境的过程。这个过程中不同环境部署的工作负载相同，只是在逻辑上进行了定义。分为两种做法： − 分别创建不同集群。 不同集群之间，资源不能共享。同时，不同环境中的服务互访需要通过负载均衡才能实现。 − 不同环境创建对应命名空间。 同个命名空间下，通过服务名称（Service name）可直接访问。跨命名空间的可以通过服务名称、命名空间名称访问。 例如下图，开发环境/联调环境/测试环境分别创建了命名空间。 图不同环境创建对应命名空间 按照应用划分命名空间 对于同个环境中，应用数量较多的情况，建议进一步按照工作负载类型划分命名空间。例如下图中，按照APP1和APP2划分不同命名空间，将不同工作负载在逻辑上当做一个工作负载组进行管理。且同一个命名空间内的工作负载可以通过服务名称访问，不同命名空间下的通过服务名称、命名空间名称访问。 图按照工作负载划分命名空间 删除命名空间 删除命名空间会删除该命名空间下所有的资源（如工作负载，短任务、配置项等），请谨慎操作。 步骤 1 登录CCE控制台，在左侧导航栏中选择“ 资源管理 > 命名空间”。 步骤 2 在“集群”下拉框中，选择命名空间所在的集群。 步骤 3 选中待删除的命名空间，单击“删除”。 根据系统提示进行删除操作。系统内置的命名空间不支持删除。

本文主要介绍插件检查 检查项内容 当前检查项包括以下内容： 检查插件状态是否正常 检查插件是否支持目标版本 解决方案 问题场景一：插件状态异常 请登录CCE控制台，前往“集群信息>运维>插件管理”处查看并处理处于异常状态的插件。 问题场景二：目标集群版本不支持当前插件版本 检查到该插件由于兼容性等问题无法随集群自动升级，请您登陆CCE控制台，在“集群信息>运维>插件管理”处进行手动升级。

本文主要介绍 节点Ready检查。 检查项内容 检查集群内节点是否Ready。 解决方案 问题场景一：节点状态显示不可用 请登录CCE控制台，前往“节点管理”，筛选出状态不可用的节点后，请参照控制台提供的“修复建议”修复该节点后重试检查。 问题场景二：节点状态与实际不符节点状态与实际不符可能存在两种情况： 控制台“节点管理”处显示正常，但检查结果仍然提示该节点NotReady。请重试检查。 控制台“节点管理”处无该节点，但检查结果显示集群中仍然存在该节点。请联系技术人员支持。

七层负载均衡（Ingress）是采用了共享型弹性负载均衡和独享型弹性负载均衡，在四层负载均衡访问方式的基础上支持了URI配置，通过对应的URI将访问流量分发到对应的服务。同时，服务根据不同URI实现不同的功能。 七层负载均衡访问方式由弹性负载均衡ELB服务地址、设置的访问端口、定义的URI组成，例如：10.117.117.117:80/helloworld。 通过配置公网类型和私网类型的负载均衡实例可以实现公网的七层路由转发和内网（同一VPC内）的七层路由转发。

使用webterminal插件连接集群 步骤 1 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件管理”。 步骤 2 在右侧找到webterminal，单击“访问”。 收缩webterminal权限 webterminal插件安装后，其kubectl默认使用clusteradmin ClusterRole权限，能够操作该集群k8s资源，若需手动配置为其他类型权限，可通过kubectl edit clusterrolebinding webterminal修改webterminal ServiceAccount绑定其他权限的ClusterRole。 ClusterRole、ClusterRoleBinding相关配置说明请参见命名空间权限（Kubernetes RBAC授权）。 注意 手动配置的webterminal权限在webterminal插件升级时存在被重置风险，需注意做好备份在插件升级后重新配置。 使用kubectl修改clusterrolebinding配置需确保当前kubectl有修改clusterrolebinding资源操作权限。 版本记录 CCE插件版本记录 插件版本 支持的集群版本 社区版本（仅1.17及以上版本集群支持） 1.1.12 /v1.(15171921)./ 0.6.6 1.1.6 /v1.(151719)./ 0.6.6 1.1.5 /v1.(151719)./ 0.6.6 1.1.3 /v1.(1719)./ 0.6.6 1.0.6 /v1.(1517)./ 0.6.6 1.0.5 /v1.(911131517)./ 0.6.6

defaulttokenxxxxx Kubernetes为每个命名空间默认创建一个名为default的ServiceAccount，defaulttokenxxxxx为这个ServiceAccount的密钥，xxxxx是随机数。 $ kubectl get sa NAME SECRETS AGE default 1 30d $ kubectl describe sa default Name: default Namespace: default Labels: Annotations: Image pull secrets: Mountable secrets: defaulttokenvssmw Tokens: defaulttokenvssmw Events:

本文主要介绍 删除集群（按需计费）。 操作场景 本章节以计费模式为“按需计费”的CCE集群为例，介绍如何删除集群。 包周期的集群支持退订操作，详情请参见退订释放集群（包年/包月）。 注意事项 删除集群时，纳管以及包周期节点将会从集群中移除并重装系统，节点原有的登录密码将会失效，请重新设置节点密码。 删除集群不会删除集群下包周期的资源，相关资源在集群删除后将会继续计费，请妥善处理。 删除集群会删除集群下的节点（纳管节点不会被删除）、节点挂载的数据盘、工作负载与服务，相关业务将无法恢复。在执行操作前，请确保相关数据已完成备份或者迁移，删除完成后数据无法找回，请谨慎操作。 部分不是在CCE中创建的资源不会删除： 纳管的节点（仅删除在CCE中创建的节点） Service和Ingress关联的ELB实例（仅删除自动创建的ELB实例） 手动创建PV关联的云存储/导入的云存储（仅删除PVC自动创建的云存储） 处于休眠状态的集群无法直接删除，请将集群唤醒后重试。 集群不可用时删除集群，存储会残留。 集群版本为v1.13.10及之前版本时，请勿在ELB服务手动修改监听器名称和后端服务器名称，否则删除集群会有资源残留。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理”。 步骤 2 单击待删除集群后的。 图 删除集群 步骤 3 在弹出的“删除集群”窗口中，根据系统提示，勾选删除集群时需要释放的资源。 删除集群下工作负载挂载的云存储 说明 删除集群中的存储卷声明和存储卷，存在如下约束： 1. 底层存储依据指定的回收策略进行删除。 2. 对象存储桶下存在大量文件（超过1000）时，请先手动清理桶内文件后再执行集群删除操作。 删除集群下负载均衡ELB等网络资源（仅删除自动创建的ELB资源） 步骤 4 单击“是”，开始执行删除集群操作。 删除集群需要花费1~3分钟，请耐心等候。

操作场景 在CCE集群中删除节点会将该节点以及节点内运行的业务都销毁，删除前请确认您的正常业务运行不受影响，请谨慎操作。 约束与限制 删除CCE集群时，ECS节点也将一起删除，暂不支持删除CCE集群而保留ECS节点。 对于包周期（包年/包月）预付费的ECS节点不能直接删除，请通过页面右上角用户名下的“我的订单”，执行资源退订操作。 注意事项 删除节点会涉及Pod迁移，可能会影响业务，请在业务低峰期操作。 操作过程中可能存在非预期风险，请提前做好相关的数据备份。 操作过程中，后台会把当前节点设置为不可调度状态。 删除节点仅能移除工作节点，不会移除控制节点。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”，单击节点后的“更多 > 删除”。 步骤 2 在弹出的“删除节点”窗口中输入 DELETE ，单击“是”，等待完成节点删除。 说明： 删除节点后，原有节点上的工作负载实例会自动迁移至其他可用节点。 节点上绑定的磁盘和EIP如果属于重要资源请先解绑，否则会被级联删除。 释放ECS实例仅释放“按需计费”的ECS实例。

本文主要介绍 K8S废弃资源检查。 检查项内容 检查集群是否存在对应版本已经废弃的资源。 解决方案 问题场景：1.25及以上集群废弃了PodSecurityPolicy资源对象 在集群中通过kubectl get psp A命令获取当前集群中已存在的PSP对象。 如果您并未使用这两个对象，可以直接点击确定按钮跳过该检查，若您存在使用该对象的情况，请将PSP相应功能升级至PodSecurity安全准入能力中。

本文主要介绍Helm v2 Release转换成Helm v3 Release。 背景介绍 当前CCE已全面支持Helm v3版本，用户可通过本指南将已创建的v2 release转换成v3 release，从而更好地使用v3的特性。因Helm v3底层相对于Helm v2来说，一些功能已被弃用或重构，因此转换会有一定风险，需转换前进行模拟转换。 该指南参考社区文档： 注意事项： Helm v2 release信息存储在configmap中，Helm v3 release信息存储在secrets中。 若用户通过前端console操作，在获取实例、更新实例等操作中CCE会自动尝试转换v2模板实例到v3模板实例。若用户仅在后台操作实例，需通过该指南进行转换操作。 转换流程（不使用Helm v3客户端） 步骤 1 在CCE节点上下载helm 2to3 转换插件。 wget 2to30.10.2linuxamd64.tar.gz 步骤 2 解压插件包。 tar xzvf helm2to30.10.2linuxamd64.tar.gz 步骤 3 模拟转换。 以testconvert实例为例，执行以下命令进行转换的模拟。若出现以下提示，说明模拟转换成功。 ./2to3 convert dryrun tilleroutcluster s configmaps testconvert NOTE: This is in dryrun mode, the following actions will not be executed. Run without dryrun to take the actions described below: Release "testconvert" will be converted from Helm v2 to Helm v3. [Helm 3] Release "testconvert" will be created. [Helm 3] ReleaseVersion "testconvert.v1" will be created. 步骤 4 执行正式转换。若出现以下提示，说明转换成功。

本文主要介绍 管理节点污点（taint）。 污点（taint）能够使节点排斥某些特定的Pod，从而避免Pod调度到该节点上。 污点 节点污点是与“效果”相关联的键值对。以下是可用的效果： NoSchedule：不能容忍此污点的 Pod 不会被调度到节点上；现有 Pod 不会从节点中逐出。 PreferNoSchedule：Kubernetes 会尽量避免将不能容忍此污点的 Pod 安排到节点上。 NoExecute：如果 Pod 已在节点上运行，则会将该 Pod 从节点中逐出；如果尚未在节点上运行，则不会将其安排到节点上。 使用kubectl taint node nodename 命令可以给节点增加污点，如下所示。 $ kubectl get node NAME STATUS ROLES AGE VERSION 192.168.10.170 Ready 73d v1.19.8r1CCE21.4.1.B003 192.168.10.240 Ready 4h8m v1.19.8r1CCE21.6.1.2.B001 $kubectl taint node 192.168.10.240 key1value1:NoSchedule node/192.168.10.240 tainted 通过describe命名和get命令可以查看到污点的配置。 $ kubectl describe node 192.168.10.240 Name: 192.168.10.240 ... Taints: key1value1:NoSchedule .. $ kubectl get node 192.168.10.240 oyaml apiVersion: v1 ... spec: providerID: 06a5ea3a048211ec8e1a0255ac101dc2 taints: effect: NoSchedule key: key1 value: value1 ... 去除污点可以使用如下命令，在NoSchedule后加一个“”。 $ kubectl taint node 192.168.10.240 key1value1:NoSchedule node/192.168.10.240 untainted $ kubectl describe node 192.168.10.240 Name: 192.168.10.240 ... Taints: ... 在CCE控制台上同样可以管理节点的污点，且可以批量操作。 步骤 1 登录CCE控制台。 步骤 2 单击集群名称进入集群，在左侧选择“节点管理”，勾选节点，单击左上方“标签与污点管理”。 步骤 3 在弹出的窗口中，在“批量操作”下方单击“新增批量操作”，单击“添加/更新”，选择“污点(Taints)”。 填写需要增加污点的“键”和“值”，选择污点的效果，单击“确定”。 图 添加污点 步骤 4 污点添加成功后，再次进入该界面，在节点数据下可查看到已经添加的污点。

本文主要介绍通过控制台使用Nginx Ingress。 前提条件 Ingress为后端工作负载提供网络访问，因此集群中需提前部署可用的工作负载。若您无可用工作负载，可参考创建无状态负载(Deployment)、创建有状态负载(StatefulSet)或创建守护进程集(DaemonSet)部署工作负载。 添加Nginx Ingress时，需在集群中提前安装nginxingress插件。 注意事项 不建议在ELB服务页面修改ELB实例的任何配置，否则将导致服务异常。 如果您已经误操作，请卸载Nginx Ingress插件后重装。 Ingress转发策略中注册的URL需与后端应用暴露的URL一致，否则将返回404错误。 负载均衡实例需与当前集群处于相同VPC 且为相同公网或私网类型。 负载均衡实例需要拥有至少两个监听器配额，且端口80和443没有被监听器占用。 添加Nginx Ingress 本节以Nginx作为工作负载并添加Nginx Ingress为例进行说明。 步骤 1 登录CCE控制台，单击集群名称进入集群。 步骤 2 选择左侧导航栏的“服务发现”，在右侧选择“路由”页签，单击右上角“创建路由”。 步骤 3 设置Ingress参数。 名称： 自定义Ingress名称，例如nginxingressdemo。 命名空间： 选择需要添加Ingress的命名空间。 对接Nginx： 集群中已安装nginxingress插件后显示此选项，未安装nginxingress模板时本选项不显示。 单击开启后将对接nginxingress提供7层访问，可配置如下参数。 TLS配置 ：nginxingress支持HTTP和HTTPS，安装nginxingress时预留的监听端口，默认HTTP为80，HTTPS为443。使用HTTPS需要配置相关证书。 服务器证书：创建HTTPS协议监听时需要绑定IngressTLS类型的密钥证书，以支持HTTPS数据传输加密认证，创建密钥的方法请参见创建密钥。 SNI：SNI（Server Name Indication）是TLS的扩展协议，在该协议下允许同一个IP地址和端口号下对外提供多个基于TLS的访问域名，且不同的域名可以使用不同的安全证书。开启SNI后，允许客户端在发起TLS握手请求时就提交请求的域名信息。负载均衡收到TLS请求后，会根据请求的域名去查找证书：若找到域名对应的证书，则返回该证书认证鉴权；否则，返回缺省证书（服务器证书）认证鉴权。 转发策略配置： 请求的访问地址与转发规则匹配时（转发规则由域名、URL组成），此请求将被转发到对应的目标Service处理。单击“添加转发策略”按钮可添加多条转发策略。 域名：实际访问的域名地址。请确保所填写的域名已注册并备案，在Ingress创建完成后，将域名与自动创建的负载均衡实例的IP（即Ingress访问地址的IP部分）绑定。一旦配置了域名规则，则必须使用域名访问。 URL：需要注册的访问路径，例如：/healthz。社区v1.2.0版本（对应CCE nginxingress插件2.1.0版本）后修复CVE202125745( 目标服务名称：请选择已有Service或新建Service。页面列表中的查询结果已自动过滤不符合要求的Service。 目标服务访问端口：可选择目标Service的访问端口。 操作：可单击“删除”按钮删除该配置。 说明 Nginx Ingress的URL匹配规则是基于“/”符号分隔的路径前缀匹配，并区分大小写。只要访问路径以“/”符号分隔后的子路径匹配此前缀，均可正常访问，但如果该前缀仅是子路径中的部分字符串，则不会匹配。例如URL设置为/healthz，则匹配/healthz/v1，但不匹配/healthzv1。 注解 ：以“key: value”形式设置，可通过Annotations查询nginxingress支持的配置。社区v1.2.0版本（对应CCE nginxingress插件2.1.0版本）后修复CVE202125746( 步骤 4 配置完成后，单击“创建”。 创建完成后，在Ingress列表可查看到已添加的Ingress。

本文主要介绍DNS概述。 CoreDNS介绍 创建集群时会安装CoreDNS插件，CoreDNS是用来做集群内部域名解析。 在kubesystem命名空间下可以查看到CoreDNS的Pod。 $ kubectl get po namespacekubesystem NAME READY STATUS RESTARTS AGE coredns7689f8bdf295rk 1/1 Running 0 9m11s coredns7689f8bdfh7n68 1/1 Running 0 11m CoreDNS安装成功后会成为DNS服务器，当创建Service后，CoreDNS会将Service的名称与IP记录起来，这样Pod就可以通过向CoreDNS查询Service的名称获得Service的IP地址。 访问时通过nginx..svc.cluster.local访问，其中nginx为Service的名称，为命名空间名称，svc.cluster.local为域名后缀，在实际使用中，在同一个命名空间下可以省略.svc.cluster.local，直接使用ServiceName即可。 使用ServiceName的方式有个主要的优点就是可以在开发应用程序时可以将ServiceName写在程序中，这样无需感知具体Service的IP地址。 CoreDNS插件安装后也有一个Service，在kubesystem命名空间下，如下所示。 $ kubectl get svc n kubesystem NAME TYPE CLUSTERIP EXTERNALIP PORT(S) AGE coredns ClusterIP 10.247.3.10 ​ 默认情况下，其他Pod创建后，会将coredns Service的地址作为域名解析服务器的地址写在Pod的 /etc/resolv.conf 文件中，创建一个Pod，查看/etc/resolv.conf文件，如下所示。 $ kubectl exec test016cbbf97b78krj6h it /bin/sh / cat /etc/resolv.conf nameserver 10.247.3.10 search default.svc.cluster.local svc.cluster.local cluster.local options ndots:5 timeout singlerequestreopen 集群内域名解析示例图

本文主要介绍模版管理概述。 CCE提供了管理Helm Chart（模板）的控制台，能够帮助您方便的使用模板部署应用，并在控制台上管理应用。CCE使用的Helm版本为v3.8.2，支持上传Helm v3语法的模板包，具体请参见通过模板部署应用。 您也可以直接使用Helm客户端直接部署应用，使用Helm客户端部署应用不受版本控制，可以使用Helm v2或v3，具体请参见通过Helm v2客户端部署应用及通过Helm v3客户端部署应用。 Helm Helm是Kubernetes的包管理器，主要用来管理Charts。Helm Chart是用来封装Kubernetes原生应用程序的一系列YAML文件。可以在您部署应用的时候自定义应用程序的一些Metadata，以便于应用程序的分发。对于应用发布者而言，可以通过Helm打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。对于使用者而言，使用Helm后不用需要编写复杂的应用部署文件，可以以简单的方式在Kubernetes上查找、安装、升级、回滚、卸载应用程序。 Helm和Kubernetes之间的关系可以如下类比： Helm Kubernetes Apt Ubuntu Yum CentOS Pip Python Helm的整体架构如下图： Kubernetes的应用编排存在着一些问题，Helm可以用来解决这些问题，如下： 管理、编辑与更新大量的Kubernetes配置文件。 部署一个含有大量配置文件的复杂Kubernetes应用。 分享和复用Kubernetes配置和应用。 参数化配置模板支持多个环境。 管理应用的发布：回滚、diff和查看发布历史。 控制一个部署周期中的某一些环节。 发布后的测试验证。

本文主要介绍Helm v2与Helm v3的差异及适配方案。 随着Helm v2 发布最终版本Helm 2.17.0，Helm v3 现在已是 Helm 开发者社区支持的唯一标准。为便于管理，建议用户尽快将模板切换至Helm v3格式。 当前社区从Helm v2演进到Helm v3，主要有以下变化： 1. 移除tiller Helm v3 使用更加简单和灵活的架构，移除了 tiller，直接通过kubeconfig连接apiserver，简化安全模块，降低了用户的使用壁垒。 2. 改进了升级策略，采用三路策略合并补丁 Helm v2 使用双路策略合并补丁。在升级过程中，会对比最近一次发布的chart manifest和本次发布的chart manifest的差异，来决定哪些更改会应用到Kubernetes资源中。如果更改是集群外带的（比如通过kubectl edit），则修改不会被Helm识别和考虑。结果就是资源不会回滚到之前的状态。 Helm v3 使用三路策略来合并补丁，Helm在生成一个补丁时，会考虑之前老的manifest的活动状态。因此，Helm在使用老的chart manifest生成新补丁时会考虑当前活动状态，并将其与之前老的 manifest 进行比对，并再比对新的 manifest 是否有改动，并进行自动补全，以此来生成最终的更新补丁。 详情及示例请见Helm官方文档： 3. 默认存储驱动程序更改为secrets Helm v2 默认情况下使用 ConfigMaps 存储发行信息，而在 Helm v3 中默认使用 Secrets。 4. 发布名称限制在namespace范围内 Helm v2 只使用tiller 的namespace 作为release信息的存储，这样全集群的release名字都不能重复。Helm v3只会在release安装的所在namespace记录对应的信息，这样release名称可在不同命名空间重用。应用和release命名空间一致。 5. 校验方式改变 Helm v3 对模板格式的校验更加严格，如Helm v3 将chart.yaml的apiVersion从v1切换到v2，针对Helm v2的chart.yaml，强要求指定apiVersion为v1。可安装Helm v3客户端后，通过执行helm lint命令校验模板格式是否符合v3规范。 适配方案 ：根据Helm官方文档 v3模板，apiVersion字段必填。 6. 废弃crdinstall Helm v3删除了crdinstall hook， 并用chart中的crds目录替换。需要注意的是，crds目录中的资源只有在release安装时会部署，升级时不会更新，删除时不会卸载crds目录中的资源。若crd已存在，则重复安装不会报错。 适配方案 ：根据Helm官方文档 当前可使用crds目录或者将crd定义单独放入chart。考虑到目前不支持使用Helm升级或删除CRD，推荐分隔chart，将CRD定义放入chart中，然后将所有使用该CRD的资源放到另一个 chart中进行管理。 7. 未通过helm创建的资源不强制update，releaes默认不强制升级 Helm v3强制升级逻辑变化，不再是升级失败后走删除重建，而是直接走put更新逻辑。因此当前CCE release升级默认使用非强制更新逻辑，无法通过Patch更新的资源将导致release升级失败。若环境存在同名资源且无Helm V3的归属标记app.kubernetes.io/managedby: Helm，则会提示资源冲突。 适配方案 ：删除相关资源，并通过Helm创建。 8. Release history数量限制更新 为避免release 历史版本无限增加，当前release升级默认只保留最近10个历史版本。 更多变化和详细说明请参见Helm官方文档 Helm v2与Helm v3的区别： Helm v2如何迁移到Helm v3：

本文主要介绍管理节点伸缩策略。 操作场景 节点伸缩策略创建完成后，可对创建的策略进行删除、编辑、停用、启用、克隆等操作。 查看节点伸缩策略 您可以查看节点伸缩策略的关联节点池、执行规则和伸缩历史，参照界面中的提示有针对性的解决异常问题。 步骤 1 在CCE控制台，单击集群名称进入集群。 步骤 2 单击左侧导航栏的“节点伸缩”，单击要查看的策略前方的。 步骤 3 在展开的区域中，可以看到该策略的关联节点池、执行规则和伸缩历史页签，若策略异常，请参照界面中的报错提示进行定位处理。 说明 您还可以在节点池管理中关闭或开启弹性扩缩容，登录CCE控制台，在左侧导航栏中单击“资源管理 > 节点池管理”，单击要操作的节点池右上角的“编辑”，在弹出的“编辑节点池”窗口中的可以看到“弹性扩缩容”按钮，并可设置节点数上下限和弹性缩容冷却时间。 删除节点伸缩策略 步骤 1 在CCE控制台，单击集群名称进入集群。 步骤 2 单击左侧导航栏的“节点伸缩”，单击要删除的策略后方的“更多 > 删除”。 步骤 3 在弹出的“删除节点伸缩策略”窗口中，确认是否删除。 步骤 4 单击“是”按钮即完成删除操作。

参数 参数说明 策略名称 新建策略的名称，请自定义。 命名空间 请选择工作负载所在的命名空间。 关联工作负载 请选择要设置HPA策略的工作负载。 实例范围 请输入最小实例数和最大实例数。策略触发时，工作负载实例将在此范围内伸缩。 冷却时间 请输入缩容和扩容的冷却时间，单位为分钟， 缩容扩容冷却时间不能小于1分钟 。 该设置仅在1.15及以上版本的集群中显示，1.13版本的集群不支持该设置。 策略成功触发后，在此缩容/扩容冷却时间内，不会再次触发缩容/扩容，目的是等待伸缩动作完成后在系统稳定且集群正常的情况下进行下一次策略匹配。 策略规则 策略规则可基于系统指标或自定义指标。 指标：可选择“CPU利用率”或“内存利用率”。 说明 利用率 工作负载Pod的实际使用量 / 申请量。 期望值：请输入期望资源平均利用率。期望值表示所选指标的期望值，通过向上取整(当前指标值 / 期望值 × 当前实例数)来计算需要伸缩的实例数。阈值：请输入缩容和扩容阈值。当指标值大于缩容阈值且小于扩容阈值时，不会触发扩容或缩容。 阈值仅在1.15及以上版本的集群中支持 。 自定义策略（仅在1.15及以上版本的集群中支持） 自定义指标名称：自定义指标的名称，输入时可根据联想值进行选择。 指标来源：在下拉框中选择对象类型，可选择“Pod”。 期望值：Pod支持指标为平均值。br伸缩范围：当指标值处于伸缩范围中时才会触发伸缩 说明 HPA在计算扩容、缩容实例数时，会选择最近5分钟内实例数的最大值。

本文主要介绍 Master节点SSH联通性检查。 检查项内容 检查当前CCE是否能连接至您的Master节点。 解决方案 请通过工单方式，联系技术支持人员排查。

本文主要介绍实例缩容优先级说明。 缩容优先级 Pod在缩容时，会按照如下优先级缩容： 1. 未被调度的Pod 2. Pod Pending < Pod Unknown < Pod Running 3. Not ready < ready 4. 带有特定标签的Pod，cce.io/priordeletion 5. Doubled up < not doubled up 优先缩容Pod多的节点 6. 缩容Ready时间较长的Pod 7. 重启次数多的Pod 8. createtimestamp较前的Pod 优先缩容老实例生效说明 优先缩容老实例 不生效 ： 按照上述优先级，如果节点数为2（同规格），Deployment实例数为5时（可以是任意奇数个），此时A节点分布3个Pod，B节点分布2个Pod；如果此时将实例数缩容至3个，上述步骤中会先执行5，此时根据Pod判断，会确定缩容的节点为A；再执行6，缩容一个老实例后发现目前已无老实例，且限定了缩容节点为A，此时会缩容一个新实例。 优先缩容老实例 生效 ：如果节点数为2（同规格），Deployment实例数为6时（可以是任意偶数个），此时A、B节点均分布3个Pod；如果此时将实例数缩容至4个，此时代码会判定不符合5的条件，此时根据Pod判断，会确定缩容的节点为A、B；再执行6，回去将两个节点上的实例排序，成功缩容两个老的实例。

本文主要介绍健康检查UDP协议安全组规则说明。 操作场景 当负载均衡协议为UDP时，健康检查也采用的UDP协议，您需要打开其后端服务器的ICMP协议安全组规则。 操作步骤 步骤 1 登录弹性云主机控制台，找到集群中的节点对应的节点，单击云主机名称，进入详情页面，记录安全组名称。 步骤 2 登录虚拟私有云控制台，在左侧导航栏单击“访问控制 > 安全组”，在界面右侧的安全组列表中单击步骤1获取的安全组名称。 步骤 3 在打开的页面中单击“入方向规则”页签，单击“添加规则”，为云主机添加入方向规则，详细配置请参见下图，单击“确定”。 说明 您只需为工作负载所在集群下的任意一个节点更改安全组规则，请添加规则即可，不要修改原有的安全组规则。 安全组需放通网段100.125.0.0/16流量。 图 添加安全组规则

本文主要介绍节点关机。 操作场景 集群中的节点关机后，该节点以及节点内的业务将停止运行，节点关机前，请先确认您的正常业务运行将不受影响，请谨慎操作。 大部分节点关机后不再收费，特殊实例（包含本地硬盘，如磁盘增强型，超高I/O型等）关机后仍然正常收费，具体请参见ECS计费模式。 约束与限制 节点关机会涉及Pod迁移，可能会影响业务，请在业务低峰期操作。 操作过程中可能存在非预期风险，请提前做好相关的数据备份。 操作过程中，后台会把当前节点设置为不可调度状态。 节点关机仅能对工作节点关机，不会对控制节点关机。 操作方法 步骤 1 登录CCE控制台，单击集群名称进入集群。 步骤 2 在左侧导航栏选择“节点管理”，在右侧单击待关机节点的名称。 步骤 3 页面跳转至弹性云主机详情页中，单击右上角的“更多 > 实例状态 > 关机”，在弹出的关机窗口中单击“是”，即可完成关机操作。 图 弹性云主机详情页

本文主要介绍同步云服务器。 操作场景 集群中的每一个节点对应一台云主机，集群节点创建成功后，您仍可以根据需求，修改云服务器的名称或变更规格。 CCE节点的部分信息是独立于弹性云主机ECS维护的，当您在ECS控制台修改云主机的名称、弹性公网IP，以及变更计费方式或变更规格后，需要通过“同步节点信息”功能将信息同步到CCE控制台相应节点中，同步后信息将保持一致。 ECS常见信息修改如下： 修改节点名称请参见修改云主机名称。 当您购买的节点规格无法满足业务需要时，可变更节点规格，升级vCPU、内存。 约束与限制 当用户节点指定了云主机名称作为K8s节点名称时，该云主机名称的修改将无法同步到CCE控制台。 操作步骤 步骤 1 登录CCE控制台。 步骤 2 单击集群名称进入集群，在左侧选择“节点管理”。 步骤 3 单击节点后的“更多 > 同步云主机”。 图 同步节点信息 同步完成后，页面右上角将会提示“同步云主机任务下发成功”。

本文主要介绍 续费集群（包年/包月）。 客户购买包周期集群后，支持续费包周期资源。 操作步骤 本节以计费模式为“包年/包月”的CCE集群为例，介绍如何为购买的集群续费。 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理”。 步骤 2 单击待续费集群后的。 图 续费集群 步骤 3 在弹出的“续费”页面中，根据系统提示进行续费操作。 说明 您已选择操作的资源（高亮显示）和其他资源有关联关系，请确认是否同时操作。 步骤 4 单击“去支付”，在打开的支付页面中核对订单金额，并选择支付方式后单击“确认付款”。 步骤 5 完成付款后，可单击“返回我的订单”或“返回续费管理”页面查看和管理订单信息。

本文主要介绍 存量节点标签与污点检查。 检查项内容 检查标签是否丢失 检查是否有异常新增的污点 检查步骤 请登录CCE控制台，前往“资源>节点管理>节点”，勾选所有节点后，单击“标签与污点管理”，查看目前节点的标签与污点。 解决方案 集群升级过程中不改变用户的标签，若您发现标签丢失或异常新增，请联系技术支持人员。 若您发现节点新增污点（node.kubernetes.io/upgrade），该节点可能为升级过程中跳过的节点，请参照重置跳过节点检查处理。 若您发现节点新增其他污点，请联系技术人员支持。