CCE通过云审计服务（Cloud Trace Service，简称CTS）为您提供云服务资源的操作记录，记录内容包括您从云管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果，供您查询、审计和回溯使用。 表 云审计服务支持的CCE操作列表 操作名称 资源类型 事件名称 创建集群 cce createCluster 更新集群 cce updateCluster 删除集群 cce deleteCluster/claimCluster 创建节点 cce createNode 添加静态节点 cce addStaticNode 更新节点 cce updateNode 删除一个主机 cce deleteOneHost 删除所有主机 cce deleteAllHosts 挂起用户资源 cce suspendUserResource 创建ConfigMap cce createConfigmaps 创建DaemonSet cce createDaemonsets 创建Deployment cce createDeployments 创建Event cce createEvents 创建Ingress cce createIngresses 创建Job cce createJobs 创建namespace cce createNamespaces 创建Node cce createNodes 创建PersistentVolumeClaim cce createPersistentvolumeclaims 创建Pod cce createPods 创建ReplicaSet cce createReplicasets 创建ResourceQuota cce createResourcequotas 创建密钥 cce createSecrets 创建服务 cce createServices 创建StatefulSet cce createStatefulsets 创建卷 cce createVolumes 删除ConfigMap cce deleteConfigmaps 删除DaemonSet cce deleteDaemonsets 删除Deployment cce deleteDeployments 删除Event cce deleteEvents 删除Ingress cce deleteIngresses 删除Job cce deleteJobs 删除Namespace cce deleteNamespaces 删除Node cce deleteNodes/claimOneHost 删除Pod cce deletePods 删除ReplicaSet cce deleteReplicasets 删除ResourceQuota cce deleteResourcequotas 删除Secret cce deleteSecrets 删除Service cce deleteServices 删除StatefulSet cce deleteStatefulsets 删除卷 cce deleteVolumes 替换指定的ConfigMap cce updateConfigmaps 替换指定的DaemonSet cce updateDaemonsets 替换指定的Deployment cce updateDeployments 替换指定的Event cce updateEvents 替换指定的Ingress cce updateIngresses 替换指定的Job cce updateJobs 替换指定的Namespace cce updateNamespaces 替换指定的Node cce updateNodes 替换指定的PersistentVolumeClaim cce updatePersistentvolumeclaims 替换指定的Pod cce updatePods 替换指定的Replicaset cce updateReplicasets 替换指定的ResourceQuota cce updateResourcequotas 替换指定的Secret cce updateSecrets 替换指定的Service cce updateServices 替换指定的Statefulset cce updateStatefulsets 替换指定的状态 cce updateStatus 上传组件模板 cce uploadChart 更新组件模板 cce updateChart 删除组件模板 cce deleteChart 创建模板应用 cce createRelease 更新模板应用 cce updateRelease 删除模板应用 cce deleteRelease

HPA是针对Pod级别的，但是如果集群的资源不够了，那就需要对节点进行扩容了。Cluster Autoscaler是Kubernetes提供的集群节点弹性伸缩组件，可根据Pod调度状态及资源使用情况对集群的节点进行自动扩容缩容。 CCE的集群节点弹性伸缩请参见创建节点伸缩策略。 Cluster Autoscaler工作原理 Cluster Autoscaler（简称CA）的主要流程包括两部分： ScaleUp流程： CA会每隔15s检查一次所有不可调度的Pod，根据用户设置的策略，选择出一个符合要求的节点组进行扩容。 ScaleDown流程：CA每隔10s会扫描一次所有的Node，如果该Node上所有的Pod Requests少于用户定义的缩容百分比时，CA会模拟将该节点上的Pod是否能迁移到其他节点，如果可以的话，当满足不被需要的时间窗以后，该节点就会被移除。 如上所述，当集群节点处于一段时间空闲状态时（默认10min），会触发集群缩容操作。 当节点存在以下几种状态的pod时，不可缩容： 1. 节点上的pod有设置PodDisruptionBudget，当移除pod不满足对应条件时，节点不会缩容。 2. 节点上的pod设置本地存储时，节点不会缩容。 3. 节点上的pod由于一些限制，如亲和、反亲和或者taints等，无法调度到其他节点，节点不会缩容。 4. 节点上的pod拥有"clusterautoscaler.kubernetes.io/safetoevict": "false"这个annotations时，节点不缩容。 5. 节点上存在kubesystem namespace下的Pod（除kubesystem daemonset创建的Pod），节点不缩容。 6. 节点上有非controller（deployment/replica set/job/stateful set）创建的Pod，节点不缩容。 Cluster AutoScaler架构 Cluster AutoScaler架构如下图所示，主要由以下几个核心模块组成： 说明如下： Estimator： 负责扩容场景下，评估满足当前不可调度Pod时，每个节点池需要扩容的节点数量。 Simulator： 负责缩容场景下，找到满足缩容条件的节点。 Expander： 负责在扩容场景下，根据用户设置的不同的策略来，从Estimator选出的节点池中，选出一个最佳的选择。当前Expander有多种策略： − Random： 随机选择一个节点池，如果用户没有设置的话，默认是Random。 − mostPods： 选择此次扩容后能满足调度最多Pod的节点池，如果有相同的，再随机选择一个。 − leastwaste： 选择此次扩容完成后，具有最小浪费的CPU或者Mem资源的节点池。 − price： 选择此次扩容所需节点金额最小的节点池。 − priority： 根据用户自定义的权重，选择权重最高的节点池。 当前CCE 提供除Price 以外的所有的策略，当前CCE 插件默认使用leastwaste 策略。

操作场景 节点伸缩策略创建完成后，可对创建的策略进行删除、编辑、停用、启用、克隆等操作。 查看节点伸缩策略 您可以查看节点伸缩策略的关联节点池、执行规则和伸缩历史，参照界面中的提示有针对性的解决异常问题。 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“节点伸缩”页签下，单击要查看的策略前方的。 步骤 2 在展开的区域中，可以看到该策略的关联节点池、执行规则和伸缩历史页签，若策略异常，请参照界面中的报错提示进行定位处理。 说明：您还可以在节点池管理中关闭或开启弹性扩缩容，登录CCE控制台，在左侧导航栏中单击“资源管理 > 节点池管理”，单击要操作的节点池右上角的“编辑”，在弹出的“编辑节点池”窗口中的可以看到“弹性扩缩容”按钮，并可设置节点数上下限和弹性缩容冷却时间。 删除节点伸缩策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“节点伸缩”页签下，单击要删除的策略后方“操作”栏中的“删除”。 步骤 2 在弹出的“删除节点策略”窗口中，确认是否删除。 步骤 3 确认后，在输入框中输入DELETE。 步骤 4 单击“确认”按钮即完成删除操作。 编辑节点伸缩策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“节点伸缩”页签下，单击要更新的策略后方“操作”栏中的“编辑”。 步骤 2 在打开的“编辑节点伸缩策略”页面中，更新策略参数。 步骤 3 完成设置后，单击“确定”按钮完成编辑操作。 克隆节点伸缩策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“节点伸缩”页签下，单击要克隆的策略后方“操作”栏中的“更多 > 克隆”。 步骤 2 在打开的“创建节点伸缩策略”页面中，可以看到部分参数已经克隆过来，请按照业务需求补充或修改其他策略参数。 步骤 3 单击“立即创建”按钮完成策略克隆，在“节点伸缩”页签下的策略列表中可以看到新克隆的策略。 停用/启用节点伸缩策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击策略后方“操作”栏中的“更多 > 停用”，若策略为停用状态时，则单击“更多 > 启用”。 步骤 2 在弹出的“停用节点策略”或“启用节点策略”窗口中，确认是否进行停用或启用操作。 步骤 3 单击“确定”完成操作，在节点伸缩的列表中可以看到该策略的状态。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和可用区的亲和性 > 与可用区的反亲和性”前的。 步骤 2 单击工作负载不希望部署到的可用区。 当前创建的工作负载不会部署到已选择的可用区中。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见[](file:///C:/Users/shuan/Downloads/%E4%BA%91%E5%AE%B9%E5%99%A8%E5%BC%95%E6%93%8E%E7%94%A8%E6%88%B7%E6%8C%87%E5%8D%97202105%20(1).docx section155246177178 " ")通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和可用区反亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: failuredomain.beta.kubernetes.io/zone

参数 参数说明 annotations 用于console展示，其中service.protal.kubernetes.io/accessip代表ELB实例的IP及暴露的端口号。service.protal.kubernetes.io/type固定为LoadBalancer。

本文主要介绍权限类问题。 如果不配置集群管理权限，是否可以使用kubectl命令呢？ 使用kubectl命令无需经过IAM认证，因此理论上不配置集群管理（IAM）权限是可以使用kubectl命令的。但前提是需要获取具有命名空间权限的kubectl配置文件（kubeconfig），以下场景认证文件传递过程中均存在安全泄露风险，应在实际使用中注意。 场景一 如果某IAM子用户先配置了集群管理权限和命名空间权限，然后在界面下载kubeconfig认证文件。后面再删除集群管理权限（保留命名空间权限），依然可以使用kubectl来操作Kubernetes集群。因此如需彻底删除用户权限，必须同时删除该用户的集群管理权限和命名空间权限。 场景二 如果某IAM用户拥有一定范围的集群管理权限和命名空间权限，然后在界面下载kubeconfig认证文件。此时CCE根据用户信息的权限判断kubectl有权限访问哪些Kubernetes资源，即哪个用户获取的kubeconfig文件，kubeconfig中就拥有哪个用户的认证信息，任何人都可以通过这个kubeconfig文件访问集群

操作名称 资源类型 事件名称 创建用户委托 集群 createUserAgencies 创建集群 集群 createCluster 创建包周期集群 集群 createCluster/createPeriodicCluster 更新集群描述 集群 updateCluster 升级集群 集群 clusterUpgrade 删除集群 集群 claimCluster/deleteCluster 下载集群证书 集群 getClusterCertByUID 绑定、解绑eip 集群 operateMasterEIP 集群休眠唤醒、节点纳管重置（V2） 集群 operateCluster 集群休眠（V3） 集群 hibernateCluster 集群唤醒（V3） 集群 awakeCluster 按需集群规格变更 集群 resizeCluster 包周期集群规格变更 集群 resizePeriodCluster 修改集群配置 集群 updateConfiguration 创建节点池 节点池 createNodePool 更新节点池 节点池 updateNodePool 删除节点池 节点池 claimNodePool 迁移节点池 节点池 migrateNodepool 修改节点池配置 节点池 updateConfiguration 创建节点 节点 createNode 创建包周期节点 节点 createPeriodNode 删除集群下所有节点 节点 deleteAllHosts 删除单个节点 节点 deleteOneHost/claimOneHost 更新节点描述 节点 updateNode 创建插件实例 插件实例 createAddonInstance 删除插件实例 插件实例 deleteAddonInstance 上传模板 模板 uploadChart 更新模板 模板 updateChart 删除模板 模板 deleteChart 创建模板实例 模板实例 createRelease 升级模板实例 模板实例 updateRelease 删除模板实例 模板实例 deleteRelease 创建ConfigMap K8S资源 createConfigmaps 创建DaemonSet K8S资源 createDaemonsets 创建Deployment K8S资源 createDeployments 创建Event K8S资源 createEvents 创建Ingress K8S资源 createIngresses 创建Job K8S资源 createJobs 创建namespace K8S资源 createNamespaces 创建Node K8S资源 createNodes 创建PersistentVolumeClaim K8S资源 createPersistentvolumeclaims 创建Pod K8S资源 createPods 创建ReplicaSet K8S资源 createReplicasets 创建ResourceQuota K8S资源 createResourcequotas 创建密钥 K8S资源 createSecrets 创建服务 K8S资源 createServices 创建StatefulSet K8S资源 createStatefulsets 创建卷 K8S资源 createVolumes 删除ConfigMap K8S资源 deleteConfigmaps 删除DaemonSet K8S资源 deleteDaemonsets 删除Deployment K8S资源 deleteDeployments 删除Event K8S资源 deleteEvents 删除Ingress K8S资源 deleteIngresses 删除Job K8S资源 deleteJobs 删除Namespace K8S资源 deleteNamespaces 删除Node K8S资源 deleteNodes 删除Pod K8S资源 deletePods 删除ReplicaSet K8S资源 deleteReplicasets 删除ResourceQuota K8S资源 deleteResourcequotas 删除Secret K8S资源 deleteSecrets 删除Service K8S资源 deleteServices 删除StatefulSet K8S资源 deleteStatefulsets 删除卷 K8S资源 deleteVolumes 替换指定的ConfigMap K8S资源 updateConfigmaps 替换指定的DaemonSet K8S资源 updateDaemonsets 替换指定的Deployment K8S资源 updateDeployments 替换指定的Event K8S资源 updateEvents 替换指定的Ingress K8S资源 updateIngresses 替换指定的Job K8S资源 updateJobs 替换指定的Namespace K8S资源 updateNamespaces 替换指定的Node K8S资源 updateNodes 替换指定的PersistentVolumeClaim K8S资源 updatePersistentvolumeclaims 替换指定的Pod K8S资源 updatePods 替换指定的Replicaset K8S资源 updateReplicasets 替换指定的ResourceQuota K8S资源 updateResourcequotas 替换指定的Secret K8S资源 updateSecrets 替换指定的Service K8S资源 updateServices 替换指定的Statefulset K8S资源 updateStatefulsets 替换指定的状态 K8S资源 updateStatus 上传组件模板 K8S资源 uploadChart 更新组件模板 K8S资源 updateChart 删除组件模板 K8S资源 deleteChart 创建模板应用 K8S资源 createRelease 更新模板应用 K8S资源 updateRelease 删除模板应用 K8S资源 deleteRelease

操作场景 暂时不需要使用集群时，为节省集群管理费用，建议您将集群设置为休眠状态。 集群休眠后，将无法在此集群上创建和管理工作负载等资源。 休眠中的集群可以快速唤醒，正常使用。 集群休眠操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”。 步骤 2 单击待休眠集群后的“更多 > 集群休眠”。 步骤 3 在弹出的集群休眠提示框中，查看风险提示，单击“是”，等待集群完成休眠。 须知： 按需付费集群休眠后，将暂停收取控制节点资源费用。 集群休眠后，集群所属的工作节点（ECS）、绑定的弹性IP、带宽等资源仍将按各自的计费方式进行收费。如需关机节点，请在集群休眠提示框中勾选“关机集群下所有节点”或参见节点关机。 步骤 4 当集群状态由“休眠中”变为“休眠”时，即完成休眠操作。 集群唤醒操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”。 步骤 2 单击待唤醒集群后的“更多 > 集群唤醒”。 步骤 3 在弹出的集群唤醒提示框中，单击“是”，等待集群完成唤醒。 步骤 4 当集群状态由“唤醒中”变为“正常”时，即完成唤醒操作。 说明：集群唤醒后，将继续收取控制节点资源费用。

操作场景 云平台提供的云监控，可以对节点运行状态进行日常监控。您可以通过管理控制台，直观地查看节点的各项监控指标。 由于监控数据的获取与传输会花费一定时间，因此，云监控显示的是当前时间5～10分钟前的节点状态。如果您的节点刚刚创建完成，请等待5～10分钟后查看监控数据。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”。 步骤 2 单击待监控节点后的“监控”，系统会链接到云监控控制台，查看节点监控信息。

CCE权限管理是在统一身份认证服务（IAM）与Kubernetes的角色访问控制（RBAC）的能力基础上，打造的细粒度权限管理功能，支持基于统一身份认证（IAM）的细粒度权限控制和IAM Token认证，支持集群级别、命名空间级别的权限控制，帮助用户便捷灵活的对租户下的IAM用户、用户组设定不同的操作权限。 如果您需要对已购买的CCE集群及相关资源进行精细的权限管理，例如限制不同部门的员工拥有部门内资源的细粒度权限，您可以使用CCE权限管理提供的增强能力进行多维度的权限管理。 本章节将介绍CCE权限管理机制及其涉及到的基本概念。如果当前帐号已经能满足您的要求，您可以跳过本章节，不影响您使用CCE服务的其它功能。 CCE支持的权限管理能力 CCE的权限管理包括“集群权限”和“命名空间权限”两种能力，能够从集群和命名空间层面对用户组或用户进行细粒度授权，具体解释如下： 集群权限：是基于IAM系统策略的授权，可以通过用户组功能实现IAM用户的授权。用户组是用户的集合，通过集群权限设置可以让某些用户组操作集群（如创建/删除集群、节点、节点池、模板、插件等），而让某些用户组仅能查看集群。 集群权限涉及CCE非Kubernetes API，支持IAM细粒度策略、企业项目管理相关能力。 命名空间权限：是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。同时CCE基于开源能力进行了增强，可以支持基于IAM用户或用户组粒度进行RBAC授权、IAM token直接访问API进行RBAC认证鉴权。 命名空间权限涉及CCE Kubernetes API，基于Kubernetes RBAC能力进行增强，支持对接IAM用户/用户组进行授权和认证鉴权，但与IAM细粒度策略独立。 注意：“集群权限”仅针对与集群相关的资源（如创建/删除集群、节点、节点池、模板、插件等）有效，您必须确保同时配置了“命名空间权限”，才能有操作Kubernetes资源（如工作负载、Service等）的权限。 统一身份认证服务（IAM） 统一身份认证（Identity and Access Management，简称IAM）是提供权限管理的基础服务，可以帮助您安全地控制服务和资源的访问权限。 IAM的优势：对资源可进行精细访问控制 您注册后，系统自动创建帐号，帐号是资源的归属以及使用计费的主体，对其所拥有的资源具有完全控制权限，可以访问所有的云服务。 如果您在购买了多种资源，例如弹性云主机、云硬盘、裸金属服务器等，您的团队或应用程序需要使用您在中的资源，您可以使用IAM的用户管理功能，给员工或应用程序创建IAM用户，并授予IAM用户刚好能完成工作所需的权限，新创建的IAM用户可以使用自己单独的用户名和密码登录。IAM用户的作用是多用户协同操作同一帐号时，避免分享帐号的密码。 Kubernetes的角色访问控制（RBAC） Kubernetes基于角色的访问控制（RoleBased Access Control，即”RBAC”）使用”rbac.authorization.k8s.io” API Group实现授权决策，允许管理员通过Kubernetes API动态配置策略。详情请参见命名空间权限。

操作场景 若需要对集群中的资源进行权限控制，（例如A用户只能对某个命名空间下的应用有读写权限，B用户只能对集群下的资源有读权限等），请参照本章节操作。 操作步骤 步骤 1 若需要对集群进行权限控制，请在创建集群时的“认证方式”参数后勾选“认证能力增强”，选择“认证代理”。单击“CA根证书”后的“上传文件”，上传符合规范且合法的证书。 步骤 2 通过kubectl创建角色。 下面的例子展示了如何创建一个角色，并允许该角色读取default空间下的所有Pod。参数详细解释请参见Kubernetes官方文档。 kind: Role apiVersion: rbac.authorization.k8s.io/v1 metadata: namespace: default name: podreader rules: apiGroups: [""] resources: ["pods"] verbs: ["get", "watch", "list"] 步骤 3 通过kubectl创建角色绑定。 下面的例子给出RoleBindings赋予default命名空间下的podreader的角色给用户jane。该策略允许用户jane可以读取default命名空间下的所有pods。参数详细解释请参见Kubernetes官方文档。 kind: RoleBinding apiVersion: rbac.authorization.k8s.io/v1 metadata: name: readpods namespace: default subjects: kind: User name: jane 的用户名 apiGroup: rbac.authorization.k8s.io roleRef: kind: Role name: podreader 创建的角色名 apiGroup: rbac.authorization.k8s.io 步骤 4 创建角色并与用户绑定成功后，请在接口请求的headers中携带用户信息以及集群创建时上传的证书访问kubernetes接口。例如调取查询pod的接口时，执行命令如下： curl k H "XRemoteUser: jane" cacert /root/tlsca.crt key /root/tls.key cert /root/tls.crt 返回200表示访问成功，返回403表示没有权限访问。 说明：为避免命令执行失败，请提前把证书上传到/root目录下。 参数解释如下： XRemoteUser: jane：请求头固定为XRemoteUser，jane为用户名。 tlsca.crt ：创建集群时上传的CA根证书。 tls.crt：与集群创建时所上传的CA根证书配套的客户端证书。 tls.key：与集群创建时所上传的CA根证书配套的客户端秘钥。 192.168.23.5:5443：为连接集群的地址，获取方式如下： 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”，单击待连接集群的名称，在集群基本信息中获取“内网apiserver地址”后的IP地址和端口号。 说明 CCE支持天翼云帐号和IAM用户分别下载config文件（kubeconfig.json），IAM用户下载的config文件只有30天的有效期，而天翼云帐号下载的config文件会长期有效。该文件用户对接认证用户集群，请用户妥善保存该认证凭据，防止文件泄露后，集群有被攻击的风险。如果不幸泄露，可以通过证书更新的方式，替换认证凭据。 IAM用户下载的config文件所拥有的Kubernetes权限与CCE控制台上IAM用户所拥有的权限一致。 另外，还支持XRemoteGroup的头域：用户组名，在做RoleBinding时，可以将Role与Group进行绑定，并在访问集群时携带用户组信息。

ccehpacontroller插件是一款CCE自研的插件，能够基于CPU利用率、内存利用率等指标，对无状态工作负载进行弹性扩缩容。 主要功能 支持按照当前实例数的百分比进行扩缩容。 支持设置一次扩缩容的最小步长。 支持按照实际指标值执行不同的扩缩容动作。 约束与限制 仅支持v1.15及以上版本的CCE集群安装本插件。 安装本插件后，还需要安装prometheus（1.1.0及以上版本），用于指标的采集。 安装插件 安装本插件后，可在“弹性伸缩”页面的“工作负载伸缩”页签下，创建CustomedHPA策略，具体请参见参见创建工作负载弹性伸缩（HPA）。 步骤 1 在CCE控制台中，单击左侧导航栏的“插件管理”，在“插件市场”页签下，单击“ccehpacontroller”下的“安装插件”按钮。 步骤 2 在安装插件页面，选择安装的集群和插件版本，单击“下一步：规格配置”。 步骤 3 该插件可配置“单实例”或“高可用”规格，选择后单击“安装”。 待插件安装完成后，单击“返回”，在“插件实例”页签下，选择对应的集群，可查看到运行中的实例，这表明该插件已在当前集群的各节点中安装。 升级插件 步骤 1 登录CCE控制台，在左侧导航栏中选择“插件管理”，在“插件实例”页签下，选择对应的集群，单击“ccehpacontroller”下的“ 升级”。 说明： 如果升级按钮处于冻结状态，则说明当前插件版本是最新的版本，不需要进行升级操作。 升级“ccehpacontroller”插件时，会替换原先节点上的旧版本的“ccehpacontroller”插件，安装最新版本的“ccehpacontroller”插件以实现功能的快速升级。 步骤 2 在基本信息页面选择插件版本，单击“下一步”。 步骤 3 参考安装插件中参数说明配置参数后，单击“升级”即可升级“ccehpacontroller”插件。 卸载插件 步骤 1 在CCE控制台中，单击左侧导航栏的“插件管理”，在“插件实例”页签下，选择对应的集群，单击“ccehpacontroller”下的“卸载”。 步骤 2 在弹出的窗口中，单击“是”，可卸载该插件。

操作场景 CCE集群支持两种添加节点的方式： 购买节点和纳管节点，纳管节点是指将“已购买的弹性云主机（ECS）加入到CCE集群中”，所纳管节点的计费模式支持“按需计费”和“包年/包月”两种类型。 本节将指导您通过CCE控制台纳管已有虚拟机节点。 须知： 纳管时，会将所选弹性云主机的操作系统重置为CCE提供的标准镜像，以确保节点的稳定性，请选择操作系统及重置后的登录方式。 所选弹性云主机挂载的系统盘、数据盘都会在纳管时被格式化，请确保信息已备份。 纳管过程中，请勿在弹性云主机控制台对所选虚拟机做任何操作。 约束与限制 目前仅支持在CCE集群中纳管同一Region下的虚拟机节点（含GPU加速型）。 集群版本需V1.13及以上。 集群开启IPv6后，只支持纳管所在的子网开启了IPv6功能的节点；集群未开启IPv6，只支持纳管所在的子网未开启IPv6功能的节点。 原虚拟机节点创建时若已设置密码或密钥，需等待虚拟机节点可用10分钟后方可纳管。 前提条件 支持纳管符合如下条件的弹性云主机： 待纳管节点已购买成功，且必须状态为“运行中“，且未被其他集群所使用。 纳管节点需与CCE集群在同一虚拟私有云内（若集群版本低于1.13.10，纳管节点还需要与CCE集群在同一子网内）。 需挂载数据盘，数据盘需满足有且仅有1块，且容量不少于100GB，多余的数据盘请先卸载。 节点规格要求：CPU必须2核及以上，内存必须4GB及以上，网卡有且仅能有一个。 操作步骤 步骤 1 登录CCE控制台，单击左侧导航栏的“资源管理 > 集群管理”，单击待纳管集群下的“更多 > 纳管节点”。 步骤 2 （可选）登录CCE控制台，单击左侧导航栏的“资源管理 > 节点管理”，选择节点所在的集群后，单击页面右上角的“纳管节点”。 步骤 3 在打开的界面中展示了当前符合要求的弹性云主机。如果不符合纳管要求时会显示相应的红色提示图标，列表下方会有被过滤的弹性云主机数量，鼠标移动到后方的 可以查看具体原因。 步骤 4 勾选需要纳管的弹性云主机，单击“下一步”。 步骤 5 在“待纳管节点”页面中，按照界面提示选择“登录方式”，单击“高级配置”后的按钮，可以设置“最大实例数”、“自定义镜像仓库”和“资源分配”，然后单击“提交”。 步骤 6 在弹出的“信息确认”页面中确认信息无误后，单击“确定”。 系统将提示节点纳管请求提交成功。 移除节点 移除节点指从集群中移除“弹性云主机（简称ECS）”，并不会删除ECS和卸载已安装的CCE相关组件。 如需清理CCE相关组件，请前往ECS控制台将机器关机后，点击“更多 > 镜像/磁盘 > 重装系统”操作。 步骤 1 在CCE控制台中，选择导航栏的“资源管理 > 节点管理”，在节点列表中，单击待移除节点后方“操作”栏中的“更多 > 移除”。 步骤 2 在弹出的“移除纳管节点”弹框中，输入REMOVE，确认移除该节点，单击“确定”，即可移除纳管的节点。 说明：以上步骤仅从集群中移除了节点（即弹性云主机ECS），并不会删除节点和已安装的CCE相关组件。请根据界面中展示的步骤清理CCE相关资源。

使用命名空间 创建工作负载时，您可以选择对应的命名空间，实现资源或租户的隔离。 查询工作负载时，选择对应的命名空间，查看对应命名空间下的所有工作负载。 命名空间使用实践 按照不同环境划分命名空间 一般情况下，工作负载发布会经历开发环境、联调环境、测试环境，最后到生产环境的过程。这个过程中不同环境部署的工作负载相同，只是在逻辑上进行了定义。分为两种做法： − 分别创建不同集群。 不同集群之间，资源不能共享。同时，不同环境中的服务互访需要通过负载均衡才能实现。 − 不同环境创建对应命名空间。 同个命名空间下，通过服务名称（Service name）可直接访问。跨命名空间的可以通过服务名称、命名空间名称访问。 例如下图，开发环境/联调环境/测试环境分别创建了命名空间。 图不同环境创建对应命名空间 按照应用划分命名空间 对于同个环境中，应用数量较多的情况，建议进一步按照工作负载类型划分命名空间。例如下图中，按照APP1和APP2划分不同命名空间，将不同工作负载在逻辑上当做一个工作负载组进行管理。且同一个命名空间内的工作负载可以通过服务名称访问，不同命名空间下的通过服务名称、命名空间名称访问。 图按照工作负载划分命名空间 删除命名空间 删除命名空间会删除该命名空间下所有的资源（如工作负载，短任务、配置项等），请谨慎操作。 步骤 1 登录CCE控制台，在左侧导航栏中选择“ 资源管理 > 命名空间”。 步骤 2 在“集群”下拉框中，选择命名空间所在的集群。 步骤 3 选中待删除的命名空间，单击“删除”。 根据系统提示进行删除操作。系统内置的命名空间不支持删除。

本文主要介绍插件检查 检查项内容 当前检查项包括以下内容： 检查插件状态是否正常 检查插件是否支持目标版本 解决方案 问题场景一：插件状态异常 请登录CCE控制台，前往“集群信息>运维>插件管理”处查看并处理处于异常状态的插件。 问题场景二：目标集群版本不支持当前插件版本 检查到该插件由于兼容性等问题无法随集群自动升级，请您登陆CCE控制台，在“集群信息>运维>插件管理”处进行手动升级。

本文主要介绍 节点Ready检查。 检查项内容 检查集群内节点是否Ready。 解决方案 问题场景一：节点状态显示不可用 请登录CCE控制台，前往“节点管理”，筛选出状态不可用的节点后，请参照控制台提供的“修复建议”修复该节点后重试检查。 问题场景二：节点状态与实际不符节点状态与实际不符可能存在两种情况： 控制台“节点管理”处显示正常，但检查结果仍然提示该节点NotReady。请重试检查。 控制台“节点管理”处无该节点，但检查结果显示集群中仍然存在该节点。请联系技术人员支持。

七层负载均衡（Ingress）是采用了共享型弹性负载均衡和独享型弹性负载均衡，在四层负载均衡访问方式的基础上支持了URI配置，通过对应的URI将访问流量分发到对应的服务。同时，服务根据不同URI实现不同的功能。 七层负载均衡访问方式由弹性负载均衡ELB服务地址、设置的访问端口、定义的URI组成，例如：10.117.117.117:80/helloworld。 通过配置公网类型和私网类型的负载均衡实例可以实现公网的七层路由转发和内网（同一VPC内）的七层路由转发。

使用webterminal插件连接集群 步骤 1 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件管理”。 步骤 2 在右侧找到webterminal，单击“访问”。 收缩webterminal权限 webterminal插件安装后，其kubectl默认使用clusteradmin ClusterRole权限，能够操作该集群k8s资源，若需手动配置为其他类型权限，可通过kubectl edit clusterrolebinding webterminal修改webterminal ServiceAccount绑定其他权限的ClusterRole。 ClusterRole、ClusterRoleBinding相关配置说明请参见命名空间权限（Kubernetes RBAC授权）。 注意 手动配置的webterminal权限在webterminal插件升级时存在被重置风险，需注意做好备份在插件升级后重新配置。 使用kubectl修改clusterrolebinding配置需确保当前kubectl有修改clusterrolebinding资源操作权限。 版本记录 CCE插件版本记录 插件版本 支持的集群版本 社区版本（仅1.17及以上版本集群支持） 1.1.12 /v1.(15171921)./ 0.6.6 1.1.6 /v1.(151719)./ 0.6.6 1.1.5 /v1.(151719)./ 0.6.6 1.1.3 /v1.(1719)./ 0.6.6 1.0.6 /v1.(1517)./ 0.6.6 1.0.5 /v1.(911131517)./ 0.6.6

defaulttokenxxxxx Kubernetes为每个命名空间默认创建一个名为default的ServiceAccount，defaulttokenxxxxx为这个ServiceAccount的密钥，xxxxx是随机数。 $ kubectl get sa NAME SECRETS AGE default 1 30d $ kubectl describe sa default Name: default Namespace: default Labels: Annotations: Image pull secrets: Mountable secrets: defaulttokenvssmw Tokens: defaulttokenvssmw Events:

本文主要介绍 删除集群（按需计费）。 操作场景 本章节以计费模式为“按需计费”的CCE集群为例，介绍如何删除集群。 包周期的集群支持退订操作，详情请参见退订释放集群（包年/包月）。 注意事项 删除集群时，纳管以及包周期节点将会从集群中移除并重装系统，节点原有的登录密码将会失效，请重新设置节点密码。 删除集群不会删除集群下包周期的资源，相关资源在集群删除后将会继续计费，请妥善处理。 删除集群会删除集群下的节点（纳管节点不会被删除）、节点挂载的数据盘、工作负载与服务，相关业务将无法恢复。在执行操作前，请确保相关数据已完成备份或者迁移，删除完成后数据无法找回，请谨慎操作。 部分不是在CCE中创建的资源不会删除： 纳管的节点（仅删除在CCE中创建的节点） Service和Ingress关联的ELB实例（仅删除自动创建的ELB实例） 手动创建PV关联的云存储/导入的云存储（仅删除PVC自动创建的云存储） 处于休眠状态的集群无法直接删除，请将集群唤醒后重试。 集群不可用时删除集群，存储会残留。 集群版本为v1.13.10及之前版本时，请勿在ELB服务手动修改监听器名称和后端服务器名称，否则删除集群会有资源残留。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理”。 步骤 2 单击待删除集群后的。 图 删除集群 步骤 3 在弹出的“删除集群”窗口中，根据系统提示，勾选删除集群时需要释放的资源。 删除集群下工作负载挂载的云存储 说明 删除集群中的存储卷声明和存储卷，存在如下约束： 1. 底层存储依据指定的回收策略进行删除。 2. 对象存储桶下存在大量文件（超过1000）时，请先手动清理桶内文件后再执行集群删除操作。 删除集群下负载均衡ELB等网络资源（仅删除自动创建的ELB资源） 步骤 4 单击“是”，开始执行删除集群操作。 删除集群需要花费1~3分钟，请耐心等候。

操作场景 在CCE集群中删除节点会将该节点以及节点内运行的业务都销毁，删除前请确认您的正常业务运行不受影响，请谨慎操作。 约束与限制 删除CCE集群时，ECS节点也将一起删除，暂不支持删除CCE集群而保留ECS节点。 对于包周期（包年/包月）预付费的ECS节点不能直接删除，请通过页面右上角用户名下的“我的订单”，执行资源退订操作。 注意事项 删除节点会涉及Pod迁移，可能会影响业务，请在业务低峰期操作。 操作过程中可能存在非预期风险，请提前做好相关的数据备份。 操作过程中，后台会把当前节点设置为不可调度状态。 删除节点仅能移除工作节点，不会移除控制节点。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”，单击节点后的“更多 > 删除”。 步骤 2 在弹出的“删除节点”窗口中输入 DELETE ，单击“是”，等待完成节点删除。 说明： 删除节点后，原有节点上的工作负载实例会自动迁移至其他可用节点。 节点上绑定的磁盘和EIP如果属于重要资源请先解绑，否则会被级联删除。 释放ECS实例仅释放“按需计费”的ECS实例。

本节主要介绍通过kubectl操作CCE集群。 操作场景 本文将以CCE集群为例，介绍如何通过kubectl操作CCE集群。 使用kubectl操作集群 背景信息 若您需要从客户端计算机连接到kubernetes集群，请使用kubernetes命令行客户端kubectl。 前提条件 CCE支持“VPC网络内访问”和“互联网访问”两种方式访问集群。 VPC网络内访问：您需要在ECS控制台购买一台云服务器，并确保和当前集群在同个VPC内。 互联网访问：您需要准备一台能连接公网的云服务器。 注意 通过“互联网访问”方式访问集群，集群的kubeapiserver将会暴露到互联网，存在被攻击的风险，建议对kubeapiserver所在节点的EIP配置DDoS高防服务。 下载kubectl 您需要先下载kubectl以及配置文件，拷贝到您的客户端机器，完成配置后，即可以使用访问kubernetes集群。 请到kubernetes版本发布页面下载与集群版本对应的或者更新的kubectl。 安装和配置kubectl 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”，单击待连接集群下的“命令行工具 > kubectl”。 步骤 2 在集群详情页中的“kubectl”页签下，请参照界面中的提示信息完成集群连接。 说明 您可以在“kubectl”页签下方便的下载kubectl配置文件（kubeconfig.json），CCE支持帐号和IAM用户分别下载该配置文件，IAM用户下载的配置文件只有30天的有效期，而天翼云帐号下载的配置文件会长期有效。该文件用于对接认证用户集群，请用户妥善保存该认证凭据，防止文件泄露后，集群有被攻击的风险。如果不幸泄露，可以通过证书更新的方式，替换认证凭据。 由于EIP无法固定，所以服务器端证书无法预置EIP，若从互联网访问则无法开启客户端校验服务器端。如需开启客户端校验服务器端，请使用VPC访问方式。 IAM用户下载的配置文件所拥有的Kubernetes权限与CCE控制台上IAM用户所拥有的权限一致。

本文主要介绍 K8S废弃资源检查。 检查项内容 检查集群是否存在对应版本已经废弃的资源。 解决方案 问题场景：1.25及以上集群废弃了PodSecurityPolicy资源对象 在集群中通过kubectl get psp A命令获取当前集群中已存在的PSP对象。 如果您并未使用这两个对象，可以直接点击确定按钮跳过该检查，若您存在使用该对象的情况，请将PSP相应功能升级至PodSecurity安全准入能力中。

本文主要介绍Helm v2 Release转换成Helm v3 Release。 背景介绍 当前CCE已全面支持Helm v3版本，用户可通过本指南将已创建的v2 release转换成v3 release，从而更好地使用v3的特性。因Helm v3底层相对于Helm v2来说，一些功能已被弃用或重构，因此转换会有一定风险，需转换前进行模拟转换。 该指南参考社区文档： 注意事项： Helm v2 release信息存储在configmap中，Helm v3 release信息存储在secrets中。 若用户通过前端console操作，在获取实例、更新实例等操作中CCE会自动尝试转换v2模板实例到v3模板实例。若用户仅在后台操作实例，需通过该指南进行转换操作。 转换流程（不使用Helm v3客户端） 步骤 1 在CCE节点上下载helm 2to3 转换插件。 wget 2to30.10.2linuxamd64.tar.gz 步骤 2 解压插件包。 tar xzvf helm2to30.10.2linuxamd64.tar.gz 步骤 3 模拟转换。 以testconvert实例为例，执行以下命令进行转换的模拟。若出现以下提示，说明模拟转换成功。 ./2to3 convert dryrun tilleroutcluster s configmaps testconvert NOTE: This is in dryrun mode, the following actions will not be executed. Run without dryrun to take the actions described below: Release "testconvert" will be converted from Helm v2 to Helm v3. [Helm 3] Release "testconvert" will be created. [Helm 3] ReleaseVersion "testconvert.v1" will be created. 步骤 4 执行正式转换。若出现以下提示，说明转换成功。

本文主要介绍 管理节点污点（taint）。 污点（taint）能够使节点排斥某些特定的Pod，从而避免Pod调度到该节点上。 污点 节点污点是与“效果”相关联的键值对。以下是可用的效果： NoSchedule：不能容忍此污点的 Pod 不会被调度到节点上；现有 Pod 不会从节点中逐出。 PreferNoSchedule：Kubernetes 会尽量避免将不能容忍此污点的 Pod 安排到节点上。 NoExecute：如果 Pod 已在节点上运行，则会将该 Pod 从节点中逐出；如果尚未在节点上运行，则不会将其安排到节点上。 使用kubectl taint node nodename 命令可以给节点增加污点，如下所示。 $ kubectl get node NAME STATUS ROLES AGE VERSION 192.168.10.170 Ready 73d v1.19.8r1CCE21.4.1.B003 192.168.10.240 Ready 4h8m v1.19.8r1CCE21.6.1.2.B001 $kubectl taint node 192.168.10.240 key1value1:NoSchedule node/192.168.10.240 tainted 通过describe命名和get命令可以查看到污点的配置。 $ kubectl describe node 192.168.10.240 Name: 192.168.10.240 ... Taints: key1value1:NoSchedule .. $ kubectl get node 192.168.10.240 oyaml apiVersion: v1 ... spec: providerID: 06a5ea3a048211ec8e1a0255ac101dc2 taints: effect: NoSchedule key: key1 value: value1 ... 去除污点可以使用如下命令，在NoSchedule后加一个“”。 $ kubectl taint node 192.168.10.240 key1value1:NoSchedule node/192.168.10.240 untainted $ kubectl describe node 192.168.10.240 Name: 192.168.10.240 ... Taints: ... 在CCE控制台上同样可以管理节点的污点，且可以批量操作。 步骤 1 登录CCE控制台。 步骤 2 单击集群名称进入集群，在左侧选择“节点管理”，勾选节点，单击左上方“标签与污点管理”。 步骤 3 在弹出的窗口中，在“批量操作”下方单击“新增批量操作”，单击“添加/更新”，选择“污点(Taints)”。 填写需要增加污点的“键”和“值”，选择污点的效果，单击“确定”。 图 添加污点 步骤 4 污点添加成功后，再次进入该界面，在节点数据下可查看到已经添加的污点。

本文主要介绍通过控制台使用Nginx Ingress。 前提条件 Ingress为后端工作负载提供网络访问，因此集群中需提前部署可用的工作负载。若您无可用工作负载，可参考创建无状态负载(Deployment)、创建有状态负载(StatefulSet)或创建守护进程集(DaemonSet)部署工作负载。 添加Nginx Ingress时，需在集群中提前安装nginxingress插件。 注意事项 不建议在ELB服务页面修改ELB实例的任何配置，否则将导致服务异常。 如果您已经误操作，请卸载Nginx Ingress插件后重装。 Ingress转发策略中注册的URL需与后端应用暴露的URL一致，否则将返回404错误。 负载均衡实例需与当前集群处于相同VPC 且为相同公网或私网类型。 负载均衡实例需要拥有至少两个监听器配额，且端口80和443没有被监听器占用。 添加Nginx Ingress 本节以Nginx作为工作负载并添加Nginx Ingress为例进行说明。 步骤 1 登录CCE控制台，单击集群名称进入集群。 步骤 2 选择左侧导航栏的“服务发现”，在右侧选择“路由”页签，单击右上角“创建路由”。 步骤 3 设置Ingress参数。 名称： 自定义Ingress名称，例如nginxingressdemo。 命名空间： 选择需要添加Ingress的命名空间。 对接Nginx： 集群中已安装nginxingress插件后显示此选项，未安装nginxingress模板时本选项不显示。 单击开启后将对接nginxingress提供7层访问，可配置如下参数。 TLS配置 ：nginxingress支持HTTP和HTTPS，安装nginxingress时预留的监听端口，默认HTTP为80，HTTPS为443。使用HTTPS需要配置相关证书。 服务器证书：创建HTTPS协议监听时需要绑定IngressTLS类型的密钥证书，以支持HTTPS数据传输加密认证，创建密钥的方法请参见创建密钥。 SNI：SNI（Server Name Indication）是TLS的扩展协议，在该协议下允许同一个IP地址和端口号下对外提供多个基于TLS的访问域名，且不同的域名可以使用不同的安全证书。开启SNI后，允许客户端在发起TLS握手请求时就提交请求的域名信息。负载均衡收到TLS请求后，会根据请求的域名去查找证书：若找到域名对应的证书，则返回该证书认证鉴权；否则，返回缺省证书（服务器证书）认证鉴权。 转发策略配置： 请求的访问地址与转发规则匹配时（转发规则由域名、URL组成），此请求将被转发到对应的目标Service处理。单击“添加转发策略”按钮可添加多条转发策略。 域名：实际访问的域名地址。请确保所填写的域名已注册并备案，在Ingress创建完成后，将域名与自动创建的负载均衡实例的IP（即Ingress访问地址的IP部分）绑定。一旦配置了域名规则，则必须使用域名访问。 URL：需要注册的访问路径，例如：/healthz。社区v1.2.0版本（对应CCE nginxingress插件2.1.0版本）后修复CVE202125745( 目标服务名称：请选择已有Service或新建Service。页面列表中的查询结果已自动过滤不符合要求的Service。 目标服务访问端口：可选择目标Service的访问端口。 操作：可单击“删除”按钮删除该配置。 说明 Nginx Ingress的URL匹配规则是基于“/”符号分隔的路径前缀匹配，并区分大小写。只要访问路径以“/”符号分隔后的子路径匹配此前缀，均可正常访问，但如果该前缀仅是子路径中的部分字符串，则不会匹配。例如URL设置为/healthz，则匹配/healthz/v1，但不匹配/healthzv1。 注解 ：以“key: value”形式设置，可通过Annotations查询nginxingress支持的配置。社区v1.2.0版本（对应CCE nginxingress插件2.1.0版本）后修复CVE202125746( 步骤 4 配置完成后，单击“创建”。 创建完成后，在Ingress列表可查看到已添加的Ingress。

本文主要介绍DNS概述。 CoreDNS介绍 创建集群时会安装CoreDNS插件，CoreDNS是用来做集群内部域名解析。 在kubesystem命名空间下可以查看到CoreDNS的Pod。 $ kubectl get po namespacekubesystem NAME READY STATUS RESTARTS AGE coredns7689f8bdf295rk 1/1 Running 0 9m11s coredns7689f8bdfh7n68 1/1 Running 0 11m CoreDNS安装成功后会成为DNS服务器，当创建Service后，CoreDNS会将Service的名称与IP记录起来，这样Pod就可以通过向CoreDNS查询Service的名称获得Service的IP地址。 访问时通过nginx..svc.cluster.local访问，其中nginx为Service的名称，为命名空间名称，svc.cluster.local为域名后缀，在实际使用中，在同一个命名空间下可以省略.svc.cluster.local，直接使用ServiceName即可。 使用ServiceName的方式有个主要的优点就是可以在开发应用程序时可以将ServiceName写在程序中，这样无需感知具体Service的IP地址。 CoreDNS插件安装后也有一个Service，在kubesystem命名空间下，如下所示。 $ kubectl get svc n kubesystem NAME TYPE CLUSTERIP EXTERNALIP PORT(S) AGE coredns ClusterIP 10.247.3.10 ​ 默认情况下，其他Pod创建后，会将coredns Service的地址作为域名解析服务器的地址写在Pod的 /etc/resolv.conf 文件中，创建一个Pod，查看/etc/resolv.conf文件，如下所示。 $ kubectl exec test016cbbf97b78krj6h it /bin/sh / cat /etc/resolv.conf nameserver 10.247.3.10 search default.svc.cluster.local svc.cluster.local cluster.local options ndots:5 timeout singlerequestreopen 集群内域名解析示例图

本文主要介绍模版管理概述。 CCE提供了管理Helm Chart（模板）的控制台，能够帮助您方便的使用模板部署应用，并在控制台上管理应用。CCE使用的Helm版本为v3.8.2，支持上传Helm v3语法的模板包，具体请参见通过模板部署应用。 您也可以直接使用Helm客户端直接部署应用，使用Helm客户端部署应用不受版本控制，可以使用Helm v2或v3，具体请参见通过Helm v2客户端部署应用及通过Helm v3客户端部署应用。 Helm Helm是Kubernetes的包管理器，主要用来管理Charts。Helm Chart是用来封装Kubernetes原生应用程序的一系列YAML文件。可以在您部署应用的时候自定义应用程序的一些Metadata，以便于应用程序的分发。对于应用发布者而言，可以通过Helm打包应用、管理应用依赖关系、管理应用版本并发布应用到软件仓库。对于使用者而言，使用Helm后不用需要编写复杂的应用部署文件，可以以简单的方式在Kubernetes上查找、安装、升级、回滚、卸载应用程序。 Helm和Kubernetes之间的关系可以如下类比： Helm Kubernetes Apt Ubuntu Yum CentOS Pip Python Helm的整体架构如下图： Kubernetes的应用编排存在着一些问题，Helm可以用来解决这些问题，如下： 管理、编辑与更新大量的Kubernetes配置文件。 部署一个含有大量配置文件的复杂Kubernetes应用。 分享和复用Kubernetes配置和应用。 参数化配置模板支持多个环境。 管理应用的发布：回滚、diff和查看发布历史。 控制一个部署周期中的某一些环节。 发布后的测试验证。

本文主要介绍Helm v2与Helm v3的差异及适配方案。 随着Helm v2 发布最终版本Helm 2.17.0，Helm v3 现在已是 Helm 开发者社区支持的唯一标准。为便于管理，建议用户尽快将模板切换至Helm v3格式。 当前社区从Helm v2演进到Helm v3，主要有以下变化： 1. 移除tiller Helm v3 使用更加简单和灵活的架构，移除了 tiller，直接通过kubeconfig连接apiserver，简化安全模块，降低了用户的使用壁垒。 2. 改进了升级策略，采用三路策略合并补丁 Helm v2 使用双路策略合并补丁。在升级过程中，会对比最近一次发布的chart manifest和本次发布的chart manifest的差异，来决定哪些更改会应用到Kubernetes资源中。如果更改是集群外带的（比如通过kubectl edit），则修改不会被Helm识别和考虑。结果就是资源不会回滚到之前的状态。 Helm v3 使用三路策略来合并补丁，Helm在生成一个补丁时，会考虑之前老的manifest的活动状态。因此，Helm在使用老的chart manifest生成新补丁时会考虑当前活动状态，并将其与之前老的 manifest 进行比对，并再比对新的 manifest 是否有改动，并进行自动补全，以此来生成最终的更新补丁。 详情及示例请见Helm官方文档： 3. 默认存储驱动程序更改为secrets Helm v2 默认情况下使用 ConfigMaps 存储发行信息，而在 Helm v3 中默认使用 Secrets。 4. 发布名称限制在namespace范围内 Helm v2 只使用tiller 的namespace 作为release信息的存储，这样全集群的release名字都不能重复。Helm v3只会在release安装的所在namespace记录对应的信息，这样release名称可在不同命名空间重用。应用和release命名空间一致。 5. 校验方式改变 Helm v3 对模板格式的校验更加严格，如Helm v3 将chart.yaml的apiVersion从v1切换到v2，针对Helm v2的chart.yaml，强要求指定apiVersion为v1。可安装Helm v3客户端后，通过执行helm lint命令校验模板格式是否符合v3规范。 适配方案 ：根据Helm官方文档 v3模板，apiVersion字段必填。 6. 废弃crdinstall Helm v3删除了crdinstall hook， 并用chart中的crds目录替换。需要注意的是，crds目录中的资源只有在release安装时会部署，升级时不会更新，删除时不会卸载crds目录中的资源。若crd已存在，则重复安装不会报错。 适配方案 ：根据Helm官方文档 当前可使用crds目录或者将crd定义单独放入chart。考虑到目前不支持使用Helm升级或删除CRD，推荐分隔chart，将CRD定义放入chart中，然后将所有使用该CRD的资源放到另一个 chart中进行管理。 7. 未通过helm创建的资源不强制update，releaes默认不强制升级 Helm v3强制升级逻辑变化，不再是升级失败后走删除重建，而是直接走put更新逻辑。因此当前CCE release升级默认使用非强制更新逻辑，无法通过Patch更新的资源将导致release升级失败。若环境存在同名资源且无Helm V3的归属标记app.kubernetes.io/managedby: Helm，则会提示资源冲突。 适配方案 ：删除相关资源，并通过Helm创建。 8. Release history数量限制更新 为避免release 历史版本无限增加，当前release升级默认只保留最近10个历史版本。 更多变化和详细说明请参见Helm官方文档 Helm v2与Helm v3的区别： Helm v2如何迁移到Helm v3：

本文主要介绍管理节点伸缩策略。 操作场景 节点伸缩策略创建完成后，可对创建的策略进行删除、编辑、停用、启用、克隆等操作。 查看节点伸缩策略 您可以查看节点伸缩策略的关联节点池、执行规则和伸缩历史，参照界面中的提示有针对性的解决异常问题。 步骤 1 在CCE控制台，单击集群名称进入集群。 步骤 2 单击左侧导航栏的“节点伸缩”，单击要查看的策略前方的。 步骤 3 在展开的区域中，可以看到该策略的关联节点池、执行规则和伸缩历史页签，若策略异常，请参照界面中的报错提示进行定位处理。 说明 您还可以在节点池管理中关闭或开启弹性扩缩容，登录CCE控制台，在左侧导航栏中单击“资源管理 > 节点池管理”，单击要操作的节点池右上角的“编辑”，在弹出的“编辑节点池”窗口中的可以看到“弹性扩缩容”按钮，并可设置节点数上下限和弹性缩容冷却时间。 删除节点伸缩策略 步骤 1 在CCE控制台，单击集群名称进入集群。 步骤 2 单击左侧导航栏的“节点伸缩”，单击要删除的策略后方的“更多 > 删除”。 步骤 3 在弹出的“删除节点伸缩策略”窗口中，确认是否删除。 步骤 4 单击“是”按钮即完成删除操作。

参数 参数说明 策略名称 新建策略的名称，请自定义。 命名空间 请选择工作负载所在的命名空间。 关联工作负载 请选择要设置HPA策略的工作负载。 实例范围 请输入最小实例数和最大实例数。策略触发时，工作负载实例将在此范围内伸缩。 冷却时间 请输入缩容和扩容的冷却时间，单位为分钟， 缩容扩容冷却时间不能小于1分钟 。 该设置仅在1.15及以上版本的集群中显示，1.13版本的集群不支持该设置。 策略成功触发后，在此缩容/扩容冷却时间内，不会再次触发缩容/扩容，目的是等待伸缩动作完成后在系统稳定且集群正常的情况下进行下一次策略匹配。 策略规则 策略规则可基于系统指标或自定义指标。 指标：可选择“CPU利用率”或“内存利用率”。 说明 利用率 工作负载Pod的实际使用量 / 申请量。 期望值：请输入期望资源平均利用率。期望值表示所选指标的期望值，通过向上取整(当前指标值 / 期望值 × 当前实例数)来计算需要伸缩的实例数。阈值：请输入缩容和扩容阈值。当指标值大于缩容阈值且小于扩容阈值时，不会触发扩容或缩容。 阈值仅在1.15及以上版本的集群中支持 。 自定义策略（仅在1.15及以上版本的集群中支持） 自定义指标名称：自定义指标的名称，输入时可根据联想值进行选择。 指标来源：在下拉框中选择对象类型，可选择“Pod”。 期望值：Pod支持指标为平均值。br伸缩范围：当指标值处于伸缩范围中时才会触发伸缩 说明 HPA在计算扩容、缩容实例数时，会选择最近5分钟内实例数的最大值。

本文主要介绍 Master节点SSH联通性检查。 检查项内容 检查当前CCE是否能连接至您的Master节点。 解决方案 请通过工单方式，联系技术支持人员排查。