本文主要介绍模板插件类问题。 一、 集群安装nginxingress插件失败，一直处于创建中？ 问题背景 客户已经购买并搭建了CCE集群，希望在公网上可以访问到CCE上部署的应用服务，目前最高效的方式是在ingress资源上注册该应用的Service路径，从而满足要求。 但客户安装ingress插件后，插件状态一直显示“创建中”，nginxingresscontoller的pod一直处于pending状态。 解决方案 nginx限制的内存资源不足导致无法启动，取消限制后正常。 场景模拟 步骤 1 新集群3个节点，规格 6cpu，12G内存，每个节点2U4G。 步骤 2 单击nginxingress插件安装，选择规格2核2G。 步骤 3 nginxingress deployment安装成功，但是nginxingresscontroller安装失败。 一直处于创建中 安装失败 步骤 4 错误显示资源不足。 步骤 5 添加节点资源为4U8G后，nginxingress安装正常。 问题原因 最初建立的集群中各节点的基本配置为2U4G，且各节点上有kubelet，kubeproxy及docker等相关程序占用系统资源，导致节点可用资源低于2000m，无法满足nginxingress插件的要求，从而无法安装。 建议方案 请重新购买节点，节点要求（>4U8G）。

创建模板实例 步骤 1 登录CCE控制台，在左侧导航栏中选择“模板市场 > 我的模板”。 步骤 2 在已上传的模板中，单击“安装”。 步骤 3 参照下表设置安装工作负载参数，其中带“”标志的参数为必填参数。 表安装工作负载参数说明 参数 参数说明 模板实例名称 新建模板实例名称，命名必须唯一。 模板版本 默认为模板的版本。 部署集群 选择部署工作负载的集群。 命名空间 指定部署的命名空间。 高级配置 用户可以导入values.yaml文件，导入后可替换模板包中的values.yaml文件；也可直接在配置框中在线编辑模板参数。 说明： 此处导入的values.yaml文件需符合yaml规范，即KEY:VALUE格式。对于文件中的字段不做任何限制。 导入的value.yaml的key值必须与所选的模板包的values.yaml保持一致，否则不会生效。即key不能修改。 1. 单击“导入配置文件”。 2. 选择对应的values.yaml文件，单击“打开”。 步骤 4 配置完成后，单击“自定义安装”。 步骤 5 确认订单后，单击“提交”。 步骤 6 单击“返回模板实例列表”查看模板工作负载的运行状态，或单击“查看模板实例详情”查看模板工作负载的详情。 升级模板工作负载 步骤 1 登录CCE控制台，在左侧导航栏中选择“模板市场 > 我的模板 > 模板实例”。 步骤 2 单击待升级工作负载后的“升级”，设置升级模板工作负载的参数。 步骤 3 选择对应的模板版本。 步骤 4 参照界面提示修改模板参数。单击“升级”，再单击“提交”。 步骤 5 单击“返回模板实例列表”，模板状态为“升级成功”时，表明工作负载升级成功。 回退模板工作负载 步骤 1 登录CCE控制台，在左侧导航栏中选择“模板市场 > 我的模板 > 模板实例”。 步骤 2 单击待回退工作负载后的“更多 > 回退”，选择要回退的工作负载版本，单击“回退”。 模板工作负载列表中，状态为“回退成功”时，表明工作负载回退成功。 卸载模板工作负载 步骤 1 登录CCE控制台，在左侧导航栏中选择“模板市场 > 我的模板 > 模板实例”。 步骤 2 单击待卸载模板实例后的“更多 > 卸载”，确认待卸载模板实例后，单击“是”。模板实例卸载后不能恢复，请谨慎操作。

CCE通过云硬盘为您提供快照功能，云硬盘快照简称快照，指云硬盘数据在某个时刻的完整拷贝或镜像，是一种重要的数据容灾手段，当数据丢失时，可通过快照将数据完整的恢复到快照时间点。 您可以创建快照，从而快速保存指定时刻云硬盘的数据。同时，您还可以通过快照创建新的云硬盘，这样云硬盘在初始状态就具有快照中的数据。 使用须知 快照功能仅支持 v1.15 及以上版本的集群，且需要安装基于CSI的Everest插件才可以使用。 基于快照创建的云硬盘，其子类型（普通IO/高IO/超高IO）、磁盘模式（VBD/SCSI）、共享性(非共享/共享)、容量等都要与快照关联母盘保持一致，这些属性查询和设置出来后不能够修改。 使用场景 快照功能可以帮助您实现以下需求： 日常备份数据 通过对云硬盘定期创建快照，实现数据的日常备份，可以应对由于误操作、病毒以及黑客攻击等导致数据丢失或不一致的情况。 快速恢复数据 更换操作系统、应用软件升级或业务数据迁移等重大操作前，您可以创建一份或多份快照，一旦升级或迁移过程中出现问题，可以通过快照及时将业务恢复到快照创建点的数据状态。 例如，当由于云服务器 A的系统盘 A发生故障而无法正常开机时，由于系统盘 A已经故障，因此也无法将快照数据回滚至系统盘A。此时您可以使用系统盘 A已有的快照新创建一块云硬盘 B并挂载至正常运行的云服务器 B上，从而云服务器 B能够通过云硬盘 B读取原系统盘 A的数据。 说明：当前CCE提供的快照能力与K8S社区CSI快照功能一致：只支持基于快照创建新云硬盘，不支持将快照回滚到源云硬盘。 快速部署多个业务 通过同一个快照可以快速创建出多个具有相同数据的云硬盘，从而可以同时为多种业务提供数据资源。例如数据挖掘、报表查询和开发测试等业务。这种方式既保护了原始数据，又能通过快照创建的新云硬盘快速部署其他业务，满足企业对业务数据的多元化需求。 操作概览 1. 您可以创建快照.docx

参数 参数说明 取值样例 资源类型 配置告警规则监控的服务名称。 弹性云主机 维度 用于指定告警规则对应指标的维度名称 云服务器 监控范围 告警规则适用的资源范围，可选择资源分组或指定资源。 说明 当选择资源分组时，该分组下任何资源满足告警策略时，都会触发告警通知。 选择指定资源时，勾选具体的监控对象，单击 将监控对象同步到右侧对话框。 指定资源 选择分组 当监控范围为资源分组时需配置此参数。 选择类型 根据需要可选择从模板导入或自定义创建。 说明 当监控范围为指定资源时可选择从模板导入。 自定义创建 模板 选择需要导入的模板。 告警策略 触发告警规则的告警策略。 当资源类型选择站点监控、日志监控、自定义监控、具体的云服务时，告警策略为一个周期性的动作。当资源类型选择事件监控时，具体的事件为一个瞬间的操作动作，而不是周期性动作。 例如：CPU使用率，监控周期为5分钟，连续三个周期平均值≥80% 挂载点 当监控指标为细颗粒度的磁盘类监控指标时需配置该参数。 Windows系统请输入对应的驱动器号，比如C、D或者E等，Linux系统请输入对应的挂载点，比如/dev、/opt等。 /dev 告警级别 根据告警的严重程度不同等级，可选择紧急、重要、次要、提示。 重要

操作场景 当负载均衡协议为UDP时，健康检查也采用的UDP协议，您需要打开其后端服务器的ICMP协议安全组规则。 操作步骤 步骤 1 登录弹性云主机控制台，找到CCE集群中的节点对应的弹性云主机，单击云服务器名称，进入详情页面。 步骤 2 在“安全组”页签下，单击“更改安全组规则”。 步骤 3 在打开的页面中单击“入方向规则”页签，单击“添加规则”，为云服务器添加入方向规则，单击“确定”。 说明： 您只需为工作负载所在集群下的任意一个节点更改安全组规则，请添加规则即可，不要修改原有的安全组规则。 安全组需放通网段100.125.0.0/16流量。

在CCE上创建工作负载后，可以使用AOM进行运维。 创建工作负载时，建议在AOM侧配置监控告警，以便异常时能及时收到告警。若未配置监控告警，工作负载异常时无法及时收到告警，需要人工巡检环境。 应用运维管理（Application Operations Management，简称AOM）是云上应用的一站式立体化运维管理平台，实时监控您的应用及相关云资源，采集并关联资源的各项指标、日志及事件等数据共同分析应用健康状态，提供灵活的告警及丰富的数据可视化功能，帮助您及时发现故障，全面掌握应用、资源及业务的实时运行状况，快速锁定问题根源，保障业务顺畅运行。 常用操作 当您想要关注某些资源的变更信息时，可对这些资源的指标创建阈值规则。 在日常运维中，通过仪表盘可实时掌握全局。您可以创建并添加关注的内容到仪表盘。 日常巡检应用。

通过设置命名空间级别的资源配额，实现多团队或多用户在共享集群资源的情况下限制团队、用户可以使用的资源总量，包括限制命名空间下创建某一类型对象的数量以及对象消耗计算资源（CPU、内存）的总量。 前提条件 您已成功创建一个Kubernetes集群，参见购买混合集群。 您已成功创建一个命名空间，参见创建命名空间。 背景信息 默认情况下，运行中的Pod可以无限制的使用Node节点上的CPU和内存，这意味着任意一个Pod都可以无节制地使用集群的计算资源，某个命名空间的Pod可能会耗尽集群的所有资源。 kubernetes在一个物理集群上提供了多个虚拟集群，这些虚拟集群被称为命名空间。命名空间可用于多种工作用途，满足多用户的使用需求，通过为每个命名空间配置资源额度可以有效限制资源滥用，从而保证集群的可靠性。 您可为命名空间配置包括CPU、内存、Pod数量等资源的额度，更多信息请参见Resource Quotas。 其中，不同的集群规模对应的Pod数量推荐值如下： 维度 集群规模 Pod数量推荐值 规格 50节点 2500 Pod实例 规格 200节点 1W Pod实例 规格 1000节点 3W Pod实例 规格 2000节点 5W Pod实例 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 命名空间”。 步骤 2 在“集群”下拉框中，选择命名空间所在的集群。 步骤 3 单击对应命名空间后的“配额管理”，单击“编辑配额”。 系统级别的命名空间kubesystem、kubepublic默认不支持设置资源配额。 步骤 4 设置资源配额，单击“确定”。 CPU（Core）：限制命名空间下工作负载实例（Pod）能申请CPU资源的最大值。单位为“核”。 内存（MiB）：限制命名空间下工作负载实例能申请内存资源的最大值。单位为MiB。 有状态工作负载（StatefulSet）：限制命名空间下能创建有状态负载的最大数量。 无状态工作负载（Deployment）：限制命名空间下能创建无状态负载的最大数量。 普通任务（Job）：限制命名空间下能创建普通任务的最大数量。 定时任务（CronJob）：限制命名空间下能创建定时任务的最大数量。 实例（Pod）：限制命名空间下能创建实例的最大数量。 服务（Service）：限制命名空间下能创建服务的最大数量。 须知： 命名空间设置了CPU或内存资源配额后，创建工作负载时，必须指定CPU或内存的请求值（request）和约束值（limit），否则CCE将拒绝创建实例。若设置资源配额值为0，则不限制该资源的使用。 配额累计使用量包含CCE系统默认创建的资源，如default命名空间下系统默认创建的kubernetes服务（该服务可通过后端kubectl工具查看）等，故建议命名空间下的资源配额略大于实际期望值以去除系统默认创建资源的影响。

AutoScaler架构 AutoScaler架构如下图所示，主要由以下几个核心模块组成： 图 AutoScaler架构图 说明 Estimator： 负责扩容场景下，评估满足当前不可调度Pod时，每个节点池需要扩容的节点数量。 Simulator： 负责缩容场景下，找到满足缩容条件的节点。 Expander： 负责在扩容场景下，根据用户设置的不同的策略来，从Estimator选出的节点池中，选出一个最佳的选择。当前Expander有多种策略： Random： 随机选择一个节点池，如果用户没有设置的话，默认是Random。 mostPods： 选择此次扩容后能满足调度最多Pod的节点池，如果有相同的，再随机选择一个。 leastwaste： 选择此次扩容完成后，具有最小浪费的CPU或者Mem资源的节点池。 price： 选择此次扩容所需节点金额最小的节点池。 priority： 根据用户自定义的权重，选择权重最高的节点池。 当前CCE提供除Price以外的所有的策略，当前CCE插件默认使用leastwaste策略。

本节主要介绍快速清理已删除节点上的CCE组件。 使用场景 若集群中包含包周期节点或纳管节点，删除对应集群和节点不会删除对应的ECS，此时请按照界面提示清理节点上CCE组件。若未按照提示清理节点组件，后续需要清理ECS时，可按照如下操作进行清理。 注意 卸载将会删除弹性云主机上的CCE系统用户paas以及docker相关资源，执行清理操作前，若有关键数据需要保留，请提前备份。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理 > 节点管理”，在右侧的节点列表中找到要执行操作的纳管节点，在节点的“操作”区域下单击“更多 > 移除”。 步骤 2 在弹出的“移除纳管节点”对话框中输入"REMOVE"确认移除节点，单击“确认”。 步骤 3 认真阅读弹出的“提示”页面内容，按照步骤清理CCE相关资源。

操作场景 开启了云审计服务后，系统开始记录CCE资源的操作。云审计服务管理控制台保存最近7天的操作记录。 操作步骤 步骤 1 登录管理控制台。 步骤 2 单击页面上方的“服务列表”，选择“管理与部署 > 云审计服务”，进入云审计服务信息页面。 步骤 3 单击左侧导航树的“事件列表”，进入事件列表信息页面。 步骤 4 事件列表支持通过筛选来查询对应的操作事件。当前事件列表支持四个维度的组合查询，详细信息如下： 事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中，事件来源选择“CCE”。 当筛选类型选择事件名称时，还需选择某个具体的事件名称。 选择资源ID时，还需选择或者手动输入某个具体的资源ID。 选择资源名称时，还需选择或手动输入某个具体的资源名称。 操作用户：在下拉框中选择某一具体的操作用户，此操作用户指用户级别，而非租户级别。 事件级别：可选项为“所有事件级别”、“normal”、“warning”、“incident”，只可选择其中一项。 时间范围：可选择查询最近七天内任意时间段的操作事件。 步骤 4 在需要查看的记录左侧，单击展开该记录的详细信息，展开记录如图171所示。 图 展开记录 步骤 5 在需要查看的记录右侧，单击“查看事件”，弹出一个窗口，如图172所示，显示了该操作事件结构的详细信息。 图 查看事件

须知 删除集群会将集群内的节点以及运行的业务与应用全部销毁，请谨慎操作。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”。 步骤 2 单击待删除集群后的“更多 > 删除集群”。 步骤 3 在弹出的“删除集群”窗口中，根据系统提示进行删除操作。 步骤 4 单击“是”，开始执行删除集群操作。 说明 删除集群会将集群内的节点（纳管节点和包周期节点除外）以及运行的工作负载和服务都销毁。 删除集群需要花费1~3分钟，请耐心等候。 请在窗口下方的输入框中输入DELETE以确认删除此集群。 集群不可用时删除集群，存储会残留。 集群版本为v1.13.10及之前版本时，请勿在ELB服务手动修改监听器名称和后端服务器名称，否则删除集群会有资源残留。

类型名称 说明 Role Role对象只能用于授予对某一namespace中资源的访问权限。 ClusterRole ClusterRole对象可以授予整个集群范围内资源访问权限， 也可以对以下几种资源的授予访问权限： l 集群范围资源（例如节点，即node）。 l 非资源类型endpoint（例如”/healthz”）。 l 跨所有namespaces的范围资源（例如pod，需要运行命令kubectl get pods allnamespaces来查询集群中所有的pod)。 RoleBinding RoleBinding可以将同一namespace中的subject（用户）绑定到某个具有特定权限的Role下，则此subject即具有该Role定义的权限。 ClusterRoleBinding ClusterRoleBinding在整个集群级别和所有namespaces将特定的subject与ClusterRole绑定，授予权限。

本文以Helm v3.3.0为例进行演示。 前提条件 在CCE中创建的Kubernetes集群已对接kubectl，具体请参见使用kubectl连接集群。 安装Helm v3 本文以Helm v3.3.0为例进行演示。 如需选择其他合适的版本，请访问 步骤 1 在连接集群的虚拟机上下载Helm客户端。 wget 步骤 2 解压Helm包。 tar xzvf helmv3.3.0linuxamd64.tar.gz 步骤 3 将Helm拷贝到系统path路径下，以下为/usr/local/bin/helm。 mv linuxamd64/helm /usr/local/bin/helm 步骤 4 查看Helm版本。 helm version version.BuildInfo{Version:"v3.3.0", GitCommit:"e29ce2a54e96cd02ccfce88bee4f58bb6e2a28b6", GitTreeState:"clean", GoVersion:"go1.13.4"} 安装Helm模板chart包 CCE提供的模板不能满足要求时，可下载模板的chart包进行安装。 在 1. 下载并解压已获取的chart包，一般chart包格式为.zip。 unzip chart.zip 2. 安装Helm模板。 helm install aerospike/ generatename 3. 安装完成后，执行helm list查看已经安装的模板实例状态。 常见问题 执行Helm version时，提示如下错误信息： Client: &version.Version{SemVer:"v3.3.0", GitCommit:"012cb0ac1a1b2f888144ef5a67b8dab6c2d45be6", GitTreeState:"clean"} E0718 11:46:10.132102 7023 portforward.go:332] an error occurred forwarding 41458 > 44134: error forwarding port 44134 to pod d566b78f997eea6c4b1c0322b34ce8052c6c2001e8edff243647748464cd7919, uid : unable to do port forwarding: socat not found. Error: cannot connect to Tiller 出现上述问题，说明未安装socat，请执行如下命令安装socat。 yum install socat y socat已安装，执行Helm version时，提示如下错误信息： $ helm version Client: &version.Version{SemVer:"v3.3.0", GitCommit:"021cb0ac1a1b2f888144ef5a67b8dab6c2d45be6", GitTreeState:"clean"} Error: cannot connect to Tiller Helm模板从“.Kube/config”中读取配置证书和kubernetes进行通讯，出现上述错误信息说明kubectl配置有误，请重新对接kubectl，具体请参见使用kubectl连接集群。 对接云存储后，存储未创建成功。 出现上述问题可能是创建的pvc中annotation字段导致的，请修改模板名称后再次进行安装。 如果kubectl没有配置好，helm install时会出现如下报错：

参数 参数说明 策略名称 新建策略的名称，请自定义。 集群名称 请选择工作负载所在的集群。 命名空间 请选择工作负载所在的命名空间。 关联工作负载 请选择要设置CustomedHPA策略的工作负载。 实例范围 请输入最小实例数和最大实例数。 策略触发时，工作负载实例将在此范围内伸缩。 冷却时间 请输入冷却时间值，单位为分钟。 策略成功触发后，在此冷却时间内，不会再次触发缩容/扩容，目的是等待伸缩动作完成后在系统稳定且集群正常的情况下进行下一次策略匹配。 策略规则 单击“添加策略规则”在弹出的窗口中设置伸缩策略参数： 规则名称：请输入规则名称，可自定义。 类型：可选择“指标触发”或“周期触发”。 指标触发 触发条件：请选择“CPU利用率”或“内存利用率”，选择“>”或“<”，并输入百分比的值。 执行动作：与上述“触发条件”相对应，达到触发条件值后所要执行的动作，可添加多个执行动作。 是否启用：可单击启用或关闭该策略规则。 周期触发 触发时间：可选择每天、每周、每月或每年的具体时间点。 执行动作：与上述“触发时间”相对应，达到触发时间值后所要执行的动作。 是否启用：可单击启用或关闭该策略规则。 单击确定后，您可以在“策略规则”列表中查看添加的规则，并可执行开启关闭、编辑、删除等操作。 单击“策略规则”列表下方的“添加策略规则”，可设置多条策略。

操作场景 HPA或CustomedHPA策略创建完成后，可对创建的策略进行更新、克隆、编辑YAML以及删除等操作。 操作场景 您可以查看HPA策略的规则、状态和事件，参照界面中的报错提示有针对性的解决异常事件。 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击要查看的HPA策略前方的。 步骤 2 在展开的区域中，可以看到规则、状态和事件页签，若策略异常，请参照界面中的报错提示进行定位处理。 说明：您还可以在工作负载详情页中查看已创建的HPA策略，登录CCE控制台，在左侧导航栏中单击“工作负载 > 无状态负载 Deployment”，单击工作负载后方“操作”中的“更多 > 伸缩”，在该工作负载详情页的“伸缩”页签下可以看到“弹性伸缩 HPA / CustomedHPA”，您在“弹性伸缩”页面配置的HPA策略也会在这里显示。 表事件类型及名称 事件类型 事件名称 描述 正常 SuccessfulRescale 扩缩容成功 异常 InvalidTargetRange 无效的TargetRange 异常 InvalidSelector 无效选择器 异常 FailedGetObjectMetric 获取对象失败数 异常 FailedGetPodsMetric 获取Pod列表失败指标 异常 FailedGetResourceMetric 获取资源失败数 异常 FailedGetExternalMetric 获取外部指标失败 异常 InvalidMetricSourceType 无效的指标来源类型 异常 FailedConvertHPA 转换HPA失败 异常 FailedGetScale 获取比例尺失败 异常 FailedComputeMetricsReplicas 计算指标副本数失败 异常 FailedGetScaleWindow 获取ScaleWindow失败 异常 FailedRescale 扩缩容失败 查看CustomedHPA策略 您可以查看CustomedHPA策略的规则和最新状态，参照界面中的报错提示有针对性的解决异常事件。 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击要查看的CustomedHPA策略前方的。 步骤 2 在展开的区域中，可以看到规则页签，若策略异常，请单击“最新状态”栏中的“详情”，参照展开的详细信息进行定位处理。 说明：您还可以在工作负载详情页中查看已创建的CustomedHPA策略，登录CCE控制台，在左侧导航栏中单击“工作负载 > 无状态负载 Deployment”，单击工作负载后方“操作”中的“更多 > 伸缩”，在该工作负载详情页的“伸缩”页签下可以看到“弹性伸缩 HPA / CustomedHPA”，您在“弹性伸缩”页面配置的CustomedHPA策略也会在这里显示。 更新HPA或CustomedHPA策略 以HPA策略为例。 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击策略后方“操作”栏中的“更新”。 步骤 2 在打开的“更新工作负载HPA策略”页面中，更新策略参数。 步骤 3 单击“更新”完成策略更新。 克隆HPA或CustomedHPA策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击策略后方“操作”栏中的“克隆”。 步骤 2 在打开的“创建工作负载HPA策略”页面中，可以看到部分参数（如实例范围、冷却时间和策略规则）已经克隆过来，请按照业务需求补充或修改其他策略参数。 步骤 3 单击“创建”完成策略克隆，在“工作负载伸缩”页签下的策略列表中可以看到新克隆的策略。 编辑YAML（HPA策略） 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击HPA策略后方“操作”栏中的“更多 > 编辑YAML”。 步骤 2 在弹出的“编辑YAML”窗口中，可以对YAML进行修改和下载。 步骤 3 在右上角关闭窗口完成操作。 查看YAML（CustomedHPA策略） 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击CustomedHPA策略后方“操作”栏中的“更多 > 查看YAML”。 步骤 2 在弹出的“查看YAML”窗口中，可以对YAML进行复制和下载，不能对其修改。 步骤 3 在右上角关闭窗口完成操作。 删除HPA或CustomedHPA策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击策略后方“操作”栏中的“更多 > 删除”。 步骤 2 在弹出的“删除HPA策略”窗口中，确认是否删除。 步骤 3 单击“是”完成删除操作。

操作场景 集群中的节点关机后，该节点以及节点内的业务将停止运行，节点关机前，请先确认您的正常业务运行将不受影响，请谨慎操作。节点关机后不再收费。 约束与限制 节点关机会涉及Pod迁移，可能会影响业务，请在业务低峰期操作。 操作过程中可能存在非预期风险，请提前做好相关的数据备份。 操作过程中，后台会把当前节点设置为不可调度状态。 节点关机仅能对工作节点关机，不会对控制节点关机。 操作方法 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”。 步骤 2 在节点管理列表中，单击待关机节点的名称。 步骤 3 在打开的节点管理详情页中，单击节点名称。 步骤 4 页面跳转至弹性云主机详情页中，单击右上角的“关机”，在弹出的关机窗口中单击“是”，即可完成关机操作。

本文主要介绍使用CoreDNS实现自定义域名解析。 应用现状 在使用CCE时，可能会有解析自定义内部域名的需求，例如： 存量代码配置了用固定域名调用内部其他服务，如果要切换到Kubernetes Service方式，修改配置工作量大。 在集群外自建了一个其他服务，需要将集群中的数据通过固定域名发送到这个服务。 解决方案 使用CoreDNS有以下几种自定义域名解析的方案。 为CoreDNS配置存根域：可以直接在控制台添加，简单易操作。 使用 CoreDNS Hosts 插件配置任意域名解析：简单直观，可以添加任意解析记录，类似在本地/etc/hosts中添加解析记录。 使用 CoreDNS Rewrite 插件指向域名到集群内服务：相当于给Kubernetes中的Service名称取了个别名，无需提前知道解析记录的IP地址。 使用 CoreDNS Forward 插件将自建 DNS 设为上游 DNS：自建DNS中，可以管理大量的解析记录，解析记录专门管理，增删记录无需修改CoreDNS配置。 注意事项 CoreDNS修改配置需额外谨慎，因为CoreDNS负责集群的域名解析任务，修改不当可能会导致集群解析出现异常。请做好修改前后的测试验证。 为CoreDNS配置存根域 集群管理员可以修改CoreDNS Corefile的ConfigMap以更改服务发现的工作方式。 若集群管理员有一个位于10.150.0.1的Consul域名解析服务器，并且所有Consul的域名都带有.consul.local的后缀。 步骤 1 登录CCE控制台，单击集群名称进入集群。 步骤 2 在左侧导航栏中选择“插件管理”，在“已安装插件”下，在CoreDNS下单击“编辑”，进入插件详情页。 步骤 3 在“参数配置”下添加存根域。 修改stubdomains参数，格式为一个键值对，键为DNS后缀域名，值为一个或一组DNS IP地址，如下所示。 { "stubdomains": { "consul.local": [ "10.150.0.1" ] }, "upstreamnameservers": [] } 步骤 4 单击“确定”。 也可以通过修改ConfigMap，直接按如下方式添加。 $ kubectl edit configmap coredns n kubesystem apiVersion: v1 data: Corefile: .:5353 { bind {$PODIP} cache 30 errors health {$PODIP}:8080 kubernetes cluster.local inaddr.arpa ip6.arpa { pods insecure fallthrough inaddr.arpa ip6.arpa } loadbalance roundrobin prometheus {$PODIP}:9153 forward . /etc/resolv.conf { policy random } reload }consul.local:5353 { bind {$PODIP} errors cache 30 forward . 10.150.0.1 } kind: ConfigMap metadata: creationTimestamp: "20220504T04:42:24Z" labels: app: coredns k8sapp: coredns kubernetes.io/clusterservice: "true" kubernetes.io/name: CoreDNS release: cceaddoncoredns name: coredns namespace: kubesystem resourceVersion: "8663493" uid: bba871429f8d4056b8a694c3887e9e1d

参数 描述 volume.beta.kubernetes.io/storageclass 云硬盘类型，全大写。当前支持高I/O（SAS）、超高I/O（SSD）和普通I/O（SATA）。 failuredomain.beta.kubernetes.io/region 集群所在的region。 failuredomain.beta.kubernetes.io/zone 创建云硬盘所在的可用区，必须和工作负载规划的可用区保持一致。 storage 存储容量，单位为Gi。 accessModes 指定读写模式，显示volume实际具有的访问模式。支持配置“ReadWriteMany”（共享卷）与“ReadWriteOnly”（非共享卷）

文件存储（SFS）适用于多种使用场景，如媒体处理、内容管理、大数据、分析工作负载程序等。 图CCE挂载文件存储卷 文件存储说明 符合标准文件协议：用户可以将文件系统挂载给服务器，像使用本地文件目录一样。 数据共享：多台服务器可挂载相同的文件系统，数据可以共享操作和访问。 私有网络：数据访问必须在数据中心内部网络中。 单文件系统容量较高（PB级），性能极佳（IO读写时延ms级），主要面向媒体编辑、HPC、文件共享等场景。 适用于多读多写（ReadWriteMany）场景下的各种工作负载（Deployment/StatefulSet）和普通任务（Job）使用。

本文主要介绍节点CPU数量检查。 检查项内容 检查Master节点的CPU数量是否大于2核。 解决方案 Master节点CPU数量为2核时，请联系技术支持人员，将该集群Master节点扩容至4核及以上。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载间的亲和性 > 与工作负载的反亲和性”下的“添加”。 步骤 2 勾选不希望部署到相同节点的工作负载，单击“确定”。 当前创建的工作负载会和已勾选的工作负载部署在不同节点上。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载.docx section155246177178 " ")或通过kubectl命令行创建有状态工作负载.docx section113441881214 " ")，工作负载间反亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: app

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和节点的亲和性 > 与节点的亲和性”下的“添加”。 步骤 2 勾选工作负载需要部署到的节点，单击“确定”。 若勾选多个节点，部署工作负载时会在这些勾选的节点中自动指定。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和节点亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: nodeName node中lable 的key operator: In values: testnode1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加亲和对象”。 步骤 3 对象类型选为“节点”，勾选工作负载希望部署到的节点，设置完成后当前工作负载会部署到已选择的节点上。 说明： 该方法可新增、编辑和删除调度策略。

本文主要介绍 Helm模板检查 检查项内容 当前检查当前HelmRelease记录中是否含有目标集群版本不支持的K8S废弃API，可能导致升级后helm模板不可用。 解决方案 将HelmRelease记录中K8S废弃API转换为源版本和目标版本均兼容的API。 说明 该检查项解决方案已在升级流程中自动兼容处理，此检查不再限制。您无需关注并处理。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载间的亲和性 > 与工作负载的亲和性”下的“添加”。 步骤 2 勾选希望部署到相同节点的工作负载，单击“确定”。 当前创建的工作负载会和已勾选的工作负载部署在相同节点上。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载.docx section155246177178 " ")或通过kubectl命令行创建有状态工作负载.docx section113441881214 " ")，工作负载间亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: app

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和节点的亲和性 > 与节点的反亲和性”下的“添加”。 步骤 2 勾选工作负载不希望部署到的节点，单击“确定”。 若勾选多个节点，工作负载将不会部署到这些节点上。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和节点反亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: nodeName node中lable 的key operator: NotIn notin说明不部署 values: testnode1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加反亲和对象”。 步骤 3 对象类型选择“节点”，勾选工作负载不希望部署到的节点，设置完成后当前工作负载不会部署到已选择的节点上。 图添加反亲和对象节点 说明：该方法可新增、编辑和删除调度策略。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和可用区的亲和性 > 与可用区的亲和性”前的。 步骤 2 单击工作负载希望部署到的可用区。 当前创建的工作负载会部署到已选择的可用区中。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和可用区亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: azindeployment spec: replicas: 1 selector: matchLabels: app: azindeployment strategy: type: RollingUpdate template: metadata: labels: app: azindeployment spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: failuredomain.beta.kubernetes.io/zone node中lable 的key operator: In values: az1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加亲和对象”。 步骤 3 对象类型选为“可用区”，单击工作负载希望部署到的可用区，当前创建的工作负载会部署到已选择的可用区中。 说明： 该方法可新增、编辑和删除调度策略。

参数 详情 取值 enableresourcequota 创建namespace时是否自动创建resourcequota对象。 false：不自动创建resourcequota对象。 true：自动创建resourcequota对象。resourcequota的默认取值请参见设置资源配额及限制。 默认：false

操作场景 当前支持给Java类工作负载提供调用链、拓扑等监控能力，若您为Java类工作负载，并且需要监控状态，请勾选“Java探针”选项，并输入监控组名称。 工作负载创建时和创建后，均可以对Java类工作负载监控进行设置。 说明： 若您还未开通应用性能管理服务，请单击界面中的，参照界面提示购买应用实例数，单击“立即购买”，查看订单无误后，参照界面提示单击“提交订单”。 操作步骤 创建工作负载时进行设置 步骤 1 登录CCE管理控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”，单击“创建无状态工作负载”或“创建有状态工作负载”。 步骤 2 在创建工作负载时，在“高级设置”中找到“性能管理配置”，在“安装探针”处勾选“Java探针”，将会启用应用性能管理服务并在节点上安装探针。 说明：安装探针会产生少量资源消耗，主要作用是可对java工作负载提供应用调用链、拓扑、SQL分析、堆栈追踪等监控能力。 步骤 3 输入监控组名称，如testapp。若已有监控组，可下拉选择。 步骤 4 选择“探针版本”。探针版本默认为latest，具体可查看下拉框后的“版本说明”。 图设置性能管理配置 步骤 5 选择“探针升级策略”，默认为“重启自动升级”。 说明：“探针升级策略”为获取探针镜像的策略，可选值有“重启自动升级”和“手动升级”。 重启自动升级：每次都尝试重新下载镜像。 手动升级：如果本地有该镜像，则使用本地镜像，本地不存在时下载镜像。 创建工作负载后设置或修改 步骤 1 登录CCE管理控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 在工作负载列表中，单击要设置的工作负载名称，在工作负载详情页中单击“工作负载运维”页签。 步骤 3 在“性能管理配置”中，单击下方的“编辑”，勾选“Java探针”，将会启用应用性能管理服务并在节点上安装探针。 图12 单击编辑后进行设置 说明： 安装探针会产生少量资源消耗，主要作用是可对java工作负载提供应用调用链、拓扑、SQL分析、堆栈追踪等监控能力。 步骤 4 输入或修改“监控组”名称，如testapp。若已有监控组，可下拉选择。 步骤 5 选择“探针版本”。探针版本默认为latest，具体可查看下拉框后的“版本说明”。 步骤 6 选择“探针升级策略”，默认为“重启自动升级”。 图设置或修改性能管理配置 步骤 7 单击“重启实例”，完成设置。 说明： 1.9.7以下版本的集群，在“有状态工作负载”中不能修改该设置。 步骤 8 应用启动后，等待约3分钟，应用数据就会呈现在APM界面中，此时登录APM，您可以在APM上通过拓扑、调用链等进行应用性能优化，详细操作请参考。

事件类型 事件名称 描述 正常 SuccessfulRescale 扩缩容成功 异常 InvalidTargetRange 无效的TargetRange 异常 InvalidSelector 无效选择器 异常 FailedGetObjectMetric 获取对象失败数 异常 FailedGetPodsMetric 获取Pod列表失败指标 异常 FailedGetResourceMetric 获取资源失败数 异常 FailedGetExternalMetric 获取外部指标失败 异常 InvalidMetricSourceType 无效的指标来源类型 异常 FailedConvertHPA 转换HPA失败 异常 FailedGetScale 获取比例尺失败 异常 FailedComputeMetricsReplicas 计算指标副本数失败 异常 FailedGetScaleWindow 获取ScaleWindow失败 异常 FailedRescale 扩缩容失败

集群唤醒 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理”。 步骤 2 单击待唤醒集群后的。 图 集群唤醒提示 步骤 3 当集群状态由“唤醒中”变为“运行中”时，即完成唤醒操作，唤醒集群预计需要35分钟。 集群唤醒后，将继续收取控制节点资源费用。

操作场景 用户在不删除现有节点的情况下，将工作负载迁移到新的节点上。迁移流程如下图所示。 约束与限制 现有节点和工作负载待迁移的节点必须在同一集群。 当前仅支持在Kubernetes v1.13.10及以后集群版本执行此操作。 默认节点池DefaultPool不支持修改配置。 原有节点在默认节点池 步骤 1 创建新的节点。 1. 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 2. 在集群选择框中，选择现有节点所属的集群。 3. 单击“创建节点池”，设置节点池如下参数，其他参数根据需要进行修改，参数说明请参见节点池管理>创建节点池。 a. 节点池名称：新建节点池的名称，例如nodepooldemo。 b. 节点购买数量：本例添加一个节点。 c. 节点规格：请根据业务需求选择相应的节点规格。 d. 操作系统：选择节点对应的操作系统。 e. 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：在选项框中选择用于登录本节点的密钥对，并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 4. 单击“下一步：配置确认”。确认节点池配置后，单击“提交”。 单击“返回节点池管理”返回节点池列表。在节点列表中可查看到新建节点池已创建，且状态为“正常”。 步骤 2 单击节点池名称，在节点列表中可查看到新建节点的IP地址。 步骤 3 安装配置kubectl。 1. 在左侧导航栏中选择“资源管理 > 集群管理”，单击现有节点所在集群下的“命令行工具 > kubectl”。 2. 在集群详情页中的“kubectl”页签下，请参照界面中的提示信息完成集群连接。 步骤 4 迁移工作负载。 1. 给需要迁移工作负载的节点打上Taint（污点）。 kubectl taint node [node] keyvalue:[effect] 其中，[node]为待迁移工作负载所在节点的IP；[effect]取值为NoSchedule、PreferNoSchedule或NoExecute，此处必须设置为NoSchedule。 − NoSchedule：一定不能被调度。 − PreferNoSchedule：尽量不要调度。 − NoExecute：不仅不会调度，还会驱逐Node上已有的Pod。 说明： 若需要重新设置污点时，可执行kubectl taint node [node] key:[effect]命令去除污点。 2. 安全驱逐节点上的工作负载。 kubectl drain [node] 其中，[node]为待转移工作负载所在节点的IP。 3. 在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。在工作负载列表中，待迁移工作负载的状态由“运行中”变为“未就绪”。工作负载状态再次变为“运行中”，表示迁移成功。 说明： 迁移工作负载时，若工作负载配置了节点亲和性，则工作负载会一直提示“未就绪”等异常情况。请单击工作负载名称进入到负载详情页，在选择“调度策略”页签，删除原节点的亲和性配置，并单击“简易调度策略”配置新的节点亲和性和反亲和性策略，详情请参见“亲和反亲和调度>简易调度策略”。 工作负载迁移成功后，在工作负载详情页的“实例列表”页签，可查看到工作负载状已迁移到步骤1中所创建的节点上。 步骤 5 删除原有节点。 工作负载迁移成功且运行正常后，即可在“资源管理 > 节点管理”中删除原有节点。 原有节点不在默认节点池 步骤 1 拷贝节点池并添加节点。 1. 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 2. 在集群选择框中，选择现有节点所属的集群。 在节点池列表中，查找到原有节点所在的节点池。 3. 单击该节点池名称后的“更多 > 拷贝”，在“创建节点池”页面下设置如下参数，其他参数根据需要进行修改，参数说明请参见“节点管理>创建节点池”。 − 节点池名称：新建节点池的名称，例如nodepooldemo。 − 节点购买数量：本例添加一个节点。 − 节点规格：请根据业务需求选择相应的节点规格。 − 操作系统：选择节点对应的操作系统。 − 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：在选项框中选择用于登录本节点的密钥对，并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 4. 单击“下一步：配置确认”。确认节点池配置后，单击“提交”。 单击“返回节点池管理”返回节点池列表。在节点列表中可查看到新建节点池已创建，且状态为“正常”。 步骤 2 单击节点池名称，在节点列表中可查看到新建节点的IP地址。 步骤 3 迁移工作负载。 1. 单击节点池nodepooldemo后的“编辑”配置Taints参数。 2. 单击“Add Taint”，输入Key和Value值，Effect选项有NoSchedule、PreferNoSchedule或NoExecute，此处必须选择“NoExecute”。 − NoSchedule：一定不能被调度。 − PreferNoSchedule：尽量不要调度。 − NoExecute：不仅不会调度，还会驱逐Node上已有的Pod。 说明： 若需要重新设置污点时，可执行kubectl taint node [node] key:[effect]命令去除污点。 3. 单击“保存”。 4. 在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。在工作负载列表中，待迁移工作负载的状态由“运行中”变为“未就绪”。工作负载状态再次变为“运行中”，表示迁移成功。 说明： 迁移工作负载时，若工作负载配置了节点亲和性，则工作负载会一直提示“未就绪”等异常情况。请单击工作负载名称进入到负载详情页，在选择“调度策略”页签，删除原节点的亲和性配置，并单击“简易调度策略”配置新的节点亲和性和反亲和性策略，详情请参见“亲和反亲和调度>简易调度策略”。 工作负载迁移成功后，在工作负载详情页的“Pods”页签，可查看到工作负载状已迁移到步骤1中所创建的节点上。 步骤 4 删除原有节点。 工作负载迁移成功且运行正常后，即可在“资源管理 > 节点池管理”中删除原有节点。

键 值 failuredomain.beta.kubernetes.io/isbaremetal 表示是否为裸金属节点。 例如：false，表示非裸金属节点 failuredomain.beta.kubernetes.io/region 表示节点当前所在区域。 failuredomain.beta.kubernetes.io/zone 表示节点所在区域的可用区。 node.kubernetes.io/subnetid 表示子网的ID。 os.architecture 表示节点处理器架构。 例如：amd64，表示AMD64位的处理器 os.name 表示节点的操作系统名称。 os.version 表示节点内核版本。