本节主要介绍快速清理已删除节点上的CCE组件。 使用场景 若集群中包含包周期节点或纳管节点，删除对应集群和节点不会删除对应的ECS，此时请按照界面提示清理节点上CCE组件。若未按照提示清理节点组件，后续需要清理ECS时，可按照如下操作进行清理。 注意 卸载将会删除弹性云主机上的CCE系统用户paas以及docker相关资源，执行清理操作前，若有关键数据需要保留，请提前备份。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理 > 节点管理”，在右侧的节点列表中找到要执行操作的纳管节点，在节点的“操作”区域下单击“更多 > 移除”。 步骤 2 在弹出的“移除纳管节点”对话框中输入"REMOVE"确认移除节点，单击“确认”。 步骤 3 认真阅读弹出的“提示”页面内容，按照步骤清理CCE相关资源。

操作场景 开启了云审计服务后，系统开始记录CCE资源的操作。云审计服务管理控制台保存最近7天的操作记录。 操作步骤 步骤 1 登录管理控制台。 步骤 2 单击页面上方的“服务列表”，选择“管理与部署 > 云审计服务”，进入云审计服务信息页面。 步骤 3 单击左侧导航树的“事件列表”，进入事件列表信息页面。 步骤 4 事件列表支持通过筛选来查询对应的操作事件。当前事件列表支持四个维度的组合查询，详细信息如下： 事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中，事件来源选择“CCE”。 当筛选类型选择事件名称时，还需选择某个具体的事件名称。 选择资源ID时，还需选择或者手动输入某个具体的资源ID。 选择资源名称时，还需选择或手动输入某个具体的资源名称。 操作用户：在下拉框中选择某一具体的操作用户，此操作用户指用户级别，而非租户级别。 事件级别：可选项为“所有事件级别”、“normal”、“warning”、“incident”，只可选择其中一项。 时间范围：可选择查询最近七天内任意时间段的操作事件。 步骤 4 在需要查看的记录左侧，单击展开该记录的详细信息，展开记录如图171所示。 图 展开记录 步骤 5 在需要查看的记录右侧，单击“查看事件”，弹出一个窗口，如图172所示，显示了该操作事件结构的详细信息。 图 查看事件

须知 删除集群会将集群内的节点以及运行的业务与应用全部销毁，请谨慎操作。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”。 步骤 2 单击待删除集群后的“更多 > 删除集群”。 步骤 3 在弹出的“删除集群”窗口中，根据系统提示进行删除操作。 步骤 4 单击“是”，开始执行删除集群操作。 说明 删除集群会将集群内的节点（纳管节点和包周期节点除外）以及运行的工作负载和服务都销毁。 删除集群需要花费1~3分钟，请耐心等候。 请在窗口下方的输入框中输入DELETE以确认删除此集群。 集群不可用时删除集群，存储会残留。 集群版本为v1.13.10及之前版本时，请勿在ELB服务手动修改监听器名称和后端服务器名称，否则删除集群会有资源残留。

类型名称 说明 Role Role对象只能用于授予对某一namespace中资源的访问权限。 ClusterRole ClusterRole对象可以授予整个集群范围内资源访问权限， 也可以对以下几种资源的授予访问权限： l 集群范围资源（例如节点，即node）。 l 非资源类型endpoint（例如”/healthz”）。 l 跨所有namespaces的范围资源（例如pod，需要运行命令kubectl get pods allnamespaces来查询集群中所有的pod)。 RoleBinding RoleBinding可以将同一namespace中的subject（用户）绑定到某个具有特定权限的Role下，则此subject即具有该Role定义的权限。 ClusterRoleBinding ClusterRoleBinding在整个集群级别和所有namespaces将特定的subject与ClusterRole绑定，授予权限。

本文以Helm v3.3.0为例进行演示。 前提条件 在CCE中创建的Kubernetes集群已对接kubectl，具体请参见使用kubectl连接集群。 安装Helm v3 本文以Helm v3.3.0为例进行演示。 如需选择其他合适的版本，请访问 步骤 1 在连接集群的虚拟机上下载Helm客户端。 wget 步骤 2 解压Helm包。 tar xzvf helmv3.3.0linuxamd64.tar.gz 步骤 3 将Helm拷贝到系统path路径下，以下为/usr/local/bin/helm。 mv linuxamd64/helm /usr/local/bin/helm 步骤 4 查看Helm版本。 helm version version.BuildInfo{Version:"v3.3.0", GitCommit:"e29ce2a54e96cd02ccfce88bee4f58bb6e2a28b6", GitTreeState:"clean", GoVersion:"go1.13.4"} 安装Helm模板chart包 CCE提供的模板不能满足要求时，可下载模板的chart包进行安装。 在 1. 下载并解压已获取的chart包，一般chart包格式为.zip。 unzip chart.zip 2. 安装Helm模板。 helm install aerospike/ generatename 3. 安装完成后，执行helm list查看已经安装的模板实例状态。 常见问题 执行Helm version时，提示如下错误信息： Client: &version.Version{SemVer:"v3.3.0", GitCommit:"012cb0ac1a1b2f888144ef5a67b8dab6c2d45be6", GitTreeState:"clean"} E0718 11:46:10.132102 7023 portforward.go:332] an error occurred forwarding 41458 > 44134: error forwarding port 44134 to pod d566b78f997eea6c4b1c0322b34ce8052c6c2001e8edff243647748464cd7919, uid : unable to do port forwarding: socat not found. Error: cannot connect to Tiller 出现上述问题，说明未安装socat，请执行如下命令安装socat。 yum install socat y socat已安装，执行Helm version时，提示如下错误信息： $ helm version Client: &version.Version{SemVer:"v3.3.0", GitCommit:"021cb0ac1a1b2f888144ef5a67b8dab6c2d45be6", GitTreeState:"clean"} Error: cannot connect to Tiller Helm模板从“.Kube/config”中读取配置证书和kubernetes进行通讯，出现上述错误信息说明kubectl配置有误，请重新对接kubectl，具体请参见使用kubectl连接集群。 对接云存储后，存储未创建成功。 出现上述问题可能是创建的pvc中annotation字段导致的，请修改模板名称后再次进行安装。 如果kubectl没有配置好，helm install时会出现如下报错：

参数 参数说明 策略名称 新建策略的名称，请自定义。 集群名称 请选择工作负载所在的集群。 命名空间 请选择工作负载所在的命名空间。 关联工作负载 请选择要设置CustomedHPA策略的工作负载。 实例范围 请输入最小实例数和最大实例数。 策略触发时，工作负载实例将在此范围内伸缩。 冷却时间 请输入冷却时间值，单位为分钟。 策略成功触发后，在此冷却时间内，不会再次触发缩容/扩容，目的是等待伸缩动作完成后在系统稳定且集群正常的情况下进行下一次策略匹配。 策略规则 单击“添加策略规则”在弹出的窗口中设置伸缩策略参数： 规则名称：请输入规则名称，可自定义。 类型：可选择“指标触发”或“周期触发”。 指标触发 触发条件：请选择“CPU利用率”或“内存利用率”，选择“>”或“<”，并输入百分比的值。 执行动作：与上述“触发条件”相对应，达到触发条件值后所要执行的动作，可添加多个执行动作。 是否启用：可单击启用或关闭该策略规则。 周期触发 触发时间：可选择每天、每周、每月或每年的具体时间点。 执行动作：与上述“触发时间”相对应，达到触发时间值后所要执行的动作。 是否启用：可单击启用或关闭该策略规则。 单击确定后，您可以在“策略规则”列表中查看添加的规则，并可执行开启关闭、编辑、删除等操作。 单击“策略规则”列表下方的“添加策略规则”，可设置多条策略。

操作场景 HPA或CustomedHPA策略创建完成后，可对创建的策略进行更新、克隆、编辑YAML以及删除等操作。 操作场景 您可以查看HPA策略的规则、状态和事件，参照界面中的报错提示有针对性的解决异常事件。 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击要查看的HPA策略前方的。 步骤 2 在展开的区域中，可以看到规则、状态和事件页签，若策略异常，请参照界面中的报错提示进行定位处理。 说明：您还可以在工作负载详情页中查看已创建的HPA策略，登录CCE控制台，在左侧导航栏中单击“工作负载 > 无状态负载 Deployment”，单击工作负载后方“操作”中的“更多 > 伸缩”，在该工作负载详情页的“伸缩”页签下可以看到“弹性伸缩 HPA / CustomedHPA”，您在“弹性伸缩”页面配置的HPA策略也会在这里显示。 表事件类型及名称 事件类型 事件名称 描述 正常 SuccessfulRescale 扩缩容成功 异常 InvalidTargetRange 无效的TargetRange 异常 InvalidSelector 无效选择器 异常 FailedGetObjectMetric 获取对象失败数 异常 FailedGetPodsMetric 获取Pod列表失败指标 异常 FailedGetResourceMetric 获取资源失败数 异常 FailedGetExternalMetric 获取外部指标失败 异常 InvalidMetricSourceType 无效的指标来源类型 异常 FailedConvertHPA 转换HPA失败 异常 FailedGetScale 获取比例尺失败 异常 FailedComputeMetricsReplicas 计算指标副本数失败 异常 FailedGetScaleWindow 获取ScaleWindow失败 异常 FailedRescale 扩缩容失败 查看CustomedHPA策略 您可以查看CustomedHPA策略的规则和最新状态，参照界面中的报错提示有针对性的解决异常事件。 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击要查看的CustomedHPA策略前方的。 步骤 2 在展开的区域中，可以看到规则页签，若策略异常，请单击“最新状态”栏中的“详情”，参照展开的详细信息进行定位处理。 说明：您还可以在工作负载详情页中查看已创建的CustomedHPA策略，登录CCE控制台，在左侧导航栏中单击“工作负载 > 无状态负载 Deployment”，单击工作负载后方“操作”中的“更多 > 伸缩”，在该工作负载详情页的“伸缩”页签下可以看到“弹性伸缩 HPA / CustomedHPA”，您在“弹性伸缩”页面配置的CustomedHPA策略也会在这里显示。 更新HPA或CustomedHPA策略 以HPA策略为例。 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击策略后方“操作”栏中的“更新”。 步骤 2 在打开的“更新工作负载HPA策略”页面中，更新策略参数。 步骤 3 单击“更新”完成策略更新。 克隆HPA或CustomedHPA策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击策略后方“操作”栏中的“克隆”。 步骤 2 在打开的“创建工作负载HPA策略”页面中，可以看到部分参数（如实例范围、冷却时间和策略规则）已经克隆过来，请按照业务需求补充或修改其他策略参数。 步骤 3 单击“创建”完成策略克隆，在“工作负载伸缩”页签下的策略列表中可以看到新克隆的策略。 编辑YAML（HPA策略） 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击HPA策略后方“操作”栏中的“更多 > 编辑YAML”。 步骤 2 在弹出的“编辑YAML”窗口中，可以对YAML进行修改和下载。 步骤 3 在右上角关闭窗口完成操作。 查看YAML（CustomedHPA策略） 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击CustomedHPA策略后方“操作”栏中的“更多 > 查看YAML”。 步骤 2 在弹出的“查看YAML”窗口中，可以对YAML进行复制和下载，不能对其修改。 步骤 3 在右上角关闭窗口完成操作。 删除HPA或CustomedHPA策略 步骤 1 登录CCE控制台，在左侧导航栏中单击“弹性伸缩”，在“工作负载伸缩”页签下，单击策略后方“操作”栏中的“更多 > 删除”。 步骤 2 在弹出的“删除HPA策略”窗口中，确认是否删除。 步骤 3 单击“是”完成删除操作。

操作场景 集群中的节点关机后，该节点以及节点内的业务将停止运行，节点关机前，请先确认您的正常业务运行将不受影响，请谨慎操作。节点关机后不再收费。 约束与限制 节点关机会涉及Pod迁移，可能会影响业务，请在业务低峰期操作。 操作过程中可能存在非预期风险，请提前做好相关的数据备份。 操作过程中，后台会把当前节点设置为不可调度状态。 节点关机仅能对工作节点关机，不会对控制节点关机。 操作方法 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”。 步骤 2 在节点管理列表中，单击待关机节点的名称。 步骤 3 在打开的节点管理详情页中，单击节点名称。 步骤 4 页面跳转至弹性云主机详情页中，单击右上角的“关机”，在弹出的关机窗口中单击“是”，即可完成关机操作。

本文主要介绍使用CoreDNS实现自定义域名解析。 应用现状 在使用CCE时，可能会有解析自定义内部域名的需求，例如： 存量代码配置了用固定域名调用内部其他服务，如果要切换到Kubernetes Service方式，修改配置工作量大。 在集群外自建了一个其他服务，需要将集群中的数据通过固定域名发送到这个服务。 解决方案 使用CoreDNS有以下几种自定义域名解析的方案。 为CoreDNS配置存根域：可以直接在控制台添加，简单易操作。 使用 CoreDNS Hosts 插件配置任意域名解析：简单直观，可以添加任意解析记录，类似在本地/etc/hosts中添加解析记录。 使用 CoreDNS Rewrite 插件指向域名到集群内服务：相当于给Kubernetes中的Service名称取了个别名，无需提前知道解析记录的IP地址。 使用 CoreDNS Forward 插件将自建 DNS 设为上游 DNS：自建DNS中，可以管理大量的解析记录，解析记录专门管理，增删记录无需修改CoreDNS配置。 注意事项 CoreDNS修改配置需额外谨慎，因为CoreDNS负责集群的域名解析任务，修改不当可能会导致集群解析出现异常。请做好修改前后的测试验证。 为CoreDNS配置存根域 集群管理员可以修改CoreDNS Corefile的ConfigMap以更改服务发现的工作方式。 若集群管理员有一个位于10.150.0.1的Consul域名解析服务器，并且所有Consul的域名都带有.consul.local的后缀。 步骤 1 登录CCE控制台，单击集群名称进入集群。 步骤 2 在左侧导航栏中选择“插件管理”，在“已安装插件”下，在CoreDNS下单击“编辑”，进入插件详情页。 步骤 3 在“参数配置”下添加存根域。 修改stubdomains参数，格式为一个键值对，键为DNS后缀域名，值为一个或一组DNS IP地址，如下所示。 { "stubdomains": { "consul.local": [ "10.150.0.1" ] }, "upstreamnameservers": [] } 步骤 4 单击“确定”。 也可以通过修改ConfigMap，直接按如下方式添加。 $ kubectl edit configmap coredns n kubesystem apiVersion: v1 data: Corefile: .:5353 { bind {$PODIP} cache 30 errors health {$PODIP}:8080 kubernetes cluster.local inaddr.arpa ip6.arpa { pods insecure fallthrough inaddr.arpa ip6.arpa } loadbalance roundrobin prometheus {$PODIP}:9153 forward . /etc/resolv.conf { policy random } reload }consul.local:5353 { bind {$PODIP} errors cache 30 forward . 10.150.0.1 } kind: ConfigMap metadata: creationTimestamp: "20220504T04:42:24Z" labels: app: coredns k8sapp: coredns kubernetes.io/clusterservice: "true" kubernetes.io/name: CoreDNS release: cceaddoncoredns name: coredns namespace: kubesystem resourceVersion: "8663493" uid: bba871429f8d4056b8a694c3887e9e1d

参数 描述 volume.beta.kubernetes.io/storageclass 云硬盘类型，全大写。当前支持高I/O（SAS）、超高I/O（SSD）和普通I/O（SATA）。 failuredomain.beta.kubernetes.io/region 集群所在的region。 failuredomain.beta.kubernetes.io/zone 创建云硬盘所在的可用区，必须和工作负载规划的可用区保持一致。 storage 存储容量，单位为Gi。 accessModes 指定读写模式，显示volume实际具有的访问模式。支持配置“ReadWriteMany”（共享卷）与“ReadWriteOnly”（非共享卷）

文件存储（SFS）适用于多种使用场景，如媒体处理、内容管理、大数据、分析工作负载程序等。 图CCE挂载文件存储卷 文件存储说明 符合标准文件协议：用户可以将文件系统挂载给服务器，像使用本地文件目录一样。 数据共享：多台服务器可挂载相同的文件系统，数据可以共享操作和访问。 私有网络：数据访问必须在数据中心内部网络中。 单文件系统容量较高（PB级），性能极佳（IO读写时延ms级），主要面向媒体编辑、HPC、文件共享等场景。 适用于多读多写（ReadWriteMany）场景下的各种工作负载（Deployment/StatefulSet）和普通任务（Job）使用。

本文主要介绍节点CPU数量检查。 检查项内容 检查Master节点的CPU数量是否大于2核。 解决方案 Master节点CPU数量为2核时，请联系技术支持人员，将该集群Master节点扩容至4核及以上。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载间的亲和性 > 与工作负载的反亲和性”下的“添加”。 步骤 2 勾选不希望部署到相同节点的工作负载，单击“确定”。 当前创建的工作负载会和已勾选的工作负载部署在不同节点上。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载.docx section155246177178 " ")或通过kubectl命令行创建有状态工作负载.docx section113441881214 " ")，工作负载间反亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: app

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和节点的亲和性 > 与节点的亲和性”下的“添加”。 步骤 2 勾选工作负载需要部署到的节点，单击“确定”。 若勾选多个节点，部署工作负载时会在这些勾选的节点中自动指定。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和节点亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: nodeName node中lable 的key operator: In values: testnode1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加亲和对象”。 步骤 3 对象类型选为“节点”，勾选工作负载希望部署到的节点，设置完成后当前工作负载会部署到已选择的节点上。 说明： 该方法可新增、编辑和删除调度策略。

本文主要介绍 Helm模板检查 检查项内容 当前检查当前HelmRelease记录中是否含有目标集群版本不支持的K8S废弃API，可能导致升级后helm模板不可用。 解决方案 将HelmRelease记录中K8S废弃API转换为源版本和目标版本均兼容的API。 说明 该检查项解决方案已在升级流程中自动兼容处理，此检查不再限制。您无需关注并处理。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载间的亲和性 > 与工作负载的亲和性”下的“添加”。 步骤 2 勾选希望部署到相同节点的工作负载，单击“确定”。 当前创建的工作负载会和已勾选的工作负载部署在相同节点上。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载.docx section155246177178 " ")或通过kubectl命令行创建有状态工作负载.docx section113441881214 " ")，工作负载间亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: app

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和节点的亲和性 > 与节点的反亲和性”下的“添加”。 步骤 2 勾选工作负载不希望部署到的节点，单击“确定”。 若勾选多个节点，工作负载将不会部署到这些节点上。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和节点反亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: nodeName node中lable 的key operator: NotIn notin说明不部署 values: testnode1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加反亲和对象”。 步骤 3 对象类型选择“节点”，勾选工作负载不希望部署到的节点，设置完成后当前工作负载不会部署到已选择的节点上。 图添加反亲和对象节点 说明：该方法可新增、编辑和删除调度策略。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和可用区的亲和性 > 与可用区的亲和性”前的。 步骤 2 单击工作负载希望部署到的可用区。 当前创建的工作负载会部署到已选择的可用区中。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和可用区亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: azindeployment spec: replicas: 1 selector: matchLabels: app: azindeployment strategy: type: RollingUpdate template: metadata: labels: app: azindeployment spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: failuredomain.beta.kubernetes.io/zone node中lable 的key operator: In values: az1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加亲和对象”。 步骤 3 对象类型选为“可用区”，单击工作负载希望部署到的可用区，当前创建的工作负载会部署到已选择的可用区中。 说明： 该方法可新增、编辑和删除调度策略。

参数 详情 取值 enableresourcequota 创建namespace时是否自动创建resourcequota对象。 false：不自动创建resourcequota对象。 true：自动创建resourcequota对象。resourcequota的默认取值请参见设置资源配额及限制。 默认：false

操作场景 当前支持给Java类工作负载提供调用链、拓扑等监控能力，若您为Java类工作负载，并且需要监控状态，请勾选“Java探针”选项，并输入监控组名称。 工作负载创建时和创建后，均可以对Java类工作负载监控进行设置。 说明： 若您还未开通应用性能管理服务，请单击界面中的，参照界面提示购买应用实例数，单击“立即购买”，查看订单无误后，参照界面提示单击“提交订单”。 操作步骤 创建工作负载时进行设置 步骤 1 登录CCE管理控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”，单击“创建无状态工作负载”或“创建有状态工作负载”。 步骤 2 在创建工作负载时，在“高级设置”中找到“性能管理配置”，在“安装探针”处勾选“Java探针”，将会启用应用性能管理服务并在节点上安装探针。 说明：安装探针会产生少量资源消耗，主要作用是可对java工作负载提供应用调用链、拓扑、SQL分析、堆栈追踪等监控能力。 步骤 3 输入监控组名称，如testapp。若已有监控组，可下拉选择。 步骤 4 选择“探针版本”。探针版本默认为latest，具体可查看下拉框后的“版本说明”。 图设置性能管理配置 步骤 5 选择“探针升级策略”，默认为“重启自动升级”。 说明：“探针升级策略”为获取探针镜像的策略，可选值有“重启自动升级”和“手动升级”。 重启自动升级：每次都尝试重新下载镜像。 手动升级：如果本地有该镜像，则使用本地镜像，本地不存在时下载镜像。 创建工作负载后设置或修改 步骤 1 登录CCE管理控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 在工作负载列表中，单击要设置的工作负载名称，在工作负载详情页中单击“工作负载运维”页签。 步骤 3 在“性能管理配置”中，单击下方的“编辑”，勾选“Java探针”，将会启用应用性能管理服务并在节点上安装探针。 图12 单击编辑后进行设置 说明： 安装探针会产生少量资源消耗，主要作用是可对java工作负载提供应用调用链、拓扑、SQL分析、堆栈追踪等监控能力。 步骤 4 输入或修改“监控组”名称，如testapp。若已有监控组，可下拉选择。 步骤 5 选择“探针版本”。探针版本默认为latest，具体可查看下拉框后的“版本说明”。 步骤 6 选择“探针升级策略”，默认为“重启自动升级”。 图设置或修改性能管理配置 步骤 7 单击“重启实例”，完成设置。 说明： 1.9.7以下版本的集群，在“有状态工作负载”中不能修改该设置。 步骤 8 应用启动后，等待约3分钟，应用数据就会呈现在APM界面中，此时登录APM，您可以在APM上通过拓扑、调用链等进行应用性能优化，详细操作请参考。

事件类型 事件名称 描述 正常 SuccessfulRescale 扩缩容成功 异常 InvalidTargetRange 无效的TargetRange 异常 InvalidSelector 无效选择器 异常 FailedGetObjectMetric 获取对象失败数 异常 FailedGetPodsMetric 获取Pod列表失败指标 异常 FailedGetResourceMetric 获取资源失败数 异常 FailedGetExternalMetric 获取外部指标失败 异常 InvalidMetricSourceType 无效的指标来源类型 异常 FailedConvertHPA 转换HPA失败 异常 FailedGetScale 获取比例尺失败 异常 FailedComputeMetricsReplicas 计算指标副本数失败 异常 FailedGetScaleWindow 获取ScaleWindow失败 异常 FailedRescale 扩缩容失败

集群唤醒 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理”。 步骤 2 单击待唤醒集群后的。 图 集群唤醒提示 步骤 3 当集群状态由“唤醒中”变为“运行中”时，即完成唤醒操作，唤醒集群预计需要35分钟。 集群唤醒后，将继续收取控制节点资源费用。

操作场景 用户在不删除现有节点的情况下，将工作负载迁移到新的节点上。迁移流程如下图所示。 约束与限制 现有节点和工作负载待迁移的节点必须在同一集群。 当前仅支持在Kubernetes v1.13.10及以后集群版本执行此操作。 默认节点池DefaultPool不支持修改配置。 原有节点在默认节点池 步骤 1 创建新的节点。 1. 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 2. 在集群选择框中，选择现有节点所属的集群。 3. 单击“创建节点池”，设置节点池如下参数，其他参数根据需要进行修改，参数说明请参见节点池管理>创建节点池。 a. 节点池名称：新建节点池的名称，例如nodepooldemo。 b. 节点购买数量：本例添加一个节点。 c. 节点规格：请根据业务需求选择相应的节点规格。 d. 操作系统：选择节点对应的操作系统。 e. 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：在选项框中选择用于登录本节点的密钥对，并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 4. 单击“下一步：配置确认”。确认节点池配置后，单击“提交”。 单击“返回节点池管理”返回节点池列表。在节点列表中可查看到新建节点池已创建，且状态为“正常”。 步骤 2 单击节点池名称，在节点列表中可查看到新建节点的IP地址。 步骤 3 安装配置kubectl。 1. 在左侧导航栏中选择“资源管理 > 集群管理”，单击现有节点所在集群下的“命令行工具 > kubectl”。 2. 在集群详情页中的“kubectl”页签下，请参照界面中的提示信息完成集群连接。 步骤 4 迁移工作负载。 1. 给需要迁移工作负载的节点打上Taint（污点）。 kubectl taint node [node] keyvalue:[effect] 其中，[node]为待迁移工作负载所在节点的IP；[effect]取值为NoSchedule、PreferNoSchedule或NoExecute，此处必须设置为NoSchedule。 − NoSchedule：一定不能被调度。 − PreferNoSchedule：尽量不要调度。 − NoExecute：不仅不会调度，还会驱逐Node上已有的Pod。 说明： 若需要重新设置污点时，可执行kubectl taint node [node] key:[effect]命令去除污点。 2. 安全驱逐节点上的工作负载。 kubectl drain [node] 其中，[node]为待转移工作负载所在节点的IP。 3. 在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。在工作负载列表中，待迁移工作负载的状态由“运行中”变为“未就绪”。工作负载状态再次变为“运行中”，表示迁移成功。 说明： 迁移工作负载时，若工作负载配置了节点亲和性，则工作负载会一直提示“未就绪”等异常情况。请单击工作负载名称进入到负载详情页，在选择“调度策略”页签，删除原节点的亲和性配置，并单击“简易调度策略”配置新的节点亲和性和反亲和性策略，详情请参见“亲和反亲和调度>简易调度策略”。 工作负载迁移成功后，在工作负载详情页的“实例列表”页签，可查看到工作负载状已迁移到步骤1中所创建的节点上。 步骤 5 删除原有节点。 工作负载迁移成功且运行正常后，即可在“资源管理 > 节点管理”中删除原有节点。 原有节点不在默认节点池 步骤 1 拷贝节点池并添加节点。 1. 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 2. 在集群选择框中，选择现有节点所属的集群。 在节点池列表中，查找到原有节点所在的节点池。 3. 单击该节点池名称后的“更多 > 拷贝”，在“创建节点池”页面下设置如下参数，其他参数根据需要进行修改，参数说明请参见“节点管理>创建节点池”。 − 节点池名称：新建节点池的名称，例如nodepooldemo。 − 节点购买数量：本例添加一个节点。 − 节点规格：请根据业务需求选择相应的节点规格。 − 操作系统：选择节点对应的操作系统。 − 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：在选项框中选择用于登录本节点的密钥对，并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 4. 单击“下一步：配置确认”。确认节点池配置后，单击“提交”。 单击“返回节点池管理”返回节点池列表。在节点列表中可查看到新建节点池已创建，且状态为“正常”。 步骤 2 单击节点池名称，在节点列表中可查看到新建节点的IP地址。 步骤 3 迁移工作负载。 1. 单击节点池nodepooldemo后的“编辑”配置Taints参数。 2. 单击“Add Taint”，输入Key和Value值，Effect选项有NoSchedule、PreferNoSchedule或NoExecute，此处必须选择“NoExecute”。 − NoSchedule：一定不能被调度。 − PreferNoSchedule：尽量不要调度。 − NoExecute：不仅不会调度，还会驱逐Node上已有的Pod。 说明： 若需要重新设置污点时，可执行kubectl taint node [node] key:[effect]命令去除污点。 3. 单击“保存”。 4. 在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。在工作负载列表中，待迁移工作负载的状态由“运行中”变为“未就绪”。工作负载状态再次变为“运行中”，表示迁移成功。 说明： 迁移工作负载时，若工作负载配置了节点亲和性，则工作负载会一直提示“未就绪”等异常情况。请单击工作负载名称进入到负载详情页，在选择“调度策略”页签，删除原节点的亲和性配置，并单击“简易调度策略”配置新的节点亲和性和反亲和性策略，详情请参见“亲和反亲和调度>简易调度策略”。 工作负载迁移成功后，在工作负载详情页的“Pods”页签，可查看到工作负载状已迁移到步骤1中所创建的节点上。 步骤 4 删除原有节点。 工作负载迁移成功且运行正常后，即可在“资源管理 > 节点池管理”中删除原有节点。

键 值 failuredomain.beta.kubernetes.io/isbaremetal 表示是否为裸金属节点。 例如：false，表示非裸金属节点 failuredomain.beta.kubernetes.io/region 表示节点当前所在区域。 failuredomain.beta.kubernetes.io/zone 表示节点所在区域的可用区。 node.kubernetes.io/subnetid 表示子网的ID。 os.architecture 表示节点处理器架构。 例如：amd64，表示AMD64位的处理器 os.name 表示节点的操作系统名称。 os.version 表示节点内核版本。

操作场景 集群中的每一个节点对应一台弹性云主机或物理机，集群节点创建成功后，您仍可以根据需求，修改云服务器的名称或变更规格。 CCE节点的部分信息是独立于弹性云主机ECS维护的，当您在ECS控制台中修改云服务的名称、弹性公网IP，以及变更计费方式或变更规格后，需要通过“同步节点信息”功能将信息同步到CCE控制台相应节点中，同步后信息将保持一致。 ECS常见信息修改如下： 修改节点名称。 计费方式变更。 当您购买的节点规格无法满足业务需要时，变更规格，升级vCPU、内存。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”。 步骤 2 单击节点后的“更多 > 同步节点信息”。 说明： 您也可以单击节点名称进入节点详情页，单击右上角“同步节点信息”。 同步完成后，页面右上角将会提示“同步成功”。

适用场景 本章介绍在CCE中如何将老版本集群的业务迁移到新版本集群。 适用于需要大幅度跨版本集群升级的需求，可以接受新建新版本集群而进行业务迁移的升级方式。 前提条件 迁移前Checklist 类别 描述 集群相关 Nodeip强相关：确认之前集群的节点IP（包括EIP），是否有作为其他的配置或者白名单之类的设置。 工作负载 记录工作负载数目，便于迁移后检查。 存储 1. 确认应用中存储，是否使用公有云，或者自己搭建存储。 2. 自动创建的存储需要在新集群中变成使用已有存储。 网络 1. 注意使用的负载均衡服务，以及Ingress。 2. 老版本的集群只支持经典型负载均衡服务，迁移到新集群中需要改成共享型负载均衡服务，对应负载均衡服务将会重新建立。 运维 私有配置：确认在之前集群中，是否在节点上配置内核参数或者系统配置。 操作步骤 步骤 1 创建新集群 创建与老版本集群同规格同配置的集群，创建方法请参见购买混合集群。 步骤 2 添加节点 添加同规格节点，并且在节点上配置之前的手动配置项，创建方法请参见购买节点。 步骤 3 创建存储 在新集群中使用已有存储创建PVC，PVC名称不变，方法请参见存储管理>使用kubectl对接已有云硬盘。 说明：切流方案仅支持对象存储、文件存储、共享云硬盘类型的存储。非共享云硬盘存储切流需要将老集群内的工作负载暂停，会导致断服。 步骤 4 创建工作负载 在新集群中创建工作负载，名称和规格参数保持不变，创建方法请参见工作负载管理>创建无状态负载(Deployment)或创建有状态负载(StatefulSet)。在工作负载中挂载存储，方法请参见存储管理>使用kubectl部署带云硬盘存储卷的工作负载。 步骤 5 创建服务 在新集群中创建Service，名称和规格参数保持不变，创建方法请参见网络管理>集群内访问(ClusterIP)、节点访问(NodePort)、负载均衡(LoadBalancer)。 步骤 6 调测功能 全部创建完成后，请自行调测业务，调测无问题后切换流量。 步骤 7 老集群退订或删除 新集群全部功能ready，使用解关联功能卸载存储关联卷，方法请参见存储管理>解关联云硬盘。退订或者删除老集群，删除集群方法请参见删除集群。

本节主要介绍通过kubectl配置kubedns/CoreDNS高可用。 操作场景 通过kubernetes命令行工具来配置kubedns/CoreDNS的高可用。 kubedns/CoreDNS为集群提供了DNS服务。若集群中只部署了单个kubedns/CoreDNS，则存在kubedns/CoreDNS故障后影响整个集群运作的风险，因此建议为集群配置多个kubedns/CoreDNS。 说明 在CCE中新建的kubernetes 1.11及以上版本集群默认会安装CoreDNS插件。 更多DNS相关信息请参见查件管理>CoreDNS（系统资源插件，必装）或工作负载管理>Kubernetes集群内置DNS配置说明。 前提条件 集群能够被互联网访问，或集群与客户端机器在同一个VPC下。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”，单击待连接集群下的“kubectl”。 步骤 2 根据界面提示的步骤设置集群API访问方式。 步骤 3 根据界面提示的步骤配置命令行工具。 命令行工具配置成功后，可使用命令行工具来手动配置kubedns/CoreDNS高可用。 步骤 4 登录客户端机器。 步骤 5 编辑kubedns/CoreDNS的deployment配置文件。 下面以CoreDNS为例，执行命令如下： kubectl edit deployment coredns n kubesystem 修改deployment配置文件中spec字段下的replicas参数为所需的CoreDNS实例数。 示例 apiVersion: extensions/v1beta1 kind: Deployment metadata: annotations: deployment.kubernetes.io/revision: "1" generation: 1 labels: app: coredns kubernetesapp: coredns kubernetes.io/clusterservice: "true" kubernetes.io/name: CoreDNS release: cceaddoncoredns name: coredns namespace: kubesystem resourceVersion: "1927" selfLink: /apis/extensions/v1beta1/namespaces/kubesystem/deployments/coredns uid: 737b92962de011e9b629fa163e7fb882 spec: progressDeadlineSeconds: 600 replicas: 2 revisionHistoryLimit: 10 selector: matchLabels: app: coredns kubernetesapp: coredns strategy: rollingUpdate: maxSurge: 10% maxUnavailable: 0 type: RollingUpdate template: metadata: annotations: checksum/config: 3095a9b4028195e7e0b8b22c550bf183d0b7a8a7eba20808b36081d0b39f8b81

特性 ELB Ingress Controller Nginx Ingress Controller 运维 免运维 自行安装、升级、维护 性能 一个Ingress支持一个ELB实例 多个Ingress只支持一个ELB实例 性能 使用企业级LB，高性能高可用，升级、故障等场景不影响业务转发 性能依赖pod的资源配置 性能 支持配置动态加载 更新配置需reload，可能会造成业务中断 组件部署 Master节点，不占用工作节点 Worker节点，需要Nginx组件运行成本 路由重定向 不支持 支持 SSL配置 支持 支持

: > 7.0.5 官方说明请参见： 说明 如果您在业务中需要一个永不过期的Token，您也可以选择 Token的机制，但还是推荐使用 排查方案 CCE提供以下排查方式供用户参考（CCE 1.21及以上版本的集群均涉及）： 排查集群中使用的插件版本。 若用户集群中有使用2.23.34及以下版本Prometheus 插件，则需升级至2.23.34以上版本。 若用户集群中有使用1.15.0及以下版本npd插件，则需升级至最新版本。 通过kubectl连接集群，并通过kubectl get raw "/metrics" grep stale查询，可以看到一个名为serviceaccountstaletokenstotal的指标。 如果该值大于0，则表示当前集群可能存在某些负载正在使用过低的clientgo版本情况，此时请您排查自己部署的应用中是否有该情况出现。如果存在，则尽快将clientgo版本升级至社区指定的版本之上（至少不低于CCE集群的两个大版本，如部署在1.23集群上的应用需要使用1.19版本以上的Kubernetes依赖库）。

本文主要介绍查看云审计日志。 操作场景 开启了云审计服务后，系统开始记录CCE资源的操作。云审计服务管理控制台保存最近7天的操作记录。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台左上角单击图标，选择区域。 步骤 3 单击页面上方的“服务列表”，选择“管理与部署 > 云审计服务”，进入云审计服务信息页面。 步骤 4 单击左侧导航树的“事件列表”，进入事件列表信息页面。 步骤 5 事件列表支持通过筛选来查询对应的操作事件。当前事件列表支持四个维度的组合查询，详细信息如下： 事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中，事件来源选择“CCE”。 当筛选类型选择事件名称时，还需选择某个具体的事件名称。 选择资源ID时，还需选择或者手动输入某个具体的资源ID。 选择资源名称时，还需选择或手动输入某个具体的资源名称。 操作用户：在下拉框中选择某一具体的操作用户，此操作用户指用户级别，而非租户级别。 事件级别：可选项为“所有事件级别”、“normal”、“warning”、“incident”，只可选择其中一项。 时间范围：可选择查询最近七天内任意时间段的操作事件。 步骤 6 在需要查看的记录左侧，单击展开该记录的详细信息，展开记录如下图所示。 图 展开记录 步骤 7 在需要查看的记录右侧，单击“查看事件”，将会弹出一个窗口显示该操作事件结构的详细信息。 图查看事件

本节主要介绍集群生命周期。 介绍集群各生命周期的状态，便于您更深入的理解集群处于不同阶段的运行情况。 集群状态说明 状态 说明 创建中 集群正在创建，正在申请云资源 正常 集群正常运行 扩容中 集群正在增加节点 缩容中 集群正在删除节点 休眠中 集群正在休眠中 唤醒中 集群正在唤醒中 升级中 集群正在升级中 不可用 当前集群不可用 删除中 集群正在删除中

集群权限（IAM授权）与命名空间权限（Kubernetes RBAC授权）的关系 拥有不同集群权限（IAM授权）的用户，其拥有的命名空间权限（Kubernetes RBAC授权）不同。下表给出了不同用户拥有的命名空间权限详情。 表 不同用户拥有的命名空间权限 用户类型 1.13及以上版本的集群 拥有Tenant Administrator权限的用户（例如账号） 全部命名空间权限 拥有CCE Administrator权限的IAM用户 全部命名空间权限 拥有CCE FullAccess或者CCE ReadOnlyAccess权限的IAM用户 按Kubernetes RBAC授权 拥有Tenant Guest权限的IAM用户 按Kubernetes RBAC授权 注意事项 Kubernetes RBAC的授权能力支持1.11.7r2及以上版本集群。若需使用RBAC功能请将集群升级至1.11.7r2或以上版本。 任何用户创建1.11.7r2或以上版本集群后，CCE会自动为该用户添加该集群的所有命名空间的clusteradmin权限，也就是说该用户允许对集群以及所有命名空间中的全部资源进行完全控制。 拥有Security Administrator（IAM除切换角色外所有权限）权限的用户（如账号所在的admin用户组默认拥有此权限），才能在CCE控制台命名空间权限页面进行授权操作。 配置命名空间权限（控制台） CCE中的命名空间权限是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。 步骤 1 登录CCE控制台，在左侧导航栏中选择“权限管理”。 步骤 2 在右边下拉列表中选择要添加权限的集群。 步骤 3 在右上角单击“添加权限”，进入添加授权页面。 步骤 4 在添加权限页面，确认集群名称，选择该集群下要授权使用的命名空间，例如选择“全部命名空间”，选择要授权的用户或用户组，再选择具体权限。 说明 对于没有IAM权限的用户，给其他用户和用户组配置权限时，无法选择用户和用户组，此时支持填写用户ID或用户组ID进行配置。 图 配置命名空间权限 其中自定义权限可以根据需要自定义，选择自定义权限后，在自定义权限一行右侧单击新建自定义权限，在弹出的窗口中填写名称并选择规则。创建完成后，在添加权限的自定义权限下拉框中可以选择。 图 自定义权限 步骤 4 单击“确定”。 示例：授予集群全部权限（clusteradmin） 集群全部权限可以使用clusteradmin权限，clusteradmin包含集群级别资源（PV、StorageClass等）的权限。 图 授予集群全部权限（clusteradmin） 如果使用kubectl查看可以看到创建了一个ClusterRoleBinding，将clusteradmin和ccerolegroup这个用户组绑定了起来。