通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和节点的亲和性 > 与节点的反亲和性”下的“添加”。 步骤 2 勾选工作负载不希望部署到的节点，单击“确定”。 若勾选多个节点，工作负载将不会部署到这些节点上。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和节点反亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: nodeName node中lable 的key operator: NotIn notin说明不部署 values: testnode1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加反亲和对象”。 步骤 3 对象类型选择“节点”，勾选工作负载不希望部署到的节点，设置完成后当前工作负载不会部署到已选择的节点上。 图添加反亲和对象节点 说明：该方法可新增、编辑和删除调度策略。

通过控制台设置 步骤 1 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，在“高级设置”的“调度策略”下，单击“工作负载和可用区的亲和性 > 与可用区的亲和性”前的。 步骤 2 单击工作负载希望部署到的可用区。 当前创建的工作负载会部署到已选择的可用区中。 通过kubectl命令行设置 本节以nginx为例，说明kubectl命令创建工作负载的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 参见通过kubectl命令行创建无状态工作负载或通过kubectl命令行创建有状态工作负载，工作负载和可用区亲和性的yaml示例如下： apiVersion: extensions/v1beta1 kind: Deployment metadata: name: azindeployment spec: replicas: 1 selector: matchLabels: app: azindeployment strategy: type: RollingUpdate template: metadata: labels: app: azindeployment spec: containers: image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: name: defaultsecret affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: matchExpressions: key: failuredomain.beta.kubernetes.io/zone node中lable 的key operator: In values: az1 node中对应key 的value 工作负载创建完成后设置 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 单击工作负载名称进入详情页，单击“调度策略 > 简易调度策略 > 添加亲和对象”。 步骤 3 对象类型选为“可用区”，单击工作负载希望部署到的可用区，当前创建的工作负载会部署到已选择的可用区中。 说明： 该方法可新增、编辑和删除调度策略。

参数 详情 取值 enableresourcequota 创建namespace时是否自动创建resourcequota对象。 false：不自动创建resourcequota对象。 true：自动创建resourcequota对象。resourcequota的默认取值请参见设置资源配额及限制。 默认：false

操作场景 当前支持给Java类工作负载提供调用链、拓扑等监控能力，若您为Java类工作负载，并且需要监控状态，请勾选“Java探针”选项，并输入监控组名称。 工作负载创建时和创建后，均可以对Java类工作负载监控进行设置。 说明： 若您还未开通应用性能管理服务，请单击界面中的，参照界面提示购买应用实例数，单击“立即购买”，查看订单无误后，参照界面提示单击“提交订单”。 操作步骤 创建工作负载时进行设置 步骤 1 登录CCE管理控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”，单击“创建无状态工作负载”或“创建有状态工作负载”。 步骤 2 在创建工作负载时，在“高级设置”中找到“性能管理配置”，在“安装探针”处勾选“Java探针”，将会启用应用性能管理服务并在节点上安装探针。 说明：安装探针会产生少量资源消耗，主要作用是可对java工作负载提供应用调用链、拓扑、SQL分析、堆栈追踪等监控能力。 步骤 3 输入监控组名称，如testapp。若已有监控组，可下拉选择。 步骤 4 选择“探针版本”。探针版本默认为latest，具体可查看下拉框后的“版本说明”。 图设置性能管理配置 步骤 5 选择“探针升级策略”，默认为“重启自动升级”。 说明：“探针升级策略”为获取探针镜像的策略，可选值有“重启自动升级”和“手动升级”。 重启自动升级：每次都尝试重新下载镜像。 手动升级：如果本地有该镜像，则使用本地镜像，本地不存在时下载镜像。 创建工作负载后设置或修改 步骤 1 登录CCE管理控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”或“工作负载 > 有状态负载 StatefulSet”。 步骤 2 在工作负载列表中，单击要设置的工作负载名称，在工作负载详情页中单击“工作负载运维”页签。 步骤 3 在“性能管理配置”中，单击下方的“编辑”，勾选“Java探针”，将会启用应用性能管理服务并在节点上安装探针。 图12 单击编辑后进行设置 说明： 安装探针会产生少量资源消耗，主要作用是可对java工作负载提供应用调用链、拓扑、SQL分析、堆栈追踪等监控能力。 步骤 4 输入或修改“监控组”名称，如testapp。若已有监控组，可下拉选择。 步骤 5 选择“探针版本”。探针版本默认为latest，具体可查看下拉框后的“版本说明”。 步骤 6 选择“探针升级策略”，默认为“重启自动升级”。 图设置或修改性能管理配置 步骤 7 单击“重启实例”，完成设置。 说明： 1.9.7以下版本的集群，在“有状态工作负载”中不能修改该设置。 步骤 8 应用启动后，等待约3分钟，应用数据就会呈现在APM界面中，此时登录APM，您可以在APM上通过拓扑、调用链等进行应用性能优化，详细操作请参考。

事件类型 事件名称 描述 正常 SuccessfulRescale 扩缩容成功 异常 InvalidTargetRange 无效的TargetRange 异常 InvalidSelector 无效选择器 异常 FailedGetObjectMetric 获取对象失败数 异常 FailedGetPodsMetric 获取Pod列表失败指标 异常 FailedGetResourceMetric 获取资源失败数 异常 FailedGetExternalMetric 获取外部指标失败 异常 InvalidMetricSourceType 无效的指标来源类型 异常 FailedConvertHPA 转换HPA失败 异常 FailedGetScale 获取比例尺失败 异常 FailedComputeMetricsReplicas 计算指标副本数失败 异常 FailedGetScaleWindow 获取ScaleWindow失败 异常 FailedRescale 扩缩容失败

集群唤醒 步骤 1 登录CCE控制台，在左侧导航栏中选择“集群管理”。 步骤 2 单击待唤醒集群后的。 图 集群唤醒提示 步骤 3 当集群状态由“唤醒中”变为“运行中”时，即完成唤醒操作，唤醒集群预计需要35分钟。 集群唤醒后，将继续收取控制节点资源费用。

操作场景 用户在不删除现有节点的情况下，将工作负载迁移到新的节点上。迁移流程如下图所示。 约束与限制 现有节点和工作负载待迁移的节点必须在同一集群。 当前仅支持在Kubernetes v1.13.10及以后集群版本执行此操作。 默认节点池DefaultPool不支持修改配置。 原有节点在默认节点池 步骤 1 创建新的节点。 1. 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 2. 在集群选择框中，选择现有节点所属的集群。 3. 单击“创建节点池”，设置节点池如下参数，其他参数根据需要进行修改，参数说明请参见节点池管理>创建节点池。 a. 节点池名称：新建节点池的名称，例如nodepooldemo。 b. 节点购买数量：本例添加一个节点。 c. 节点规格：请根据业务需求选择相应的节点规格。 d. 操作系统：选择节点对应的操作系统。 e. 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：在选项框中选择用于登录本节点的密钥对，并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 4. 单击“下一步：配置确认”。确认节点池配置后，单击“提交”。 单击“返回节点池管理”返回节点池列表。在节点列表中可查看到新建节点池已创建，且状态为“正常”。 步骤 2 单击节点池名称，在节点列表中可查看到新建节点的IP地址。 步骤 3 安装配置kubectl。 1. 在左侧导航栏中选择“资源管理 > 集群管理”，单击现有节点所在集群下的“命令行工具 > kubectl”。 2. 在集群详情页中的“kubectl”页签下，请参照界面中的提示信息完成集群连接。 步骤 4 迁移工作负载。 1. 给需要迁移工作负载的节点打上Taint（污点）。 kubectl taint node [node] keyvalue:[effect] 其中，[node]为待迁移工作负载所在节点的IP；[effect]取值为NoSchedule、PreferNoSchedule或NoExecute，此处必须设置为NoSchedule。 − NoSchedule：一定不能被调度。 − PreferNoSchedule：尽量不要调度。 − NoExecute：不仅不会调度，还会驱逐Node上已有的Pod。 说明： 若需要重新设置污点时，可执行kubectl taint node [node] key:[effect]命令去除污点。 2. 安全驱逐节点上的工作负载。 kubectl drain [node] 其中，[node]为待转移工作负载所在节点的IP。 3. 在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。在工作负载列表中，待迁移工作负载的状态由“运行中”变为“未就绪”。工作负载状态再次变为“运行中”，表示迁移成功。 说明： 迁移工作负载时，若工作负载配置了节点亲和性，则工作负载会一直提示“未就绪”等异常情况。请单击工作负载名称进入到负载详情页，在选择“调度策略”页签，删除原节点的亲和性配置，并单击“简易调度策略”配置新的节点亲和性和反亲和性策略，详情请参见“亲和反亲和调度>简易调度策略”。 工作负载迁移成功后，在工作负载详情页的“实例列表”页签，可查看到工作负载状已迁移到步骤1中所创建的节点上。 步骤 5 删除原有节点。 工作负载迁移成功且运行正常后，即可在“资源管理 > 节点管理”中删除原有节点。 原有节点不在默认节点池 步骤 1 拷贝节点池并添加节点。 1. 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点池管理”。 2. 在集群选择框中，选择现有节点所属的集群。 在节点池列表中，查找到原有节点所在的节点池。 3. 单击该节点池名称后的“更多 > 拷贝”，在“创建节点池”页面下设置如下参数，其他参数根据需要进行修改，参数说明请参见“节点管理>创建节点池”。 − 节点池名称：新建节点池的名称，例如nodepooldemo。 − 节点购买数量：本例添加一个节点。 − 节点规格：请根据业务需求选择相应的节点规格。 − 操作系统：选择节点对应的操作系统。 − 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：在选项框中选择用于登录本节点的密钥对，并单击勾选确认信息。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 4. 单击“下一步：配置确认”。确认节点池配置后，单击“提交”。 单击“返回节点池管理”返回节点池列表。在节点列表中可查看到新建节点池已创建，且状态为“正常”。 步骤 2 单击节点池名称，在节点列表中可查看到新建节点的IP地址。 步骤 3 迁移工作负载。 1. 单击节点池nodepooldemo后的“编辑”配置Taints参数。 2. 单击“Add Taint”，输入Key和Value值，Effect选项有NoSchedule、PreferNoSchedule或NoExecute，此处必须选择“NoExecute”。 − NoSchedule：一定不能被调度。 − PreferNoSchedule：尽量不要调度。 − NoExecute：不仅不会调度，还会驱逐Node上已有的Pod。 说明： 若需要重新设置污点时，可执行kubectl taint node [node] key:[effect]命令去除污点。 3. 单击“保存”。 4. 在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。在工作负载列表中，待迁移工作负载的状态由“运行中”变为“未就绪”。工作负载状态再次变为“运行中”，表示迁移成功。 说明： 迁移工作负载时，若工作负载配置了节点亲和性，则工作负载会一直提示“未就绪”等异常情况。请单击工作负载名称进入到负载详情页，在选择“调度策略”页签，删除原节点的亲和性配置，并单击“简易调度策略”配置新的节点亲和性和反亲和性策略，详情请参见“亲和反亲和调度>简易调度策略”。 工作负载迁移成功后，在工作负载详情页的“Pods”页签，可查看到工作负载状已迁移到步骤1中所创建的节点上。 步骤 4 删除原有节点。 工作负载迁移成功且运行正常后，即可在“资源管理 > 节点池管理”中删除原有节点。

键 值 failuredomain.beta.kubernetes.io/isbaremetal 表示是否为裸金属节点。 例如：false，表示非裸金属节点 failuredomain.beta.kubernetes.io/region 表示节点当前所在区域。 failuredomain.beta.kubernetes.io/zone 表示节点所在区域的可用区。 node.kubernetes.io/subnetid 表示子网的ID。 os.architecture 表示节点处理器架构。 例如：amd64，表示AMD64位的处理器 os.name 表示节点的操作系统名称。 os.version 表示节点内核版本。

操作场景 集群中的每一个节点对应一台弹性云主机或物理机，集群节点创建成功后，您仍可以根据需求，修改云服务器的名称或变更规格。 CCE节点的部分信息是独立于弹性云主机ECS维护的，当您在ECS控制台中修改云服务的名称、弹性公网IP，以及变更计费方式或变更规格后，需要通过“同步节点信息”功能将信息同步到CCE控制台相应节点中，同步后信息将保持一致。 ECS常见信息修改如下： 修改节点名称。 计费方式变更。 当您购买的节点规格无法满足业务需要时，变更规格，升级vCPU、内存。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 节点管理”。 步骤 2 单击节点后的“更多 > 同步节点信息”。 说明： 您也可以单击节点名称进入节点详情页，单击右上角“同步节点信息”。 同步完成后，页面右上角将会提示“同步成功”。

适用场景 本章介绍在CCE中如何将老版本集群的业务迁移到新版本集群。 适用于需要大幅度跨版本集群升级的需求，可以接受新建新版本集群而进行业务迁移的升级方式。 前提条件 迁移前Checklist 类别 描述 集群相关 Nodeip强相关：确认之前集群的节点IP（包括EIP），是否有作为其他的配置或者白名单之类的设置。 工作负载 记录工作负载数目，便于迁移后检查。 存储 1. 确认应用中存储，是否使用公有云，或者自己搭建存储。 2. 自动创建的存储需要在新集群中变成使用已有存储。 网络 1. 注意使用的负载均衡服务，以及Ingress。 2. 老版本的集群只支持经典型负载均衡服务，迁移到新集群中需要改成共享型负载均衡服务，对应负载均衡服务将会重新建立。 运维 私有配置：确认在之前集群中，是否在节点上配置内核参数或者系统配置。 操作步骤 步骤 1 创建新集群 创建与老版本集群同规格同配置的集群，创建方法请参见购买混合集群。 步骤 2 添加节点 添加同规格节点，并且在节点上配置之前的手动配置项，创建方法请参见购买节点。 步骤 3 创建存储 在新集群中使用已有存储创建PVC，PVC名称不变，方法请参见存储管理>使用kubectl对接已有云硬盘。 说明：切流方案仅支持对象存储、文件存储、共享云硬盘类型的存储。非共享云硬盘存储切流需要将老集群内的工作负载暂停，会导致断服。 步骤 4 创建工作负载 在新集群中创建工作负载，名称和规格参数保持不变，创建方法请参见工作负载管理>创建无状态负载(Deployment)或创建有状态负载(StatefulSet)。在工作负载中挂载存储，方法请参见存储管理>使用kubectl部署带云硬盘存储卷的工作负载。 步骤 5 创建服务 在新集群中创建Service，名称和规格参数保持不变，创建方法请参见网络管理>集群内访问(ClusterIP)、节点访问(NodePort)、负载均衡(LoadBalancer)。 步骤 6 调测功能 全部创建完成后，请自行调测业务，调测无问题后切换流量。 步骤 7 老集群退订或删除 新集群全部功能ready，使用解关联功能卸载存储关联卷，方法请参见存储管理>解关联云硬盘。退订或者删除老集群，删除集群方法请参见删除集群。

本节主要介绍通过kubectl配置kubedns/CoreDNS高可用。 操作场景 通过kubernetes命令行工具来配置kubedns/CoreDNS的高可用。 kubedns/CoreDNS为集群提供了DNS服务。若集群中只部署了单个kubedns/CoreDNS，则存在kubedns/CoreDNS故障后影响整个集群运作的风险，因此建议为集群配置多个kubedns/CoreDNS。 说明 在CCE中新建的kubernetes 1.11及以上版本集群默认会安装CoreDNS插件。 更多DNS相关信息请参见查件管理>CoreDNS（系统资源插件，必装）或工作负载管理>Kubernetes集群内置DNS配置说明。 前提条件 集群能够被互联网访问，或集群与客户端机器在同一个VPC下。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 集群管理”，单击待连接集群下的“kubectl”。 步骤 2 根据界面提示的步骤设置集群API访问方式。 步骤 3 根据界面提示的步骤配置命令行工具。 命令行工具配置成功后，可使用命令行工具来手动配置kubedns/CoreDNS高可用。 步骤 4 登录客户端机器。 步骤 5 编辑kubedns/CoreDNS的deployment配置文件。 下面以CoreDNS为例，执行命令如下： kubectl edit deployment coredns n kubesystem 修改deployment配置文件中spec字段下的replicas参数为所需的CoreDNS实例数。 示例 apiVersion: extensions/v1beta1 kind: Deployment metadata: annotations: deployment.kubernetes.io/revision: "1" generation: 1 labels: app: coredns kubernetesapp: coredns kubernetes.io/clusterservice: "true" kubernetes.io/name: CoreDNS release: cceaddoncoredns name: coredns namespace: kubesystem resourceVersion: "1927" selfLink: /apis/extensions/v1beta1/namespaces/kubesystem/deployments/coredns uid: 737b92962de011e9b629fa163e7fb882 spec: progressDeadlineSeconds: 600 replicas: 2 revisionHistoryLimit: 10 selector: matchLabels: app: coredns kubernetesapp: coredns strategy: rollingUpdate: maxSurge: 10% maxUnavailable: 0 type: RollingUpdate template: metadata: annotations: checksum/config: 3095a9b4028195e7e0b8b22c550bf183d0b7a8a7eba20808b36081d0b39f8b81

特性 ELB Ingress Controller Nginx Ingress Controller 运维 免运维 自行安装、升级、维护 性能 一个Ingress支持一个ELB实例 多个Ingress只支持一个ELB实例 性能 使用企业级LB，高性能高可用，升级、故障等场景不影响业务转发 性能依赖pod的资源配置 性能 支持配置动态加载 更新配置需reload，可能会造成业务中断 组件部署 Master节点，不占用工作节点 Worker节点，需要Nginx组件运行成本 路由重定向 不支持 支持 SSL配置 支持 支持

: > 7.0.5 官方说明请参见： 说明 如果您在业务中需要一个永不过期的Token，您也可以选择 Token的机制，但还是推荐使用 排查方案 CCE提供以下排查方式供用户参考（CCE 1.21及以上版本的集群均涉及）： 排查集群中使用的插件版本。 若用户集群中有使用2.23.34及以下版本Prometheus 插件，则需升级至2.23.34以上版本。 若用户集群中有使用1.15.0及以下版本npd插件，则需升级至最新版本。 通过kubectl连接集群，并通过kubectl get raw "/metrics" grep stale查询，可以看到一个名为serviceaccountstaletokenstotal的指标。 如果该值大于0，则表示当前集群可能存在某些负载正在使用过低的clientgo版本情况，此时请您排查自己部署的应用中是否有该情况出现。如果存在，则尽快将clientgo版本升级至社区指定的版本之上（至少不低于CCE集群的两个大版本，如部署在1.23集群上的应用需要使用1.19版本以上的Kubernetes依赖库）。

本文主要介绍查看云审计日志。 操作场景 开启了云审计服务后，系统开始记录CCE资源的操作。云审计服务管理控制台保存最近7天的操作记录。 操作步骤 步骤 1 登录管理控制台。 步骤 2 在管理控制台左上角单击图标，选择区域。 步骤 3 单击页面上方的“服务列表”，选择“管理与部署 > 云审计服务”，进入云审计服务信息页面。 步骤 4 单击左侧导航树的“事件列表”，进入事件列表信息页面。 步骤 5 事件列表支持通过筛选来查询对应的操作事件。当前事件列表支持四个维度的组合查询，详细信息如下： 事件来源、资源类型和筛选类型。 在下拉框中选择查询条件。其中，事件来源选择“CCE”。 当筛选类型选择事件名称时，还需选择某个具体的事件名称。 选择资源ID时，还需选择或者手动输入某个具体的资源ID。 选择资源名称时，还需选择或手动输入某个具体的资源名称。 操作用户：在下拉框中选择某一具体的操作用户，此操作用户指用户级别，而非租户级别。 事件级别：可选项为“所有事件级别”、“normal”、“warning”、“incident”，只可选择其中一项。 时间范围：可选择查询最近七天内任意时间段的操作事件。 步骤 6 在需要查看的记录左侧，单击展开该记录的详细信息，展开记录如下图所示。 图 展开记录 步骤 7 在需要查看的记录右侧，单击“查看事件”，将会弹出一个窗口显示该操作事件结构的详细信息。 图查看事件

本节主要介绍集群生命周期。 介绍集群各生命周期的状态，便于您更深入的理解集群处于不同阶段的运行情况。 集群状态说明 状态 说明 创建中 集群正在创建，正在申请云资源 正常 集群正常运行 扩容中 集群正在增加节点 缩容中 集群正在删除节点 休眠中 集群正在休眠中 唤醒中 集群正在唤醒中 升级中 集群正在升级中 不可用 当前集群不可用 删除中 集群正在删除中

集群权限（IAM授权）与命名空间权限（Kubernetes RBAC授权）的关系 拥有不同集群权限（IAM授权）的用户，其拥有的命名空间权限（Kubernetes RBAC授权）不同。下表给出了不同用户拥有的命名空间权限详情。 表 不同用户拥有的命名空间权限 用户类型 1.13及以上版本的集群 拥有Tenant Administrator权限的用户（例如账号） 全部命名空间权限 拥有CCE Administrator权限的IAM用户 全部命名空间权限 拥有CCE FullAccess或者CCE ReadOnlyAccess权限的IAM用户 按Kubernetes RBAC授权 拥有Tenant Guest权限的IAM用户 按Kubernetes RBAC授权 注意事项 Kubernetes RBAC的授权能力支持1.11.7r2及以上版本集群。若需使用RBAC功能请将集群升级至1.11.7r2或以上版本。 任何用户创建1.11.7r2或以上版本集群后，CCE会自动为该用户添加该集群的所有命名空间的clusteradmin权限，也就是说该用户允许对集群以及所有命名空间中的全部资源进行完全控制。 拥有Security Administrator（IAM除切换角色外所有权限）权限的用户（如账号所在的admin用户组默认拥有此权限），才能在CCE控制台命名空间权限页面进行授权操作。 配置命名空间权限（控制台） CCE中的命名空间权限是基于Kubernetes RBAC能力的授权，通过权限设置可以让不同的用户或用户组拥有操作不同Kubernetes资源的权限。 步骤 1 登录CCE控制台，在左侧导航栏中选择“权限管理”。 步骤 2 在右边下拉列表中选择要添加权限的集群。 步骤 3 在右上角单击“添加权限”，进入添加授权页面。 步骤 4 在添加权限页面，确认集群名称，选择该集群下要授权使用的命名空间，例如选择“全部命名空间”，选择要授权的用户或用户组，再选择具体权限。 说明 对于没有IAM权限的用户，给其他用户和用户组配置权限时，无法选择用户和用户组，此时支持填写用户ID或用户组ID进行配置。 图 配置命名空间权限 其中自定义权限可以根据需要自定义，选择自定义权限后，在自定义权限一行右侧单击新建自定义权限，在弹出的窗口中填写名称并选择规则。创建完成后，在添加权限的自定义权限下拉框中可以选择。 图 自定义权限 步骤 4 单击“确定”。 示例：授予集群全部权限（clusteradmin） 集群全部权限可以使用clusteradmin权限，clusteradmin包含集群级别资源（PV、StorageClass等）的权限。 图 授予集群全部权限（clusteradmin） 如果使用kubectl查看可以看到创建了一个ClusterRoleBinding，将clusteradmin和ccerolegroup这个用户组绑定了起来。

1: bind() to 0.0.0.0:80 failed (98: Address in use) nginx: [emerg] bind() to 0.0.0.0:80 failed (98: Address in use) 2022/05/11 07:18:11 [emerg] 1 1: bind() to [::]:80 failed (98: Address in use) nginx: [emerg] bind() to [::]:80 failed (98: Address in use) 2022/05/11 07:18:11 [emerg] 1 1: still could not bind() nginx: [emerg] still could not bind()

参数 类型 描述 控制台默认取值 支持的集群版本 kubernetes.io/elb.class String 请根据不同的应用场景和功能需求选择合适的负载均衡器类型。取值如下： union：共享型负载均衡。 performance：独享型负载均衡，仅支持1.17及以上集群 performance v1.9及以上 kubernetes.io/elb.id String 为负载均衡实例的ID，取值范围：1100字符。在关联已有ELB时：必填。获取方法：在控制台的“服务列表”中， 单击“网络 > 弹性负载均衡 ELB”，单击ELB的名称，在ELB详情页的“基本信息”页签下找到“ID”字段复制即可。 无 v1.9及以上 kubernetes.io/elb.protocolport String Service使用7层能力配置端口。详细使用请参见 无 v1.19.16及以上 kubernetes.io/elb.certid String Service使用7层能力配置HTTPS证书。详细使用请参见 无 v1.19.16及以上 kubernetes.io/elb.subnetid String 为集群所在子网的ID，取值范围：1100字符。l Kubernetes v1.11.7r0及以下版本的集群自动创建时：必填l Kubernetes v1.11.7r0以上版本的集群：可不填。 无 v1.11.7r0以下必填v1.11.7r0以上该字段废弃 kubernetes.io/elb.enterpriseID String v1.15及以上版本的集群支持此字段，v1.15以下版本默认创建到default项目下。 为ELB企业项目ID，选择后可以直接创建在具体的ELB企业项目下。该字段不传（或传为字符串'0'），则将资源绑定给默认企业项目。 获取方法：登录控制台后，单击顶部菜单右侧的“企业 > 项目管理”，在打开的企业项目列表中单击要加入的企业项目名称， 进入企业项目详情页，找到“ID”字段复制即可。 无 v1.15及以上 kubernetes.io/elb.autocreate 自动创建service关联的ELB示例： 公网自动创建：值为'{"type":"public","bandwidthname":"ccebandwidth1551163379627","bandwidthchargemode": "bandwidth","bandwidthsize":5,"bandwidthsharetype":"PER","eiptype":"5bgp","name":"james"}'l 私网自动创建： 值为'{"type":"inner", "name": "Alocationdtest"}' 无 v1.9及以上 kubernetes.io/elb.adaptiveweight String 根据Pod动态调整ELB后端云主机的权重。每个Pod收到的负载请求更加均衡。 开启：truel 关闭：false该参数仅1.21及以上集群适用，且ELB直通Pod场景下无效。 无 v1.21及以上 kubernetes.io/elb.lbalgorithm String 后端云主机组的负载均衡算法。取值范围： ROUNDROBIN：加权轮询算法。 LEASTCONNECTIONS：加权最少连接算法。 SOURCEIP：源IP算法。当该字段的取值为SOURCEIP时，后端云主机组绑定的后端的weight字段无效。云主机 ROUNDROBIN v1.9及以上 kubernetes.io/elb.healthcheckflag String 是否开启ELB健康检查功能。 开启：“（空值）”或“on” 关闭：“off”开启时需同时填写kubernetes.io/elb.healthcheckoption字段。 off v1.9及以上 kubernetes.io/elb.healthcheckoption ELB健康检查配置选项。 无 v1.9及以上 kubernetes.io/elb.passthrough String 集群内访问Service是否经过ELB。 无 v1.19及以上 kubernetes.io/elb.sessionaffinitymode String 负载均衡监听是基于IP地址的会话保持，即来自同一IP地址的访问请求转发到同一台后端服务器上。 不启用：不填写该参数。 开启会话保持：需增加该参数，取值“SOURCEIP”，表示基于源IP地址。 无 v1.9及以上 kubernetes.io/elb.aclid String 为ELB设置IP地址黑名单或白名单时需填写，参数值为ELB的IP地址组ID。 该参数仅独享型ELB生效，且仅在新建Service或指定新的服务端口（监听器）时生效。 无 v1.19.16v1.21.4 kubernetes.io/elb.aclstatus String 为ELB设置IP地址黑名单或白名单时需填写，取值为'on'，表示开启访问控制。 无 v1.19.16v1.21.4 kubernetes.io/elb.acltype String 为ELB设置IP地址黑名单或白名单时需填写。l black：表示黑名单，所选IP地址组无法访问ELB地址。 white：表示白名单，仅所选IP地址组可以访问ELB地址。 该参数仅独享型ELB生效，且仅在新建Service或指定新的服务端口（监听器）时生效。 无 v1.19.16v1.21.4 kubernetes.io/elb.sessionaffinityoption ELB会话保持配置选项，可设置会话保持的超时时间。 无 v1.9及以上 kubernetes.io/hwshostNetwork Boolean 为标记工作负载服务是否使用主机网络模式。如果Pod使用的主机网络，开启这个annotation会ELB转发到主机网络的方式对接。 取值范围：“true”或者“false”默认是“false”，表示未使用主机网络。 无 v1.9及以上

podsecuritypolicy " ")。 除修改全局Pod安全策略外，也可增加新的Pod安全策略，如开放net.core.somaxconn非安全系统配置，新增Pod安全策略示例参考如下： apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: annotations: seccomp.security.alpha.kubernetes.io/allowedProfileNames: '' name: sysctlpsp spec: allowedUnsafeSysctls: net.core.somaxconn allowPrivilegeEscalation: true allowedCapabilities: '' fsGroup: rule: RunAsAny hostIPC: true hostNetwork: true hostPID: true hostPorts: max: 65535 min: 0 privileged: true runAsGroup: rule: RunAsAny runAsUser: rule: RunAsAny seLinux: rule: RunAsAny supplementalGroups: rule: RunAsAny volumes: '' kind: ClusterRole apiVersion: rbac.authorization.k8s.io/v1 metadata: name: sysctlpsp rules: apiGroups: "" resources: podsecuritypolicies resourceNames: sysctlpsp verbs: use apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: sysctlpsp roleRef: kind: ClusterRole name: sysctlpsp apiGroup: rbac.authorization.k8s.io subjects: kind: Group name: system:authenticated apiGroup: rbac.authorization.k8s.io 恢复原始Pod安全策略 如果您已经修改默认Pod安全策略后，想恢复原始Pod安全策略，请执行以下操作。 步骤 1 创建一个名为policy.yaml的描述文件。其中，policy.yaml为自定义名称，您可以随意命名。 vi policy.yaml 描述文件内容如下。 apiVersion: policy/v1beta1 kind: PodSecurityPolicy metadata: name: pspglobal annotations: seccomp.security.alpha.kubernetes.io/allowedProfileNames: '' spec: privileged: true allowPrivilegeEscalation: true allowedCapabilities: '' volumes: '' hostNetwork: true hostPorts: min: 0 max: 65535 hostIPC: true hostPID: true runAsUser: rule: 'RunAsAny' seLinux: rule: 'RunAsAny' supplementalGroups: rule: 'RunAsAny' fsGroup: rule: 'RunAsAny' kind: ClusterRole apiVersion: rbac.authorization.k8s.io/v1 metadata: name: pspglobal rules: apiGroups: "" resources: podsecuritypolicies resourceNames: pspglobal verbs: use apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: pspglobal roleRef: kind: ClusterRole name: pspglobal apiGroup: rbac.authorization.k8s.io subjects: kind: Group name: system:authenticated apiGroup: rbac.authorization.k8s.io 步骤 2 执行如下命令： kubectl apply f policy.yaml

本文主要介绍节点本地域名解析加速。 插件简介 节点本地域名解析加速（nodelocaldns）是基于社区NodeLocal DNSCache通过在集群节点上作为守护程序集运行DNS缓存代理，提高集群DNS性能。 开源社区地址： NodeLocal DNSCache查询路径 约束与限制 仅支持1.19及以上版本集群。 安装插件 步骤 1 登录CCE控制台，单击集群名称进入集群，在左侧导航栏中选择“插件管理”，在右侧找到 nodelocaldns ，单击“安装”。 步骤 2 在安装插件页面，选择插件规格，并配置相关参数。 enablednsconfigadmission ：是否自动注入。默认为 false ，设置为true表示自动注入。 步骤 3 完成以上配置后，单击“安装”。 版本记录 CCE插件版本记录 插件版本 支持的集群版本 社区版本（仅1.17及以上版本集群支持） 1.2.2 /v1.(192123)./ 1.21.1

ASM网格版本 集群版本 1.3 v1.13 v1.15 v1.17 v1.19 1.6 v1.15 v1.17 1.8 v1.15 v1.17 v1.19 v1.21 1.13 v1.21 v1.23

场景 场景说明 Cronhpa (targetReplicas) Deployment (replicas) HPA (minReplicas / maxReplicas) 最终结果 操作说明 场景一 targetReplicas < minReplicas ≤ replicas ≤ maxReplicas 4 5 5/10 HPA: 4/10 Deployment: 5 CronHPA目标实例数低于HPA最小实例数（minReplicas）时： 修改HPA的最小实例数。 Deployment实例数无修改。 场景二 targetReplicas minReplicas ≤ replicas ≤ maxReplicas 5 6 5/10 HPA: 5/10 Deployment: 6 CronHPA目标实例数等于HPA最小实例数（minReplicas）时： HPA的最小实例数无修改。 Deployment实例数无修改。 场景三 minReplicas < targetReplicas < replicas ≤ maxReplicas 4 5 1/10 HPA: 4/10 Deployment: 5 CronHPA目标实例数大于HPA最小实例数（minReplicas）， 小于Deployment实例数（replicas）时： 修改HPA的最小实例数。 Deployment实例数无修改。 场景四 minReplicas < targetReplicas replicas < maxReplicas 5 5 1/10 HPA: 5/10 Deployment: 5 CronHPA目标实例数大于HPA最小实例数（minReplicas）， 等于Deployment实例数（replicas）时： 修改HPA的最小实例数。 Deployment实例数无修改。 场景五 minReplicas ≤ replicas < targetReplicas < maxReplicas 6 5 1/10 HPA: 6/10 Deployment: 6 CronHPA目标实例数大于Deployment实例数（replicas）， 小于HPA最大实例数（maxReplicas）时： 修改HPA的最小实例数。 修改Deployment实例数。 场景六 minReplicas ≤ replicas < targetReplicas maxReplicas 10 5 1/10 HPA: 10/10 Deployment: 10 CronHPA目标实例数大于Deployment实例数（replicas）， 等于HPA最大实例数（maxReplicas）时： 修改HPA的最小实例数。 修改Deployment实例数。 场景七 minReplicas ≤ replicas ≤ maxReplicas < targetReplicas 11 5 5/10 HPA: 11/11 Deployment: 11 CronHPA目标实例数大于HPA最大实例数（maxReplicas）时： 修改HPA的最小实例数。 修改HPA的最大实例数。 修改Deployment实例数。

本文主要介绍 ccehpacontroller插件限制检查。 检查项内容 检查到目标ccecontrollerhpa插件版本是否存在兼容性限制。 解决方案 检测到目标ccecontrollerhap插件版本存在兼容性限制，需要集群安装能提供metric api的插件，例如metricserver。

本文主要介绍如何管理命名空间。 使用命名空间 创建工作负载时，您可以选择对应的命名空间，实现资源或租户的隔离。 查询工作负载时，选择对应的命名空间，查看对应命名空间下的所有工作负载。 命名空间使用实践 按照不同环境划分命名空间 一般情况下，工作负载发布会经历开发环境、联调环境、测试环境，最后到生产环境的过程。这个过程中不同环境部署的工作负载相同，只是在逻辑上进行了定义。分为两种做法： 分别创建不同集群。 不同集群之间，资源不能共享。同时，不同环境中的服务互访需要通过负载均衡才能实现。 不同环境创建对应命名空间。 同个命名空间下，通过服务名称（Service name）可直接访问。跨命名空间的可以通过服务名称、命名空间名称访问。 例如下图，开发环境/联调环境/测试环境分别创建了命名空间。 图 不同环境创建对应命名空间 按照应用划分命名空间 对于同个环境中，应用数量较多的情况，建议进一步按照工作负载类型划分命名空间。例如下图中，按照APP1和APP2划分不同命名空间，将不同工作负载在逻辑上当做一个工作负载组进行管理。且同一个命名空间内的工作负载可以通过服务名称访问，不同命名空间下的通过服务名称、命名空间名称访问。 图 按照工作负载划分命名空间 删除命名空间 删除命名空间会删除该命名空间下所有的资源（如工作负载，短任务、配置项等），请谨慎操作。 步骤 1 登录CCE控制台，进入集群。 步骤 2 在左侧导航栏中选择“命名空间”，选中待删除的命名空间，单击“更多 > 删除”。 根据系统提示进行删除操作。系统内置的命名空间不支持删除。

本文主要介绍如何设置资源配额及限制。 通过设置命名空间级别的资源配额，实现多团队或多用户在共享集群资源的情况下限制团队、用户可以使用的资源总量，包括限制命名空间下创建某一类型对象的数量以及对象消耗计算资源（CPU、内存）的总量。 背景信息 默认情况下，运行中的Pod可以无限制的使用Node节点上的CPU和内存，这意味着任意一个Pod都可以无节制地使用集群的计算资源，某个命名空间的Pod可能会耗尽集群的所有资源。 kubernetes在一个物理集群上提供了多个虚拟集群，这些虚拟集群被称为命名空间。命名空间可用于多种工作用途，满足多用户的使用需求，通过为每个命名空间配置资源额度可以有效限制资源滥用，从而保证集群的可靠性。 您可为命名空间配置包括CPU、内存、Pod数量等资源的额度，更多信息请参见Resource Quotas。 其中，不同的集群规模对应的Pod数量推荐值如下： 集群规模 Pod数量推荐值 50节点 2500 Pod实例 200节点 1W Pod实例 1000节点 3W Pod实例 2000节点 5W Pod实例 从1.21版本集群开始，如果在集群配置管理中开启了enableresourcequota参数，则创建命名空间将会同时创建默认的资源配额Resource Quotas，根据集群规格不同，各个资源的配额如下表所示。您可以根据实际需求修改。 表 默认资源配额 集群规模 Pod Deployment Secret ConfigMap Service 50节点 2000 1000 1000 1000 1000 200节点 2000 1000 1000 1000 1000 1000节点 5000 2000 2000 2000 2000 2000节点 5000 2000 2000 2000 2000

污点名称 污点影响 node.kubernetes.io/upgrade NoSchedule

解决方案 本文介绍在CCE中自定义StorageClass的方法，并介绍设置默认StorageClass的方法，通过不同StorageClassName指定不同类型存储。 对于第一个问题：可以将SAS、SSD类型云硬盘分别定义一个StorageClass，比如定义一个名为csidisksas的StorageClass，这个StorageClass创建SAS类型的存储，则前后使用的差异如下图所示，编写YAML时只需要指定StorageClassName，符合特定用户的使用习惯。 对于第二个问题：可以定义与用户现有YAML中相同名称的StorageClass，这样可以省去修改YAML中StorageClassName的工作。 对于第三个问题：可以设置默认的StorageClass，则YAML中无需指定StorageClassName也能创建存储，按如下写法即可。 apiVersion: v1 kind: PersistentVolumeClaim metadata: name: pvcevsexample namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 10Gi 自定义StorageClass 自定义高I/O类型StorageClass，使用YAML描述如下，这里取名为csidisksas，指定云硬盘类型为SAS，即高I/O。 apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: csidisksas 高IO StorageClass名字，用户可自定义 parameters: csi.storage.k8s.io/csidrivername: disk.csi.everest.io csi.storage.k8s.io/fstype: ext4 everest.io/diskvolumetype: SAS 云硬盘高I/O类型，用户不可自定义 everest.io/passthrough: "true" provisioner: everestcsiprovisioner reclaimPolicy: Delete volumeBindingMode: Immediate allowVolumeExpansion: true

本文主要介绍使用NodeLocal DNSCache提升DNS性能。 应用现状 集群在做DNS解析时，如果请求量大，那CoreDNS将承受压力，会有如下影响。 查询变慢，影响业务性能。 为保证性能，CoreDNS需要更高规格的配置。 解决方案 NodeLocal DNSCache 通过在集群节点上运行 DNS缓存代理来提高集群 DNS 性能。 启用NodeLocal DNSCache之后，DNS查询所遵循的路径如下图所示。 NodeLocal DNSCache查询路径 插件安装 CCE提供了nodelocaldns插件，可以方便的安装NodeLocal DNSCache。 说明 nodelocaldns插件仅支持1.19及以上版本集群。 NodeLocal DNSCache不提供Hosts、Rewrite等插件能力，仅作为CoreDNS的透明缓存代理。如有需要，可在CoreDNS配置中修改。 kubesystem命名空间下的Pod不支持自动注入。 步骤 1 （可选）修改CoreDNS配置，让CoreDNS优先采用UDP协议与上游DNS服务器通信。 NodeLocal DNSCache采用TCP协议与CoreDNS进行通信，CoreDNS会根据请求来源使用的协议与上游DNS服务器进行通信。当使用了NodeLocal DNSCache时，访问上游DNS服务器时会使用TCP协议，而云上DNS服务器对TCP协议支持有限，如果您使用了NodeLocal DNSCache，您需要修改CoreDNS配置，让其总是优先采用UDP协议与上游DNS服务器进行通信，避免解析异常。 执行如下命令修改。 kubectl edit configmap coredns nkubesystem 在forward插件中指定请求上游的协议为perferudp，修改之后CoreDNS会优先使用UDP协议与上游通信。 forward . /etc/resolv.conf { preferudp } 步骤 2 登录CCE控制台，单击集群名称进入集群，在左侧导航栏中选择“插件管理”，在右侧找到 nodelocaldns ，单击“安装”。 步骤 3 在安装插件页面，选择插件规格，并配置相关参数。 enablednsconfigadmission ：是否自动注入DNSConfig至新建的Pod中。默认为 false ，设置为true表示支持自动注入，避免您手工配置Pod YAML进行注入。 步骤 4 完成以上配置后，单击“安装”。

nslookup nginx1.nginx Server: 10.247.3.10 Address: 10.247.3.10 53 Name: nginx1.nginx.default.svc.cluster.local Address: 172.16.0.18 / nslookup nginx2.nginx Server: 10.247.3.10 Address: 10.247.3.10 53 Name: nginx2.nginx.default.svc.cluster.local Address: 172.16.0.19

参数名 参数描述 必须满足 即硬约束，设置必须要满足的条件，对应于requiredDuringSchedulingIgnoredDuringExecution，多条规则间是一种“或”的关系，即只需要满足一条规则即会进行调度。 尽量满足 即软约束，设置尽量满足的条件，对应于preferredDuringSchedulingIgnoredDuringExecution，无论是满足其中一条或者是都不满足都会进行调度。

Service的类型 Kubernetes允许指定一个需要的类型的Service，类型的取值以及行为如下： 集群内访问(ClusterIP) 集群内访问表示工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问。 节点访问(NodePort) 节点访问( NodePort )是指在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求:NodeIP:NodePort，可以从集群的外部访问一个NodePort服务。 负载均衡(LoadBalancer) 负载均衡( LoadBalancer )可以通过弹性负载均衡从公网访问到工作负载，与弹性IP方式相比提供了高可靠的保障，一般用于系统中需要暴露到公网的服务。

操作系统 限制 CentOS 无限制 Ubuntu 部分局点受限，若检查结果不支持升级，请联系技术支持人员