本节介绍了设置调度策略的用户指南。 在Kubernetes中，调度策略是指如何将Pod调度到节点上的规则。亲和性（Affinity）和反亲和性（AntiAffinity）是两种常见的调度策略，它们可以帮助您控制Pod的分布，以提高应用的性能和可靠性。 亲和性和反亲和性策略 节点亲和性（Node Affinity）：控制Pod应该调度到哪些节点。 节点反亲和性（Node AntiAffinity）：控制Pod不应该调度到哪些节点。 Pod亲和性（Pod Affinity）：控制Pod应该与哪些Pod共同调度到同一节a点。 Pod反亲和性（Pod AntiAffinity）：控制Pod不应该与哪些Pod共同调度到同一节点。 通过控制台配置负载亲和/反亲和调度策略 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载"，切换至“无状态”页签，点击"创建Deployment"。 3、在创建deployment中，点击显示高级设置，选择负载亲和性调度的策略类型。 4、配置亲和性调度规则，亲和性调度规则又分为必须满足（强制pod调度到某些节点上）和尽量满足（优先pod调度到某些节点上）。 5、待一切配置完成后，单机"提交"，创建完成。 6、查看亲和状态调度到相同节点。 7、删除亲和性规则，添加反亲和性规则。反亲和性规则也分为强制分散调度（强制pod调度在不同节点上）和优先分散调度（优先pod调度在不同节点上）。 8、查看反亲和性分配在不同的节点上。

本节介绍了集群巡检的用户指南。 前提条件 1、已创建容器集群，具体操作请参见创建集群 。 2、集群已安装cubeeye插件，具体操作请参考安装插件 。 操作步骤 配置集群巡检 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要配置巡检的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 > 添加 ，进入集群巡检配置页面。 4、在集群巡检配置页面，设置定时规则 ，阅读注意事项后选择我已知晓并同意 ，然后点击确定。 查看巡检结果 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要查看巡检结果的集群，进入集群管理页。 3、在集群管理页面导航栏中选择运维管理 > 集群巡检 ，选择需要查看的报告，点击查看详情。 4、报告详情页会展示集群的风险项，可以对风险项的级别、风险类型、命名空间进行筛选，每个风险项都会给出异常影响及解决方案。

本节介绍云容器引擎的最佳实践:集群规格推荐规划。 集群规格规划 Kubernetes集群的稳定性受到两方面因素的影响，一方面是资源对象的数量，另一方面是节点的规格和数量。对于后者而言，选择小数量、大规格的ECS搭建集群或者大数量、小规格的ECS搭建集群都可能存在较大的隐患。因此对集群规格进行合理规划显得尤为重要。 在考虑ECS规格时，需要考虑以下因素： 网络带宽：大规格ECS的网络带宽优于小规格，适用于对带宽需求较大的应用。 网络通信：容器在同一大规格ECS内部建立链路的比例增大，可以避免跨ECS访问，减少网络开销。 容量：ECS系统需要预留一部分CPU、内存、磁盘等节点资源，用于集群管理和基础设施组件的运行。小规格ECS由于抢占资源等因素，使得集群的稳定性和可靠性降低的概率大增。 碎片化：节点资源分配时，小规格ECS更容易被少数甚至一个容器独占，导致不一致或不连续的资源需求难以有效组合，进而造成资源浪费。 镜像拉取：大规格ECS更能有效地利用容器镜像的分层机制，提升拉取镜像的效率。 ECS数量的考量因素： 小数量的ECS，在节点故障时，由于资源冗余不足，可能导致无法及时处理故障节点外排的业务。 大数量的ECS极大地考验Master的性能和稳定性。

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。

查看Pod的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 工作负载 > 无状态/有状态/守护进程/任务/定时任务/容器组 进入需要查看的工作负载列表，并点击上方监控tab查看pod监控信息

本节介绍了云容器引擎的最佳实践:x86和ARM镜像的混合部署。 应用现状 云容器引擎允许在同一集群内同时创建两种不同架构的节点：x86架构和ARM架构。然而，由于这两种架构在底层技术上存在显著差异，因此通常来说，无法将为ARM架构设计的镜像（即应用程序）在x86架构的节点上成功运行，反之亦然。因此，在拥有同时支持x86和ARM节点的集群上部署工作负载时，可能会遭遇部署失败的情况。 解决方案 解决在不同架构的节点使用镜像创建工作负载通常有三种方法： 创建工作负载的时候通过亲和性设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 创建工作负载的时候通过nodeSelector设置，使用ARM架构镜像时让Pod调度到ARM架构的节点上，使用x86架构镜像时让Pod调度到x86架构的节点上。 构建双架构镜像，同时支持ARM和x86架构。当Pod被调度到ARM架构节点时，将自动拉取针对ARM架构的镜像；而当Pod被调度到x86架构节点时，将自动拉取针对x86架构的镜像。尽管使用同一个地址，但背后实际上包含两个镜像。这种设计简化了工作负载描述文件，使其更具可读性和易于维护，无需单独配置节点亲和性和nodeSelector。

本节介绍了云容器引擎的最佳实践:如何将Ingress服务暴露到公网。 如果你是通过Ingress访问你的服务，并且想通过公网访问，可为集群Ingress服务配置天翼云ELB。 具体配置步骤如下： 1、登录到控制台，进入服务所在的集群，选择菜单“网络“>”服务“，命名空间选择“kubesystem”，点击”创建服务“按钮。 2、其中负载均衡一栏，选择公网访问，从列表中选择一个要绑定的负载均衡（如果列表为空，请确认你是否有可用的负载均衡，没有的话，请先到ELB控制台创建）。 端口映射一栏，填写好容器端口和服务端口（该端口是负载均衡的监听端口）。如下所示： 注意 nginxingresscontroller pod 默认的http端口是10080，默认的https端口是10443。 如需修改，可以到nginxingresscontroller插件yaml修改端口号。 3、工作负载绑定一栏，类型选择Deployment，名称选择nginxingresscontrollernginxingresscontroller，然后点击提交。 注意 选择工作负载前请先确认nginxingresscontroller插件的版本，如果版本小于1.3.5，这里工作负载类型应选择DaemonSet 4、待ELB绑定后，即可通过服务列表中“集群外访问”中的外网地址访问服务了。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

名称 说明 保留天数 必填，定时备份后产生的备份包所保留的天数，超过保留天数的备份包则会被自动清理 时间点 必填，定时备份时执行的时间点，为整点 重复周期 必填，定时备份任务重复在一周内哪几天触发执行

存储类型 说明 容器存储接口 OutofTree形式存储卷，使用标准的容器存储接口形成自定义存储插件，用户可以通过PVC/PV的形式实现挂载 。 存储介质为天翼云存储，包括云硬盘、弹性文件、对象存储等类型， 一般用于存储可用性要求较高的数据，或部分数据需要共享的场景。 云容器引擎通过 cstorcsi 实现该能力。 Kubernetes原生存储 InTree形式存储卷，通过Kubernetes代码仓库统一构建、编译、发布，比如ConfigMap一般用于给Pod注入配置数据、Secret一般用于给Pod传递敏感信息。

性能规格 云硬盘性能的指标有很多种，例如IOPS，吞吐量，读写时延： IOPS：云硬盘每秒进行读写的操作次数，可以细分到单盘最大IOPS，基线IOPS，IOPS突发上限等等。 吞吐量：云硬盘每秒成功传送的数据量，即读取和写入的数据量，一般会衡量云硬盘最大吞吐量，每GB云硬盘的吞吐量。 读写时延：云硬盘处理一个读写IO需要的时间。 各类型云硬盘的性能比较详见：云硬盘性能介绍 使用场景 根据业务需求，云硬盘类型的存储常见以下使用场景： 使用云盘动态存储卷：即用户无需预先创建云硬盘和PV，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建云盘实例及对应PV资源，推荐使用。 使用云盘静态存储卷：即用户预先创建云盘实例，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载云盘：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 计费说明 说明 通过存储插件动态创建的云盘实例，计费模式为按需订购，不支持包年包月。 关于云硬盘的计费详情，请参见：点这里。

本节介绍了容器组的用户指南。 基本概念 容器组（Pod）是Kubernetes中最小的可部署单元。一个Pod（容器组）包含了一个应用程序容器（某些情况下是多个容器）、存储资源、一个唯一的网络IP地址、以及一些确定容器该如何运行的选项。Pod容器组代表了Kubernetes中一个独立的应用程序运行实例，该实例可能由单个容器或者几个紧耦合在一起的容器组成。 操作场景 Kubernetes集群中的Pod存在如下两种使用途径： 一个Pod中只运行一个容器。"onecontainerperpod" 是Kubernetes中最常见的使用方式。此时，您可以认为Pod容器组是该容器的wrapper，Kubernetes通过Pod管理容器，而不是直接管理容器。 一个Pod中运行多个需要互相协作的容器。您可以将多个紧密耦合、共享资源且始终在一起运行的容器编排在同一个Pod中，可能的情况有： 1、Content management systems,file and data loaders, local cache managers等 2、log and checkpoint backup,compression, rotation, snapshotting等 3、data change watchers, logtailers, logging and monitoring adapters, event publishers等 4、proxies, bridges, adapters等 5、controllers, managers,configurators, and updaters 您可以在云容器引擎中方便的管理容器组（Pod），如查看YAML、远程登录、销毁重建等操作。 前提条件 您需要存在一个可用集群，若没有可用集群，请参照集群开通中内容创建。 操作步骤及说明 1、查看YAML 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“查看YAML” 2、销毁重建 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“销毁重建 请仔细阅读系统提示，删除操作无法恢复，请谨慎操作。 说明 若Pod所在节点不可用或者关机，负载无法删除时可以在详情页面实例列表选择强制删除。请确保要删除的存储没有被其他负载使用，导入和存在快照的存储只做解关联操作。 3、远程登录 1)登录云容器引擎控制台，在左侧导航栏中选择“工作负载 > 容器组” 2)单击实例列表中后的“远程登录” 3)在弹出的对话框中点击“登录”

名称 说明 执行策略 必填，定义定时备份执行时间点的cron表达式。也可以界面的选框来辅助表达式编写。 保留天数 必填，定时任务执行后生成的备份包的保留天数。超出保留天数备份包会被清理。

保留失败、成功记录上限 成功Job的历史记录上限：指定了周期性执行任务的过程中，可以保留多少完成的任务，默认是全部保留，建议设置这个值，避免堆积过多的任务消耗资源，如果设置限制的值为 0，那么成功的任务将不会被保留。 失败Job的历史记录上限：指定了周期性执行任务的过程中，可以保留多少失败的任务，默认是全部保留，建议设置这个值，避免堆积过多的任务消耗资源，如果设置限制的值为 0，那么失败的任务将不会被保留。 高级设置升级方式 CronJob不支持更新，因此没有升级方式这个参数。

本节介绍云容器引擎的最佳实践: 容器中域名解析的最佳实践。 Pod的DNS解析行为 Kubernetes以Pod为最小可创建、管理、部署单元，Pod内部包含一个或一组共享namespace和cgroup的紧密关联的容器。容器内部的DNS解析行为与Pod的DNS解析行为概念上是对等的。 Pod中的DNS查询行为直接受Pod的/etc/resolv.conf配置文件的影响，Kubelet在拉起Pod时，会根据Pod规约中dnsPolicy的配置为Pod生成/etc/resolv.conf配置。 默认情况下，Pod的dnsPolicy设置为clusterFirst, Pod的/etc/resolv.conf值类似: nameserver 172.20.0.10 search .svc.cluster.local svc.cluster.local cluster.local options ndots:5 各字段解释如下: nameserver : 域名解析服务器 search : 域名查找后缀规则，会在 .svc.cluster.local svc.cluster.local cluster.local三个域中搜索匹配的记录 options : 域名解析选项，KV值格式，典型的有ndots，表示解析的域名字符串内的点字符数量超过ndots值，则认为是完整域名，直接解析，如不足，则追加.svc.cluster.local后缀 默认情况下, nameserver值为云容器引擎内置的CoreDNS service ClusterIP, Kubernetes在CoreDNS中为普通Service赋予一个形如 mysvc.mynamespace.svc.clusterdomain.example的DNS A记录,该名称会解析成Service对应的clusterIP。 Pod访问集群内部Service域名时，根据域名后缀规则依次查询Service名称，获得Service对应的ClusterIP。 Pod访问集群外部域名时，根据Pod规约的dnsPolicy值不同，使用Pod所在节点配置的DNS或者使用CoreDNS所在节点的配置DNS服务器进行解析。

本节介绍云容器引擎的最佳实践:容器与节点时区同步。 背景说明 使用Dockerfile构建容器镜像时，若未指定时区配置，那么构建的容器有可能会使用UTC时间。在云容器引擎中使用该容器镜像构建工作负载时就有可能出现容器实例与云容器引擎的节点时间不一致，相差8小时的现象。 云容器引擎的所有节点统一中国CST时间(UTC+8), 登录节点执行date R指令进行查看: [root@0000000gwcgp0q8ads ~] date R Sat, 06 Apr 2024 18:37:16 +0800 验证Pod实例的工作容器当前时间可以使用kubectl指令，例如查看default命名空间下，名为kubiamannual的pod工作容器时间: 使用kubectl exec指令可查看pod的工作负载容器当前的时间: [root@0000000gwcgp0q8ads ~] kubectl exec kubiamanual n default date R Sat, 06 Apr 2024 10:37:18 +0000 工作容器的时间戳时区为+0000，代表使用的是标准UTC时间, 中国CST时间比标准UTC时间多8个小时 解决该问题有两种方法: 1、构建容器镜像时配置时区 2、通过云容器引擎控制台进行配置 构建容器镜像时配置时区 以Dockerfile方式构建镜像为例，在镜像的Dockerfile中增加以下语句: RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 通过云容器引擎控制台进行配置 云容器控制台可以通过数据卷的方式，将节点的/etc/localtime文件挂载到Pod的工作容器实例中，以此实现时区信息同步，具体操作步骤如下: 1、登录云容器引擎控制台 2、进入【集群】【工作负载】界面，找到待处理的pod名称，点击【全量替换】按钮 全量替换 3、增加一个主机目录类型的数据卷,设置主机路径为/etc/localtime 数据卷 4、为工作容器增加挂载点 挂载点 提交更改后，容器实例会重启，使用与节点相同的时区配置； 通过云容器引擎创建新的工作负载时，可以使用的操作方法：以数据卷的方式将节点的/etc/localtime挂载到容器实例的/etc/localtime，实现节点与容器实例时间同步。

本节介绍了云容器引擎的最佳实践:通过特权容器配置内核参数。 前提条件 开通特权容器需要通过命令行模式连接到目标集群，所以需要先保存集群kubeconfig，并且配置好kubectl环境。 注意 修改主机的内核配置可能会对系统的稳定性和安全性产生影响，因此在进行这些操作时请谨慎考虑，并确保您具备足够的了解和经验。 后台操作流程 编写应用yaml，创建特权容器，示例如下： kind: DaemonSet apiVersion: apps/v1 metadata: name: daemonsettest labels: name: daemonsettest spec: selector: matchLabels: name: daemonsettest template: metadata: labels: name: daemonsettest spec: hostNetwork: true containers: name: daemonsettest image: nginx:alpine command: "/bin/sh" args: "c" while :; do time$(date);done imagePullPolicy: IfNotPresent lifecycle: postStart: exec: command: sysctl "w" net.ipv4.tcptwreuse1 securityContext: privileged: true imagePullSecrets: name: defaultsecret spec.spec.containers.lifecycle 字段是指容器启动后执行设置的命令；spec.spec.containers.securityContext.privileged: true是指开启特权容器。 使用以上yaml文件创建特权容器：kubectl apply f daemonsettest.yaml 执行后查看是否容器启动成功：kubectl get daemonset 当看到READY数量跟节点数量相同时，说明已经全部创建成功，则可以在当前主机执行kubectl get po grep daemonsettest 或者docker ps grep daemonsettest查找对应容器。 通过命令 docker exec it 356d0e5a831c /bin/sh 或 kubectl exec it podname bash 进入容器内部，然后执行命令sysctl a grep net.ipv4.tcptwreuse查看对应的内容是否有修改命令行终端确认修改系统参数成功。

本节介绍网络的用户指南:Ingress概述。 概述 与Service的四层负载均衡不同，Ingress是反向代理的抽象，提供七层的HTTP和HTTPS协议转发，可使用域名和路径配置转发规则，例如通过访问路径将请求路由到不同的Service，以实现7层的负载均衡。 Ingress资源定义了访问集群服务的规则，这些规则包括如何处理来自外部的请求、如何路由这些请求到后端的服务等。Ingress资源可以定义多个规则，每个规则对应一个前端的路径和一个或多个后端的服务。Ingress并非自身提供服务，而是依赖Ingress Controller来实现。Ingress Controller是一个持续运行的守护进程，负责处理实际的路由和负载均衡。常见的Ingress Controller包括NGINX Ingress Controller、Traefik等。 应用场景 Ingress在以下几个关键应用场景中发挥着重要作用： 单服务暴露 ：当集群中只有一个服务需要对外暴露时，Ingress可以作为该服务的路由器，处理所有进入应用的请求； 基于主机名或URL的路由 ：当集群中有多个服务需要对外提供服务时，Ingress可以基于请求的主机名或URL路径，将请求路由到对应的服务。这种情况下，Ingress充当反向代理服务器的角色，使得在一个公共的IP地址下，可以提供多个服务； SSL终止 ：对于需要提供安全传输服务的应用，Ingress可以负责处理SSL连接，包括证书的管理和续签，使得后端服务可以专注于提供业务逻辑，而无需处理SSL连接； 负载均衡 ：Ingress可以根据配置的路由规则，将请求分发到后端的多个服务实例，实现负载均衡。这对于需要处理大量请求，或者需要高可用服务的应用至关重要； 网络流量控制 ：Ingress还可以实现更为复杂的网络流量控制，如基于请求的权重进行路由，或者实现蓝绿部署等。

本节介绍网络的用户指南:NodeLocal DNSCache加速。 在集群中部署NodeLocal DNSCache可以提升服务发现的稳定性和性能，NodeLocal DNSCache通过在集群节点运行DNS缓存代理来提高集群DNS性能。 本文介绍如何安装NodeLocal DNSCache，并在应用中使用NodeLocal DNSCache。 NodeLocal DNSCache简介 云容器引擎NodeLocal DNSCache插件是基于社区开源项目NodeLocal DNSCache的一套DNS本地缓存解决方案，该方案主要由DNS本地缓存和DNSConfig动态注入控制器组成： DNSConfig动态注入控制器，基于Admission Webhook机制拦截Pod创建的请求，自动注入使用DNS缓存的Pod DNSConfig配置； DNS缓存代理，在每个集群节点上创建一个虚拟网络接口（默认监听IP 169.254.20.10），配合Pod的DNSConfig和节点上的网络配置，Pod内产生的DNS请求会被该服务所代理。 工作原理图如下图所示： 说明 1、已注入DNS本地缓存的Pod，默认会通过NodeLocal DNSCache的服务地址（169.254.20.10）解析域名; 2、NodeLocal DNSCache本地若无缓存应答解析请求，则将请求转发到CoreDNS进行解析； 3、CoreDNS对于非集群内域名，会通过节点配置的DNS服务进行解析； 4、已注入DNS本地缓存的Pod，当无法连通NodeLocal DNSCache时，会继续通过CoreDNS进行解析，此链路为备用链路； 5、未注入DNS本地缓存的Pod，会通过CoreDNS进行解析。 安装NodeLocal DNSCache 可在云容器引擎控制台安装NodeLocal DNSCache插件，步骤请参考安装插件。

本节介绍网络的用户指南:集群网络概述。 集群网络分为主机和容器两个维度，主机位于VPC中使用VPC网络，容器网络则使用容器网络插件来管理。 节点网络 VPC为集群内主机分配IP地址，订购集群时选择VPC中的子网用于集群的主机网络，子网可用IP数量直接限制了集群节点规模。 容器网络 约束条件 容器网络CNI插件为Pod分配IP地址，云容器引擎提供的CNI插件均符合kubernetes容器网络模型，具体约束如下： 1.每个Pod都拥有一个独立IP地址，Pod内容器均共享一个网络命名空间； 2.任意Pod之间均可直接通信，无需NAT； 3.任意Pod与节点间均可直接通信，无需NAT。 网络插件 当前云容器引擎提供如下CNI插件： calico容器网络：使用calico IPIP模式。该模式下，calico依旧使用BGP分发节点的容器路由信息，但在节点网络基础上通过IPIP隧道技术构建独立于节点网络平面的容器网络平面，IPIP将发给容器的IP报文封装成发给目的节点的IP报文进行隧道传输； cubecni容器网络：是云原生网络方案，直接基于VPC网络中的弹性网卡和IP资源构建容器网络。Pod通过弹性网卡资源直接分配VPC的子网IP地址，无需额外指定虚拟Pod地址段。 Cubecni和Calico对比如下： 。 对比项 Cubecni Calico隧道模式 容器网络平面 构建Underlay网络，容器和节点均在同个网络平面，支持VPC内多集群Pod直接互通及VPC内直接互通 构建Overlay网络，基于集群节点网络构建 一层覆盖网络，不支持VPC内多集群Pod直接互通及VPC内直接互通 容器网络性能 无解封包开销，整体性能优于Overlay网络，其中Cubecni独占ENI模式性能无限接近主机 有解封包损耗 节点规模 不直接限制节点规模 受限于BGP Peer连接数等限制 网络访问控制 支持网络策略Network Policy，其中Cubecni独占ENi模式支持Pod粒度安全组配置 支持网络策略Network Policy 源地址审计 Pod访问VPC网络资源，源地址是容器IP，不经节点SNAT，便于审计 Pod访问VPC网络资源，需经节点SNAT，不便于审计 地址管理 无需按节点分配地址段，随用随分配，地址无浪费 每个节点提前分配虚拟地址段 ELB 支持ELB直通Pod，性能更优 不支持ELB直通Pod，需通过NodePort转发

恢复流程 1、当节点运行异常，并持续一段时间，云容器引擎将判断节点状态，与诊断条件进行对比。控制台会将符合诊断条件的异常节点进行展示，用户可以选择一个或多个节点进行故障恢复。 2、节点故障恢复会以任务形式执行，期间会形成任务事件，查看恢复进度： 当恢复任务完成，异常状态解除，节点将恢复运行状态； 当恢复任务完成，节点状态依旧异常，事件将体现恢复失败，可以提交工单进行手动修复 说明 1. 同一节点池中的多个异常节点，故障恢复将以串行方式执行。期间一个节点恢复失败，云容器引擎将停止对该节点池其余异常节点进行恢复； 2. 多个节点池之间可以并行进行故障恢复。 恢复事件 故障恢复过程中，会将相应操作以任务事件形式记录。可以在控制台 故障恢复窗口查看恢复事件。事件类型包括： 事件 详细描述 NODEREPAIRSTART 故障恢复开始 NODEREPAIRDIAGNOSEISSUE 故障诊断确认 NODEREPAIRIGNORE 故障恢复跳过，比如主机示例异常、故障未达到阈值时间 NODEREPAIRACTION 执行故障恢复操作 NODEREPAIRFAILED 故障恢复失败，可以提交工单进行手动修复 NODEREPAIRSUCCEED 故障恢复成功

更换节点池操作系统 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“节点管理”——“节点池”； 选择指定节点池，在操作“更多”列选择“升级”； 在升级界面勾选更换操作系统选项（可选择同类型更高版本号操作系统也可选择其他类型系统，如无同类型更高版本号操作系统则当前操作系统已是最新版本），选择目标升级版本，点击“开始升级”。

本页主要介绍云容器引擎产品的kubelet配置。 名称 类型 描述 示例值 cpuManagerPolicy String CPU 管理器策略。 none kubeAPIQPS Integer 与 API Server 通信的每秒查询个数。 100 kubeAPIBurst Integer 每秒发送到 API Server 的突发请求数量上限。 100 maxPods Integer 运行的 Pod 个数上限。 110 podPidsLimit Integer Pod 中可使用的 PID 个数上限。 1 eventRecordQPS Integer 每秒可生成的事件数量。 5 eventBurst Integer 事件记录的个数的突发峰值上限。 10 topologyManagerPolicy String 使用的拓扑管理器策略名称。 none topologyManagerScope String 拓扑管理策略的资源对齐粒度 container resolvConf String 容器指定DNS解析配置文件 runtimeRequestTimeout String 除长期运行的请求之外所有运行时请求的超时时长 120s serializeImagePulls Boolean 是否逐一拉取镜像。 FALSE registryPullQPS Integer 镜像仓库的 QPS 上限。 5 registryBurst Integer 突发性镜像拉取的个数上限。 10 containerLogMaxFiles Integer 每个容器可以存在的日志文件个数上限。 20 containerLogMaxSize String 日志文件被轮转之前可以到达的最大大小。 50Mi imageGCHighThresholdPercent Integer 镜像用量超过此阈值，则镜像垃圾回收会持续执行。 80 imageGCLowThresholdPercent Integer 镜像用量低于此阈值时不会执行镜像垃圾回收操作。 70 cpuCFSQuota Boolean CPU CFS 配额约束开关。 FALSE systemReservedMem String 系统内存预留 100Mi kubeReservedMem String Kubernetes组件内存预留 100Mi evictionHard:memory.available String 硬驱动逐配置项：节点可用内存值 100Mi evictionHard:nodefs.available String 硬驱动逐配置项：Kubelet使用的文件系统的可用容量的百分比 10% evictionHard:nodefs.inodesFree String 硬驱动逐配置项：Kubelet使用的文件系统的可用inodes数的百分比 5% evictionHard:imagefs.available String 硬驱动逐配置项：容器运行时存放镜像等资源的文件系统的可用容量的百分比 10% evictionHard:imagefs.inodesFree String 硬驱动逐配置项：容器运行时存放镜像等资源的文件系统的可用inodes数的百分比 10% evictionHard:pid.available String 硬驱动逐配置项：留给分配Pod使用的可用PID数的百分比 10% evictionSoft:memory.available String 软驱逐配置项：节点可用内存值 100Mi evictionSoft:nodefs.available String 软驱逐配置项：Kubelet使用的文件系统的可用容量的百分比 10% evictionSoft:nodefs.inodesFree String 软驱逐配置项：Kubelet使用的文件系统的可用inodes数的百分比 10% evictionSoft:imagefs.available String 软驱逐配置项：容器运行时存放镜像等资源的文件系统的可用容量的百分比 10% evictionSoft:imagefs.inodesFree String 软驱逐配置项：容器运行时存放镜像等资源的文件系统的可用inodes数的百分比 10% evictionSoft:pid.available String 软驱逐配置项：留给分配Pod使用的可用PID数的百分比 10% evictionSoftGracePeriod:memory.available String 驱逐周期 10s evictionSoftGracePeriod:nodefs.available String 驱逐周期 10s evictionSoftGracePeriod:nodefs.inodesFree String 驱逐周期 10s evictionSoftGracePeriod:imagefs.available String 驱逐周期 10s evictionSoftGracePeriod:imagefs.inodesFree String 驱逐周期 10s evictionSoftGracePeriod:pid.available String 驱逐周期 10s

端口 协议 源地址 说明 全部 TCP 198.19.128.0/20 VPCE内网地址段，控制台通过VPCE访问APIServer

本节介绍网络的用户指南:ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

功能 说明 创建节点池，需要指定节点池的配置。 重要 编辑节点池时，如无特殊说明（如同步更新存量节点标签及污点），不会修改节点池已有存量节点的配置，仅作用于新增节点。 扩容会根据节点池的配置弹出节点。 · 缩容可以选择移出节点池，也可以选择释放节点池内的节点。 弹性伸缩可以根据业务负载和策略，按需弹出不同规格节点，满足不同的节点伸缩场景，进行成本优化。

自定义度量指标 Pod度量是从某一方面的指标描述Pod， 取多个pod的平均值， 它与资源度量指标非常相像，但仅支持平均值类型，示意如下： plaintext type: Pods pods: metric: name: packetspersecond target: type: AverageValue averageValue: 1k Object度量用于描述在相同命名空间除Pod以外的其他Kubernetes对象，如Service，配置示意如下： plaintext type: Object object: metric: name: requestspersecond describedObject: apiVersion: v1 kind: Service name: mainroute target: type: Value value: 2k 通过控制台创建HPA 创建负载同时创建HPA 1. 登录云容器引擎管理控制台。 2. 在控制台左侧导航栏，单击集群。 3. 在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。 4. 在集群管理页左侧导航栏，选择工作负载 > 无状态。 5. 在无状态页面选择指标伸缩。 6. 填写伸缩规则跟伸缩范围等信息，然后单击下一步。 为已有应用开启HPA 1. 登录云容器引擎管理控制台。 2. 在控制台左侧导航栏，单击集群。 3. 在集群列表页面，单击目标集群名称或者目标集群右侧操作列下的详情。 4. 在集群管理页左侧导航栏，选择工作负载 > 无状态。 5. 在无状态列表页面选择对应应用的操作栏中的更多—>水平伸缩。 6. 在创建对话框中，设置伸缩的配置。 7. 单击确定。 通过kubectl命令创建HPA 您也可通过编排模板来手动创建HPA，并将其绑定到要伸缩的Deployment对象上，通过kubectl命令实现容器自动伸缩配置。 下面针对一个Nginx应用进行举例。 1、创建并复制以下内容到nginx.yml中。Deployment的编排模板如下。 plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginx labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: name: nginx image: nginx:1.7.9 replace it with your exactly ports: containerPort: 80 resources: requests:

组件名称 组件介绍 适用场景 使用限制 HPA Kubernetes内置组件，主要面向在线业务。 在线业务 适用于Deployment、StatefulSet等实现scale接口的对象。 VPA（alpha） 开源社区组件，主要面向大型单体应用。 大型单体应用 适用于无法水平扩展的应用，通常是在Pod出现异常恢复时生效。 Cubescaler CCSE自研插件，主要面向应用资源使用率存在周期性变化的场景。 周期性负载业务 适用于Deployment、StatefulSet等，实现了scale接口的对象。

本节介绍网络的用户指南:LoadBalancer类型Service 云容器引擎支持将Service通过负载均衡ELB向外暴露， 云容器引擎集群内置CCM（Cloud Controller Manager）插件，当Service的类型为LoadBalancer时，CCM插件会为Service配置负载均衡，并根据Service信息配置好负载均衡的后端服务器组、健康检查和监听规则等，使得用户可以通过负载均衡访问该Service。以下是使用负载均衡的步骤指引。 使用已有负载均衡暴露服务 前提条件 用户已提前在负载均衡控制台创建ELB实例，ELB实例需要与Service所在的容器集群在同一个VPC网络下。 注意事项 不同Service可以同时复用同一个负载均衡实例，复用同一个负载均衡实例需要避免不同Service使用相同的服务端口，否则存在监听配置被覆盖的情况 不能复用由CCM自动创建的或集群ApiServer使用的负载均衡实例 当Service删除时，使用已有的负载均衡不会被删除 集群Master节点不作为负载均衡实例的后端 操作步骤 1. 登录 云容器引擎 控制台，点击进入想要操作的集群，在左侧菜单选择“网络” “服务”； 2. 如下图，点击“新建”按钮新建服务，按照参数说明配置相关的参数； 服务访问方式：选择负载均衡 负载均衡：可根据业务需要选择私网访问或公网访问，集群内或同一VPC内访问建议选择私网访问即可；选择“使用已有负载均衡”；负载均衡实例列表会根据选择的私网/公网访问方式显示出对应的实例，选择想要使用的负载均衡实例即可 标签：根据需要可以为服务配置标签 注解：根据需要可以为服务配置注解 外部流量策略：Cluster或Local。Cluster策略下，集群所有可用工作节点都会挂载到负载均衡实例；Local策略下，只有Service对应的Pod所在节点会挂载到负载均衡实例 端口映射：配置好协议、容器端口及服务端口，其中容器端口为应用本身暴露的端口，服务端口则会作为负载均衡实例的监听端口 工作负载绑定：选择服务要关联的工作负载，也可以配置自定义标签关联 3. 创建服务后，在服务列表可以看到该服务，通过服务的集群外访问地址即可以访问该服务。

参数 说明 策略类型 Infra：基础设施层资源相关的策略类型。 CISK8s：基于CIS等K8s合规规范定制的策略类型。 PSP：替代Pod Security Policy（PSP）能力的策略类型。 K8sgeneral：基于最佳安全实践对K8s资源配置进行安全加固约束的通用策略类型。 实施动作 拦截：违反策略规则约束的指定资源部署会被拦截。 告警：违反策略规则约束的指定资源仍旧可以部署，只会产生对应违规审计的告警日志。 策略名称 根据选择的策略类型，在策略名称下拉列表中选择需要部署的策略模板名称。 参数配置 如果参数配置输入框中默认为空，说明规则不需要进行参数配置。 如果输入框中包含需要配置的参数模板，则请参考策略参数说明按照指定格式配置参数。

本节介绍了用户指南: 海量文件概述。 云容器引擎支持挂载天翼云海量文件存储卷。cstorcsi插件支持使用海量文件动态存储卷和静态存储卷，通过将海量文件存储卷挂载到容器指定目录下，以满足数据持久化需求。 海量文件服务OceanFS为全托管、可扩展的海量文件系统，适用于海量数据及高带宽应用场景。OceanFS支持弹性扩展至PB级别，具备高可用性与数据持久性，适用于高性能计算、媒体处理、文件共享、内容管理及Web服务等多种场景。 使用限制 插件版本 使用海量文件存储功能，需要cstorcsi插件版本 >3.6.0 文件协议 当前cstorcsi插件仅支持NFS协议 容量 单个文件系统最小容量为100GB subpath模式 在subpath模式下，暂不支持目录配额，subpath使用的容量实际上是整个海量文件的容 其他限制 参见 海量文件使用限制 产品优势 共享访问 1. 支持多台客户端挂载访问同一文件系统，可支持连接上千个客户端实例。 2. 支持NFSv3/v4.1。 3. 支持IPv4和IPv6网络协议。 海量可扩展 1. 用户可以根据业务需要配置文件系统的初始存储容量，后续可以随着数据量的变化而扩容。 2. 支持PB级存储空间。 安全可信 1. 支持使用VPC用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 文件服务支持HA高可用，出现任何硬件故障时，业务自动切换到其他节点，服务可用性在99.95%及以上。 友好易用 1. 操作界面友好、简单易用，用户可通过控制台界面快速轻松地创建、配置和管理文件系统，省去复杂的文件系统部署工作。 2. 提供全托管服务，不必考虑复杂的安装、配置及性能调优工作，用户可轻松创建使用文件系统，只需几分钟便可使用高性能的文件系统。

创建定时伸缩任务 1. 登录云容器引擎控制台，选择集群。 2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 无状态。 3. 在无状态页面，单击应用右侧“更多”操作列下的弹性伸缩。 4. 如果 cubecronhpa 组件未被安装，页面提示点击安装。单击点击安装后，然后进行以下步骤。 5. 点击 CronHPA 策略的启用策略，添加策略规则.