本节介绍云容器引擎的最佳实践：CoreDNS配置优化实践。 概述 DNS作为k8s的关键基础服务，在配置不合理，集群规模较大时，DNS容易出现解析超时、解析失败等现象。本文介绍Kubernetes集群中CoreDNS配置优化的最佳实践，帮助您避免此类问题。 前提条件 创建一个云容器引擎集群，具体操作步骤请参见新建云容器引擎集群。 通过kubectl连接集群，详情请参见通过kubectl连接集群。 安装CoreDNS插件（推荐安装CoreDNS最新版本），详情请参见CoreDNS介绍。 实践方案 CoreDNS配置优化方案包含客户端和服务端的实践。 在客户端，您可以通过使用合适的容器镜像，优化域名解析请求，增加节点DNS缓存等方式来降低解析时延和减少解析异常。 优化域名解析请求 选择合适的容器镜像 避免IPVS缺陷导致的DNS概率性解析超时 使用节点DNS缓存（NodeLocal DNSCache） 谨慎调整节点的DNS配置 在服务端，您可以合理的调整CoreDNS部署状态或者调整CoreDNS配置来提升集群CoreDNS的可用性和吞吐量。 监控CoreDNS运行状态 合理调整CoreDNS部署状态 合理配置CoreDNS

步骤三、Ingress配置 当用户访问这个Ingress路由时，Ingress控制器会要求用户提供之前创建的“basicauth”Secret中存储的用户名和密码进行身份验证，只有成功验证的用户才能访问后端服务。 1、点击目标容器集群名称，进入集群详情页； 2、在菜单栏【网络】中选择【路由（Ingress）】，点击【新增】； 3、在新增页面添加以下注解： 身份验证类型：nginx.ingress.kubernetes.io/authtype:basic 包含用户名和密码的Secret对象名：nginx.ingress.kubernetes.io/authsecret: basicauth 需要身份验证的提示信息：nginx.ingress.kubernetes.io/authrealm:'Authentication Required foo' 详情可参考社区官方的ingressnginx controller介绍。

本节介绍了插件FAQ。 云容器引擎提供了诸多类型的组件，涵盖容器核心组件、应用管理、日志监控、存储等方面，用户可以根据需求进行相应组件的安装、卸载、实例查看等。 本文所涉及组件可以在指定容器集群——“插件”——“插件市场”获取插件列表，主要介绍插件安装及使用过程中常见的问题及分析流程。 安装失败 在“插件”——“插件市场”——选择插件安装，完成相关参数配置后点击“安装”； 安装详情可以在“插件”——“插件实例”中看到相应插件实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 以下是常见的插件安装失败问题： 1、cstorcsi插件安装报 no matches for kind “PodSecurityPolicy” in version “policy/v1beta1 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。 该问题解决方案有以下两种方式： 将cstorcsi升级至3.2.0，按原参数安装即可； 如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 2、cubenodelocaldns插件安装报 resource mapping not found for name: "ccsenodelocaldnsadmissioncontroller namespace "kubesystem" from "": no matches for kind "Certificate" in version "certmanager.io/v1"” 该报错是由于cubenodelocaldns插件安装依赖certmanager组件，请先在插件市场中安装certmanager，再重新安装cubenodelocaldns即可。

本节介绍了用户指南： 对象存储概述。 云容器引擎支持使用天翼云对象存储作为存储卷。当前cstorcsi插件支持使用对象存储动态存储卷和静态存储卷，通过将对象存储挂载到容器指定目录下，以实现数据持久化需求。 天翼云对象存储为客户提供海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 使用限制 服务开通 使用前请在云容器引擎集群所在资源池，相应开通对象存储服务，参照指引：点这里 开通地域选择参见：点这里 存储类型 当前cstorcsi仅支持标准、低频两种存储类型 数据加密 暂不支持加密 其他 对象存储产品本身使用限制参见：点这里 产品规格 cstorcsi支持标准存储、低频存储 两种存储类型，这些存储类型具有不同的特点和适用场景，详见：对象存储性能说明 注意 当CSI版本为4.0.0及其以上版本时，删除不为空的对象存储pvc时，将保留对象存储bucket但删除对应的pvc和pv，您可以通过对象存储控制台删除对应的bucket。

集群外Ingress访问请求会话保持 1、前提条件 创建一个nginx工作负载，同上 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意Session Affinity不需要设置，保持默认值即可。 确保当前命名空间已经绑定到一个负载均衡器： 创建一个生产路由（Ingress）并关联到上述服务（Service）。 添加本地hosts映射： ip为NginxIngressController的访问地址 域名为创建Ingress时填入的域名 10.142.232.160 nginx.ccse.io 2、发起服务调用 在浏览器中多次发起对服务的请求 > 这里没法通过curl来测试验证，因为curl请求时没法保持Cookie。 3、观察工作负载日志 结论：浏览器中的请求会全部转发到某一个Pod实例，进行会话保持。 集群外TCP/UDP访问 集群外通过TCP/UDP没法进行会话保持。

Calico IPIP隧道网络 不同VPC使用Calico网络插件的两个集群，在创建对等连接后，需要进一步配置VPC路由表才能使两个VPC互通。跨VPC互联如下图所示： 需要注意如下几点： 两端集群节点子网网段需避免重叠；为简化配置避免潜在的地址冲突，建议VPC地址段不重叠； 两端集群的容器网段可以重叠，服务网段也可以重叠； 一个集群的节点可以访问另一个集群的节点，但需注意两端安全组是否放通； 不同集群的Pod之间不能通过容器IP直接访问，跨集群Pod访问需通过LoadBlance类型Service等方式访问； 对等连接本端和对端VPC均需配置路由表，以确保网络流量能够正确地传输； 在对等连接的本端路由添加对端集群节点子网网段，在对端路由添加本端集群节点子网网段，以实现两端集群节点互访： Cubecni VPC网络 不同VPC使用Cubecni网络插件的两个集群，在创建对等连接后，需要进一步配置VPC路由表才能使两个VPC互通。跨VPC互联如下图所示： 需要注意如下几点： 两端集群节点子网网段需避免重叠，容器子网网段需避免重叠；为简化配置避免潜在的地址冲突，建议VPC地址段不重叠； 两端集群的节点及Pod均可直接互访，但需注意两端安全组是否放通； 对等连接的路由表需添加对端集群节点子网网段和容器子网网段或者整个VPC网段，该操作在两侧的VPC路由表中均要执行。

本节介绍了云容器引擎的最佳实践：使用存储子目录为工作负载提供存储。 当需要将存储的特定子目录直接挂载至工作负载以实现高效数据存储时，云容器引擎提供了多种实现方式以支持该能力。 需求场景 当用户创建大容量文件存储时，为充分利用现有资源，可将不同子目录分配给多个工作负载使用。 若需实现数据层面的权限控制，可限制容器仅访问指定子目录。 对于习惯开源NFS使用方式的用户，可在已有文件存储基础上，通过为不同子目录创建独立的PVC并分配给对应工作负载，实现资源隔离。 每个工作负载拥有不同的子目录的方式便于管理，且可通过Pod名称区分子目录，提升运维效率。 方案选择 有以下两种方案： （1）复用现有存储：用户已有的存储对应一个PVC，无需额外创建PVC，可将同一PVC下的不同子目录分配给多个工作负载使用。 （2）动态分配子目录：用户使用海量文件存储时，每次可为不同工作负载动态分配一个子目录作为独立PVC。（注：此功能仅海量文件存储支持，其他存储产品不适用于子目录挂载场景。） 方案一：子目录挂载（多个子目录共享同一PVC） 在工作负载的数据存储配置界面，设置挂载路径为 /test，即存储卷将挂载至容器内的 /test 目录。子路径可选择 subPath 或 subPathExpr 模式。 subPath：简单直接，工作负载的所有副本均使用存储卷的同一子目录。 subPathExpr：支持通过环境变量动态调整子目录路径，实现同一工作负载中不同副本使用独立子目录。 若选择 subPath，直接填写子目录名称即可；若目录不存在，K8S会自动创建。若选择 subPathExpr，需按以下方式配置： 在第二个绿色箭头所指的框中，根据实际需求填写路径表达式。例如可使用 $(PODNAMESPACE)/$(PODNAME) 或 $(PODNAME)，也支持自定义格式。此处以 $(PODNAMESPACE)/$(PODNAME) 为例，需确保相关变量已在环境变量中预先定义。 根据以上示例，红框处需正确填写变量名，绿框处需选择变量值的来源。即从Pod的metadata.name字段获取PODNAME变量值，从metadata.namespace字段获取PODNAMESPACE变量值，并组合为存储的子目录路径。 例如：一个两副本的无状态工作负载位于命名空间cstor下，Pod名称分别为podA和podB。按此配置后，一个副本会将PVC对应存储下的cstor/podA子目录挂载至容器内的/test路径，另一副本则挂载cstor/podB子目录至相同路径。 若通过工作负载的YAML文件实现，相关字段配置如下： plaintext volumeMounts: name: workdir1 mountPath: /logs subPathExpr: $(PODNAMESPACE)/$(PODNAME) yaml的env的设置如下： plaintext spec: containers: name: container1 env: name: PODNAME valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.name name: PODNAMESPACE valueFrom: fieldRef: apiVersion: v1 fieldPath: metadata.namespace

本节介绍了Service诊断对应的检查项以及修复方案。 Service诊断主要包括Service后端Ready Pod数量、异常Event等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Service诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 检查项名称 说明 修复方案 检查Service后端Ready Pod数量 检查Service后端Ready Pod数量。 检查业务Pod状态，保证Pod存在且处于Ready状态。 检查Service是否存在异常事件 检查集群中是否存在与该Service相关的异常事件。 请检查并处理Service异常事件中的描述信息，若无法处理，请提交工单。

约束与限制 存量的master节点不支持更换操作系统。 基于私有镜像的节点不支持节点池升级，因此也不支持更换操作系统。 功能说明 升级方式 说明 实现方式 开通新集群 新版本的操作系统发布后，集群订购页默认提供最新版本的操作系统，旧版本的操作系统将不在集群订购页面提供，因此可以通过开通新集群的 方式来获取并使用最新版本的操作系统。 通过选择所需操作系统开通新集群实现 新建节点池并扩容 新版本的操作系统发布后，节点池订购页默认提供最新版本的操作系统，旧版本的操作系统将不在节点池订购页面提供，因此可以通过新建节点池 的方式来获取并使用最新版本的操作系统。 通过选择所需操作系统新建节点池并扩容节点实现 更换节点池操作系统 升级节点池可以选择更换操作系统，因此可以选择升级到新版本的操作系统，该功能通过节点重置方式实现。 通过升级节点池的更换操作系统功能实现 操作步骤 开通新集群 开通新集群操作步骤参见订购集群，其中master节点默认采用最新版本CTyunOS操作系统，工作节点用户根据需要选择所需类型的的操作系统。 新建节点池并扩容 新建节点池步骤参见节点池管理，节点池扩容参见扩缩容节点池，通过扩容节点池可以应用新版本的操作系统，通过缩容节点池可以弃用旧版本的操作系统。

本节介绍网络的用户指南：集群网络概述。 集群网络分为主机和容器两个维度，主机位于VPC中使用VPC网络，容器网络则使用容器网络插件来管理。 节点网络 VPC为集群内主机分配IP地址，订购集群时选择VPC中的子网用于集群的主机网络，子网可用IP数量直接限制了集群节点规模。 容器网络 约束条件 容器网络CNI插件为Pod分配IP地址，云容器引擎提供的CNI插件均符合kubernetes容器网络模型，具体约束如下： 1.每个Pod都拥有一个独立IP地址，Pod内容器均共享一个网络命名空间； 2.任意Pod之间均可直接通信，无需NAT； 3.任意Pod与节点间均可直接通信，无需NAT。 网络插件 当前云容器引擎提供如下CNI插件： calico容器网络：使用calico IPIP模式。该模式下，calico依旧使用BGP分发节点的容器路由信息，但在节点网络基础上通过IPIP隧道技术构建独立于节点网络平面的容器网络平面，IPIP将发给容器的IP报文封装成发给目的节点的IP报文进行隧道传输； cubecni容器网络：是云原生网络方案，直接基于VPC网络中的弹性网卡和IP资源构建容器网络。Pod通过弹性网卡资源直接分配VPC的子网IP地址，无需额外指定虚拟Pod地址段。 Cubecni和Calico对比如下： 。 对比项 Cubecni Calico隧道模式 容器网络平面 构建Underlay网络，容器和节点均在同个网络平面，支持VPC内多集群Pod直接互通及VPC内直接互通 构建Overlay网络，基于集群节点网络构建 一层覆盖网络，不支持VPC内多集群Pod直接互通及VPC内直接互通 容器网络性能 无解封包开销，整体性能优于Overlay网络，其中Cubecni独占ENI模式性能无限接近主机 有解封包损耗 节点规模 不直接限制节点规模 受限于BGP Peer连接数等限制 网络访问控制 支持网络策略Network Policy，其中Cubecni独占ENi模式支持Pod粒度安全组配置 支持网络策略Network Policy 源地址审计 Pod访问VPC网络资源，源地址是容器IP，不经节点SNAT，便于审计 Pod访问VPC网络资源，需经节点SNAT，不便于审计 地址管理 无需按节点分配地址段，随用随分配，地址无浪费 每个节点提前分配虚拟地址段 ELB 支持ELB直通Pod，性能更优 不支持ELB直通Pod，需通过NodePort转发

配置多个集群的kubectl访问凭证 下面用2个集群为例演示如何修改config文件访问多个集群。 获取集群A的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16261" name: 1626117120288662000021 currentcontext: 1626117120288662000021 kind: Config preferences: {} users: name: "16261" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clustera，用户名修改成clusterauser： apiVersion: v1 clusters: cluster: server: name: clustera contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... 获取集群B的访问凭证，例如： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16262" name: 1626217120288662000022 currentcontext: 1626217120288662000022 kind: Config preferences: {} users: name: "16262" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把集群cluster名、用户user名修改成方便识别的名称，例如集群名修改成clusterb，用户名修改成clusterbuser： apiVersion: v1 clusters: cluster: server: name: clusterb contexts: context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusterbcontext kind: Config preferences: {} users: name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2... 把两份凭证合并到同个config文件，把两份文件中的cluster、user、contenxt合并到同一父路径下： apiVersion: v1 clusters: cluster: server: name: clustera cluster: server: name: clusterb contexts: context: cluster: clustera user: "clusterauser" name: clusteracontext context: cluster: clusterb user: "clusterbuser" name: clusterbcontext currentcontext: clusteracontext kind: Config preferences: {} users: name: "clusterauser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... name: "clusterbuser" user: clientcertificatedata: LS0tLS1CRUdJTiBDR2... clientkeydata: LS0tLS1CRUdJTiBSU0Eg2...

步骤 2 创建集群 登录CCE控制台，在右上角选择“创建集群”。 网络配置请按如下设置，其余配置可参考 新建集群 虚拟私有云：选择已开启IPV6的VPC。 所在子网：仅支持选择已开启了IPv6的子网。 启用IPV6：选择开启，开启后将支持通过IPv6地址段访问集群资源，包括节点和工作负载等。 Pod子网：仅支持选择已开启了IPv6的子网。 Service CIDR：容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。 Service CIDRV6：该网段决定了支持 IPv6 地址的 Service 资源的上限，创建后不可修改，默认为fc00::/112。如需自定义该网段，需要满足以下要求：Service CIDRV6网段需属于fc00::/8网段内。IPv6地址前缀长度范围为112120，您可以通过调整前缀数值，调整地址个数，地址数最多可支持65536个。 步骤 3 购买和加入共享带宽 默认IPv6地址只具备私网通信能力，如果您需要通过IPv6地址访问Internet或被Internet上的IPv6客户端访问，您需要购买和绑定共享带宽。如您已有共享带宽，可以不用重新购买，直接将IPv6地址加入共享带宽即可。 在虚拟私有云 VPC中左侧导航栏，选择“弹性公网IP和带宽 > 共享带宽”。 在共享带宽列表页，单击操作列的“添加公网IP”。 将IPv6地址加入共享带宽。 结果验证：登录到ECS实例，ping一个公网上的IPv6服务，验证连通性。例如：ping6 ipv6.ctyun.cn。

本节介绍云容器引擎的最佳实践：集群规格推荐规划。 集群规格规划 Kubernetes集群的稳定性受到两方面因素的影响，一方面是资源对象的数量，另一方面是节点的规格和数量。对于后者而言，选择小数量、大规格的ECS搭建集群或者大数量、小规格的ECS搭建集群都可能存在较大的隐患。因此对集群规格进行合理规划显得尤为重要。 在考虑ECS规格时，需要考虑以下因素： 网络带宽：大规格ECS的网络带宽优于小规格，适用于对带宽需求较大的应用。 网络通信：容器在同一大规格ECS内部建立链路的比例增大，可以避免跨ECS访问，减少网络开销。 容量：ECS系统需要预留一部分CPU、内存、磁盘等节点资源，用于集群管理和基础设施组件的运行。小规格ECS由于抢占资源等因素，使得集群的稳定性和可靠性降低的概率大增。 碎片化：节点资源分配时，小规格ECS更容易被少数甚至一个容器独占，导致不一致或不连续的资源需求难以有效组合，进而造成资源浪费。 镜像拉取：大规格ECS更能有效地利用容器镜像的分层机制，提升拉取镜像的效率。 ECS数量的考量因素： 小数量的ECS，在节点故障时，由于资源冗余不足，可能导致无法及时处理故障节点外排的业务。 大数量的ECS极大地考验Master的性能和稳定性。

ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。

本节介绍了：基础资源监控的用户指南。 应用场景 云容器引擎监控体系提供基础资源监控能力，通过安装ccsemonitor插件可以无侵入地采集集群基础资源指标。可以通过监控面板查看节点、工作负载、Pod的CPU、内存、网络、磁盘等基础资源的使用情况和健康状态，确保集群稳定运行。 前提条件 已创建集群，具体操作请参见 用户指南 > 集群 > 新建集群 章节。若已有集群，无需重复操作。 集群已安装ccsemonitor插件，可参考 用户指南 > 插件 章节。 通过Grafana仪表盘查看集群监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 运维管理 > 监控 查看Grafana仪表盘，可以查看集群监控概览、核心组件监控、节点监控、应用监控、网络监控等监控面板。 查看节点的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 节点 > 节点 进入节点列表页，点击要查看监控的节点进入节点详情页，在节点详情页可以查看节点的监控信息

采用天翼云主机的DNS配置 当Pod不需要访问集群内的其他服务，只需要通过云主机DNS来做解析，也不希望DNS解析经过CoreDNS，可以采用Default策略，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo imagePullPolicy: Always name: alpine dnsPolicy: Default 在HostNetwork网络模式下访问集群服务 当Pod使用hostNetwork作为容器网络，此时若需解析集群内Service域名，可使用ClusterFirstWithHostNet策略，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: hostNetwork: true dnsPolicy: ClusterFirstWithHostNet containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo 使用HostAliases配置容器Pod的/etc/hosts 当需要配置Pod的静态域名解析，可声明HostAliases字段，以修改Pod内/etc/hosts，示例配置如下： apiVersion: v1 kind: Pod metadata: name: hostaliasespod spec: hostAliases: ip: "127.0.." hostnames: "foo.local" "bar.local" ip: "10.1.." hostnames: "foo.remote" containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo command: cat args: "/etc/hosts" Pod启动后，/etc/hosts文件会被添加如下内容： Kubernetesmanaged hosts file. 127.0.. localhost ::1 localhost ip6localhost ip6loopback fe00::0 ip6localnet fe00::0 ip6mcastprefix fe00::1 ip6allnodes fe00::2 ip6allrouters 10.200.. hostaliasespod

本节介绍了：DNS FAQ的用户指南。 如何进入CoreDNS Pod执行命令？ 问题现象 使用 kubectl n kubesystem exec it {coredns pod} bash及类似命令发现无法进入到CoreDNS Pod中执行或者查看相关信息。 问题原因 CoreDNS所使用的容器镜像是基于Scratch构建，不具备Shell执行环境，所以无法使用bash命令进入。 解决方案 可以使用nsenter的方式访问CoreDNS Pod所处的容器网络环境。 kubernetes中的服务的域名不能通过coredns正确解析 问题现象 kubernetes中的服务建立成功后，无法通过域名访问。 问题原因 kubernetes中的服务的域名的格式不对。 解决方案 使用完整的域名格式进行解析，servicename.nsname.svc.cluster.local。

本节介绍网络的用户指南：NGINX Ingress Controller。 NGINX Ingress Controller是一种常见的Ingress Controller实现，它利用NGINX的高级性能和灵活性来处理服务的路由和负载均衡。当一个Ingress资源在Kubernetes集群中被创建或更新时，Ingress Controller会检测到这些变化。然后，它会根据Ingress资源定义的规则，自动生成对应的NGINX配置，以实现请求的路由和负载均衡。 NGINX配置包括如何处理进入的网络请求（例如，基于主机名或URL路径进行路由），以及如何将请求路由到后端的服务实例。NGINX Ingress Controller会定期检查Ingress资源的变化，如果检测到任何更改，它会自动更新NGINX配置以反映这些更改。此外，NGINX Ingress Controller还支持一些高级特性，如SSL终止、WebSocket、HTTP/2和更复杂的负载均衡算法。这些特性都可以通过Kubernetes Ingress资源的注解来配置。 Nginx Ingress Conftroller通过Pod部署在工作节点，因此引入了相应的组件运行和运维成本，其工作原理如图所示： 注意 1、用户提交Ingress资源后，Nginx Ingress Controller会获取该资源并解析为转发规则，写入Nginx的配置文件（nginx.conf）； 2、触发Nginx进行reload，以加载更新后的配置文件，完成Nginx转发规则的修改和更新； 3、集群外客户端可通过控制节点IP或VIP（若存在）访问Nginx，Nginx组件根据转发规则将其转发至对应的服务Service，最终转发到对应的后端Pod。

本节介绍网络的用户指南：ELB Ingress Controller。 ELB Ingress Controller基于天翼云弹性负载均衡ELB实现，用于将Kubernetes集群中的Service服务通过七层弹性负载均衡暴露给外部访问，用户可以通过不同域名、不同路径访问到对应的服务。 用户通过控制台或API创建elb类型的Ingress资源（注解kubernetes.io/ingress.class，值为elb），在Ingress资源中指定要使用的ELB实例、访问域名、访问路径、SSL证书及后端服务等。用户也可指定ELB规格，由ELB Ingress Controller新建ELB，新建的ELB为按需计费模式。 ELB Ingress Controller监听到Ingress资源变化时，会根据Ingress定义的转发规则，对指定的ELB配置对应的HTTP/HTTPS转发策略及其后端主机组。如果Service服务的外部流量策略为Local，则Controller只会将Service后端Pod所在节点作为该转发策略的后端主机组。 通过ELB实例访问服务时，流量根据ELB中配置的转发策略转发到对应的后端Service，然后再经由Service网络转发到对应的后端Pod。 注意 ELB Ingress Controller目前仅支持为NodePort/LoadBalancer类型的Service暴露到ELB，因ClusterIP类型的Service只限于集群内访问，暂不支持通过ELB直接暴露服务。

本节介绍了安全管理角色的用户指南。 操作场景 基于角色（Role）的访问控制（RBAC）是一种基于组织中用户的角色来调节控制对计算机或网络资源的访问的方法。 RBAC 的 Role 或 ClusterRole 中包含一组代表相关权限的规则。 这些权限是纯粹累加的（不存在拒绝某操作的规则）。 Role 总是用来在某个名字空间内设置访问权限； 在你创建 Role 时，你必须指定该 Role 所属的名字空间。与之相对，ClusterRole 则是一个集群作用域的资源。这两种资源的名字不同（Role 和 ClusterRole）是因为 Kubernetes 对象要么是名字空间作用域的，要么是集群作用域的，不可两者兼具。 前提条件 已创建云容器引擎集群，具体操作请参见创建一个集群。若已有容器集群，无需重复操作。 操作步骤 创建Role或Cluster Role 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要创建Role的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择安全管理 > 角色，进入角色信息页面。 4. 在上⽅选项卡中选择Role或Cluster Role创建对应的角色，本文以Cluster Role为例。 5. 点击创建进入创建YAML页面，Yaml编辑窗口提供⼀个默认的Cluster Role Yaml模板，可参考模板创建需要的Cluster Role。

3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "oceanfstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvcoceanfssharepath" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。 验证数据持久化 登录“云容器引擎”管理控制台。 在集群列表页点击进入指定集群。 进入主菜单“工作负载”——“有状态”，进入负载详情。 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccsetmp 目录下写一个文件，执行 plaintext echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在，说明海量文件服务中的数据可持久化保存。

配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量，最小为1GB。 子目录 输入需要创建的子目录，例如：/ccse或者/ccse/csi。如果用户只填/，那么将会以持久卷名字作为子目录。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。

本节介绍使容器网络限速的用户指南。 在离线应用混部中通过使用容器网络限速，帮助用户为不同应用配置网络带宽限制与优先级，提升集群资源隔离与网络体验。 适用场景 需要对容器的入站/出站网络带宽进行限制，防止单一业务占用过多带宽。 希望为延迟敏感或大带宽业务设置网络优先级，实现更优的流量调度。 功能说明 带宽限制 网络优先级控制 配置方法 启用网络优先级能力（可选） 如需使用网络优先级控制，请确保集群已启用 Cubecni 的优先级功能： 1. 编辑 Cubecni 配置： plaintext kubectl n kubesystem edit cm cubecniconfig 2. 在 10cubecni.conflist 下添加/修改 enablenetworkpriority 为 true： plaintext { "cniVersion": "0.3.1", "name": "cubecni", "plugins": [ { "type": "cubecni", "capabilities": {"bandwidth": true}, "enablenetworkpriority": true } ]} 3. 滚动重启 Cubecni Pod： plaintext kubectl n kubesystem rollout restart ds/cubecni kubectl n kubesystem get po l appcubecni owide w 配置带宽与优先级注解 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加带宽和优先级注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: netperfclient8000 namespace: demospec: replicas: 2 template: metadata: annotations: kubernetes.io/egressbandwidth: 10M kubernetes.io/ingressbandwidth: 20M k8s.ctyun.com/networkpriority: guaranteed spec: containers: name: netperf image: ciliumnetperf:2.0

本节介绍高优先级应用的CPU独占与隔离的用户指南。 为高优先级应用（LSE优先级）配置CPU独占与隔离，可以确保关键业务应用获得独占的CPU资源，避免与其他应用争抢资源，从而保证应用性能的稳定性和可预测性。 适用场景 需要为关键业务应用提供独占CPU资源，确保性能稳定 需要避免高优先级应用与低优先级应用之间的CPU资源争抢 需要验证CPU独占与隔离配置是否生效 功能概览 CPU核级独占：为高优先级应用分配独占的CPU核心 资源隔离：通过cgroup cpuset确保其他应用不会使用已分配的CPU核心 优先级保障：与混部优先级系统集成，支持LSE（LatencySensitiveExclusive）优先级 操作指南 环境准备 确保集群中已安装并配置好koordruntimeproxy组件，并已正确配置kubelet使用该runtime proxy。 1、检查节点状态 plaintext kubectl get node o wide 确认目标节点状态为Ready，并记录节点名称。 2、检查 DaemonSet 状态 plaintext kubectl n koordinatorsystem get ds koordruntimeproxy koordruntimeproxyarm64 确保DaemonSet状态正常。 创建高优先级应用 1、LSE优先级绑定 无需手动创建 ColocationProfile；请参照在离线应用优先级管理文档中的步骤，将应用与 LSE 优先级配置进行绑定。 2、创建高优先级应用 创建以下YAML文件并应用，部署一个高优先级应用： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: nginx namespace: defaultspec: replicas: 2 selector: matchLabels: app: nginx version: v1 template: metadata: labels: app: nginx version: v1 koordinator.sh/colocationprofile: highest spec: nodeSelector: ccse.ctyun.cn/hostcode: amd643559d 替换为实际节点名称 containers: image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim name: container1 resources: limits: cpu: "1" memory: 512Mi requests: cpu: "1" memory: 512Mi

BE 应用可使用 02 共 3 个核心 2. 增加 LS 应用负载 当 LS 应用 CPU 负载增加时（例如从 10% 增加到 90% ） 系统自动调整 BE 应用的 cpuset 范围 3. 观察 BE 应用 CPU 被压制 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 01 BE 应用被压制，CPU 使用范围减少为 01 共 2 个核心 常见问题 超卖调度相关 为什么开启超卖后，某些 BE 应用仍无法调度？ 1、检查是否正确绑定了 BE 优先级。 2、确认混部调度器已启用并正常运行。 3、节点可能存在其他资源（如内存）限制。 超卖比例如何确定？ 1、统根据历史负载和配置自动计算合理的超卖比例。 2、默认配置已适用于大多数场景，一般无需手动调整。 CPU 压制相关 BE 应用被压制后性能下降严重？ 1、属于正常现象，BE 应用设计为弹性使用剩余资源。 2、可通过调整优先级或增加节点资源来改善。 如何确认 CPU 压制是否生效？ 1、通过观察 BE 应用的 cpuset 范围变化。 2、查看 BE 应用的实际 CPU 使用率是否下降。 3、监控混部系统的事件日志。 注意 资源超卖可能导致节点负载增加，建议合理规划应用部署。 CPU 压制机制会影响 BE 应用性能，不建议将关键业务设置为 BE 优先级。 混部系统会保证 BE 应用最低资源保障，避免完全饿死。

配置项 说明 名称 PV的名称。 持久卷类型 前支持云盘、弹性文件、对象存储、并行文件、海量文件和本地存储，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 容量 根据业务需求自定义容量。 访问模式 ReadWriteOnce：卷可以被一个节点以读写方式挂载。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 参数 类型：包括NFS、Local，这里选择Local； 方式：包括指定节点、指定节点标签，可以根据业务需求选择； LocalPV的目录：要求指定节点或者指定标签节点中目录存在，否则会出现挂载失败。 卷模式 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 以将 local 卷作为原始块设备暴露出来。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

查看与编辑混部规则详情 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击左上角“编辑”按钮，可修改 QoS 类型及负载感知调度器设置。 绑定与解绑应用 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。在规则列表中点击某一规则名称，进入详情页面。 2. 点击“绑定”按钮，弹出批量绑定应用窗口。 3. 可通过命名空间、工作负载类型等筛选待绑定应用。 4. 勾选目标应用，点击“确定”即可批量绑定。 5. 在已绑定应用列表中，点击单个应用末尾的“解绑”按钮，可解除该应用与规则的绑定关系。 常见问题与说明 绑定应用后无效果？ 确认应用已正确选择并绑定，稍等片刻或刷新页面。 规则删除失败？ 检查是否有应用仍绑定该规则，需先解绑所有应用。 编辑规则后部分应用未生效？ 编辑后新配置仅对后续调度生效，已运行的应用需重启或重新调度。 注意 建议为不同业务类型的应用设置合理优先级，避免资源争抢。 编辑或删除规则前，请确认相关应用的运行影响。 批量操作时请谨慎选择目标应用，避免误操作。

使用场景 本地存储适用于对存储I/O性能、海量存储性价比有极高要求的业务场景。

参数 参数类型 是否必填 描述 spec.coolDown Integer 必填 冷却时间，单位为min spec.disable Bool 是 伸缩策略开关，会对策略中的所有规则生效 spec.rules Array 否 伸缩策略中的所有规则 spec.rules[x].action.type String 当spec.rules不为空时必填 规则操作类型，当前支持“ScaleUp”、“ScaleDown” spec.rules[x].action.unit String 当spec.rules不为空时必填 规则操作单位，当前仅支持“Node” spec.rules[x].action.value Integer 当spec.rules不为空时必填 规则操作数值 spec.rules[x].alarmTrigger / 否 可选，仅在告警规则中有效 spec.rules[x].alarmTrigger.evaluationCount Integer 当spec.rules[x].alarmTrigger不为空时必填 告警规则的连续持续n次，防止抖动，最小为1 spec.rules[x].alarmTrigger.fun String 当spec.rules[x].alarmTrigger不为空时必填 avg（平均值）、max（最大值）、min（最小值） spec.rules[x].alarmTrigger.metric String 当spec.rules[x].alarmTrigger不为空时必填 告警规则对应的指标，当前支持 diskreadbytesrate（磁盘读速率）、diskwritebytesrate（磁盘写速率）、memutil（内存使用率）、diskreadrequestsrate（磁盘读请求速率）、diskwriterequestsrate（磁盘写请求速率）、netoutbytesrate（网络流出速率）、netinbytesrate（网络流入速率） spec.rules[x].alarmTrigger.operator String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的比较符，取值范围：eq：等于。gt：大于。ge：大于等于。lt：小于。le：小于等于 spec.rules[x].alarmTrigger.period String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的监控周期，支持5m、20m、1h、4h、12h、24h spec.rules[x].alarmTrigger.value String 当spec.rules[x].alarmTrigger不为空时必填 告警规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].cronTrigger / 否 可选，仅在周期规则中有效 spec.rules[x].cronTrigger.schedule String 当spec.rules[x].cronTrigger不为空时必填 周期规则的cron表达式 spec.rules[x].disable Bool 当spec.rules不为空时必填 规则开关，当前仅支持“false” spec.rules[x].metricTrigger / 否 可选，仅在指标规则中有效 spec.rules[x].metricTrigger.metricName String 当spec.rules[x].metricTrigger不为空时必填 指标规则对应的指标，当前支持“Cpu”和“Memory”两种类型 spec.rules[x].metricTrigger.metricOperation String 当spec.rules[x].metricTrigger不为空时必填 指标规则的比较符，当前仅支持“gt”、“lt” spec.rules[x].metricTrigger.metricValue String 当spec.rules[x].metricTrigger不为空时必填 指标规则的阈值，支持1100之间的所有整数，需以字符串表示； spec.rules[x].ruleName String 当spec.rules不为空时必填 规则名称，单个策略中唯一 spec.rules[x].type String 当spec.rules不为空时必填 规则类型，当前支持“Cron”、“Metric”、"Alarm"两种类型 spec.targetNodepools Array 必填 伸缩策略关联的节点池 spec.targetNodepools[x] String 必填 伸缩策略关联节点池名称

本节介绍了节点标签的用户指南。 操作场景 查看集群的节点信息，并对节点进行调度、驱逐、污点配置。 前提条件 在查看集群节点前，您需要存在⼀个可⽤集群。若没有可用集群，请参照订购集群 进⾏创建。 操作步骤 点击“ ...” 按钮，查看节点标签。 同时也可点击 设置标签 按钮，给节点配置上自定义标签。 添加完成后的标签，会在 标签列表 这个tab页展示出来，并可以进行删除操作。

集群版本 容器运行时 运行时版本 v1.23.3 containerd 1.6.23 v1.23.3 docker 20.10.12 v1.25.6 containerd 1.6.23 v1.25.6 docker 20.10.12 v1.27.8 containerd 1.6.23 v1.27.8 docker 20.10.12 v1.29.3 containerd 1.6.23 v1.29.3 docker 20.10.12

参数 类型 描述 是否必须 nodeName String 拓扑节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 是 newName String 拓扑节点的新名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 否 description String 节点描述信息。 取值：1~50位字符串。 否 parentName String 父节点名称。 取值：字符串形式，长度范围1~63，只能由字母、数字、句点(.)、下划线（）和短横线()组成，字母区分大小写，且仅支持以字母或数字开头。 默认为根节点。 否