本节介绍 容器磁盘读写限速的用户指南。 通过容器磁盘读写限速，可以帮助用户为不同应用配置磁盘带宽与 IOPS 限制，实现资源隔离与性能保障。 适用场景 需要防止单一容器占用过多磁盘带宽或 IOPS，影响其他业务。 希望为关键业务或普通业务设置不同的磁盘性能等级。 功能说明 支持通过 Pod 注解，分别限制容器的磁盘读写带宽与 IOPS： 注解 含义 koordinator.sh/blkioQOS Pod 磁盘限速 JSON 注解 注意 通过 koordinator.sh/blkioQOS 注解，以 JSON 格式配置具体设备的读写带宽/IOPS，单位为字节/秒。需根据实际设备名和需求填写。 配置方法 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加 koordinator.sh/blkioQOS 注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: fiotest namespace: demospec: replicas: 1 template: metadata: labels: app: fiotest annotations: koordinator.sh/blkioQOS: { "blocks": [ { "name": "/dev/vda", "type": "device", "ioCfg": { "readBPS": 10485760, "writeBPS": 10485760 } } ] } spec: containers: name: fio image: fio:latest command: ["sleep", "9999999"] volumeMounts: name: testvolume mountPath: /test volumes: name: testvolume hostPath: path: /var/lib/fiotest type: DirectoryOrCreate

本节介绍云容器引擎的最佳实践： 应用高可用部署推荐。 基本原则 可参考如下几点，实现容器应用高可用部署： 1. 集群控制节点高可用，控制节点数大于等于3； 2. 集群需有多个属于不同可用区的节点，业务根据自身需求合理配置调度策略，以实现多可用区部署及资源均匀分配； 3. 创建多个在不同可用区的节点池，通过节点池做节点伸缩； 4. 工作负载实例数需大于等于2； 5. 配置工作负载的亲和性规则，让Pod尽量分布在不同可用区、不同节点上。 操作步骤 假设集群3个控制节点和3个工作节点，工作节点可用区分布如下所示： $ kubectl get node L topology.kubernetes.io/zone grep v master NAME STATUS ROLES AGE VERSION ZONE ccseagent1b54ffbc17 Ready 40m v1.25.6 cnxinan11A ccseagent59ab9e7689 Ready 38m v1.25.6 cnxinan12A ccseagenta7527e3e80 Ready 36m v1.25.6 cnxinan13A 创建工作负载，如下所示，定义两条podAntiAffinity反亲和性规则： 工作负载多实例配置可用区反亲和，参数设置如下： 权重weight：权重值越高会被优先调度，本示例设置为50； 拓扑域topologyKey：为节点标签，用于指定调度时的作用域，下述示例为topology.kubernetes.io/zone，该标签用于识别节点在哪个可用区。 标签选择labelSelector：选择Pod的标签，与工作负载本身反亲和。 工作负载多实例配置节点反亲和，参数设置如下： 权重weight：设置为50； 拓扑域topologyKey：为标签kubernetes.io/hostname，该标签值为节点名； 标签选择labelSelector：即工作负载多个实例Pod的标签，实例间反亲和。 kind: Deployment apiVersion: apps/v1 metadata: name: demo namespace: default spec: replicas: 2 selector: matchLabels: app: demo template: metadata: labels: app: demo spec: containers: name: container0 image: nginx:latest resources: limits: cpu: 300m memory: 512Mi requests: cpu: 400m memory: 512Mi affinity: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: weight: 50 podAffinityTerm: labelSelector:

本节介绍了云容器引擎的最佳实践; 集群命名空间RBAC授权。 应用现状 云容器引擎的权限控制有两种：集群权限和命名空间权限，以下篇幅将介绍云容器引擎针对集群权限的ClusterRole的创建、权限绑定和验证做简单介绍。 RBAC（RoleBased Access Control） 是基于角色（Role）的访问控制。您可以通过RBAC将权限和集群角色关联，以达到为不同的角色成员配置不同的权限，从而降低账号的安全风险。RBAC的Kubernetes对象的Role或者ClusterRole中包含一组代表相关权限的规则。Role用来在某个命名空间内设置访问权限，ClusterRole则是用于为集群范围的资源定义访问权限。 权限策略说明 您可自行编写权限策略，或通过云容器引擎的控制台创建自定义策略。 ClusterRole创建 针对您要定义集群范围的角色，那么请使用ClusterRole。下面是一个创建ClusterRole的YAML示例。 apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: clusterRoletest rules: apiGroups: metrics.k8s.io resources: pods verbs: get list watch 关于ClusterRole或者Role的更多信息，请参见Role和ClusterRole。 预置角色权限说明 预置角色 集群内RBAC权限 管理员 对集群所有命名空间下 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的读写权限 运维人员 对集群所有命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的只读权限 开发人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限 受限人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 只读权限 自定义 权限由您所选择的 ClusterRole 决定，请在确定所选 ClusterRole 对各类资源的操作权限后再进行授权，以免子账号获得不符合预期的权限

本节介绍了云容器引擎的最佳实践：通过特权容器配置内核参数。 前提条件 开通特权容器需要通过命令行模式连接到目标集群，所以需要先保存集群kubeconfig，并且配置好kubectl环境。 注意 修改主机的内核配置可能会对系统的稳定性和安全性产生影响，因此在进行这些操作时请谨慎考虑，并确保您具备足够的了解和经验。 后台操作流程 编写应用yaml，创建特权容器，示例如下： kind: DaemonSet apiVersion: apps/v1 metadata: name: daemonsettest labels: name: daemonsettest spec: selector: matchLabels: name: daemonsettest template: metadata: labels: name: daemonsettest spec: hostNetwork: true containers: name: daemonsettest image: nginx:alpine command: "/bin/sh" args: "c" while :; do time$(date);done imagePullPolicy: IfNotPresent lifecycle: postStart: exec: command: sysctl "w" net.ipv4.tcptwreuse1 securityContext: privileged: true imagePullSecrets: name: defaultsecret spec.spec.containers.lifecycle 字段是指容器启动后执行设置的命令；spec.spec.containers.securityContext.privileged: true是指开启特权容器。 使用以上yaml文件创建特权容器：kubectl apply f daemonsettest.yaml 执行后查看是否容器启动成功：kubectl get daemonset 当看到READY数量跟节点数量相同时，说明已经全部创建成功，则可以在当前主机执行kubectl get po grep daemonsettest 或者docker ps grep daemonsettest查找对应容器。 通过命令 docker exec it 356d0e5a831c /bin/sh 或 kubectl exec it podname bash 进入容器内部，然后执行命令sysctl a grep net.ipv4.tcptwreuse查看对应的内容是否有修改命令行终端确认修改系统参数成功。

本节介绍云容器引擎的最佳实践：使用hostAliases配置Pod /etc/hosts。 使用场景 DNS配置不满足要求时，可以通过配置 hostAliases 向pod的“/etc/hosts”文件中添加域名解析条目。 操作步骤 进入云容器引擎集群控制台 选择工作负载>无状态>创建Deployment 点击高级配置，设置主机别名配置 远程登录pod查看配置的 hostAliases 是否正常，执行如下命令：

容器、容器日志时间与节点同步 容器和节点时间同步后，容器的日志时间戳仍可能与节点时间相差8小时。比较典型的应用场景是容器的工作进程为使用tomcat应用。 tomcat应用的日志输出默认使用UTC时间，即便容器与节点时间已经同步，应用的日志输出也会相差8小时，该问题需要在构建镜像阶段解决。 1、先获取基础tomcat镜像的catalina.sh脚本 mkdir tmp docker run rm tomcat: v tmp:/mnt cp /usr/local/tomcat/bin/catalina.sh /mnt/catalina.sh 2、修改catalina.sh脚本的JAVAOPTSshell变量，添加Duser.timezoneGMT+08配置项 JAVAOPTS"$JAVAOPTS Djava.protocal.handler.pkgsorg.apache.catalina.webresources Duser.timezoneGMT+08" 3、使用Dockerfile重建tomcat应用容器镜像，将修改后的catalina.sh脚本拷贝到构建目录，然后在Dockerfile中添加下列构建指令 COPY catalina.sh /usr/local/bin/tomcat/bin/catalina.sh

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {YOURPVCNAME} namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 100Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "oceanfsstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。

新版本服务。 path: / backend: service: name: newnginx port: number: 80 pathType: ImplementationSpecific 查看路由访问情况。执行以下命令，访问服务。 curl H"Host: www.ctyun.com" 预期输出： old 执行以下命令，请求头中满足foobar的客户端请求访问服务。 curl H"Host: www.ctyun.com"H"foo: bar" 预期输出： new 重复执行以上命令。可以看到，仅请求头中满足foobar的客户端请求，且只有50%的流量才能路由到新版本服务。重复执行以上命令。可以看到，仅请求头中满足foobar的客户端请求，且只有50%的流量才能路由到新版本服务。按照以下内容，修改步骤2创建的Ingress。 apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: grayreleasecanary annotations: 开启Canary。 nginx.ingress.kubernetes.io/canary: "true" 仅允许50%的流量会被路由到新版本服务newnginx中。 默认总值为100。 nginx.ingress.kubernetes.io/canaryweight: "50" spec: rules: host: www.ctyun.com http: paths: 新版本服务。 path: / backend: service: name: newnginx port: number: 80 pathType: ImplementationSpecific 执行以下命令，查看路由访问情况。 curl H"Host: www.ctyun.com" 重复执行以上命令，可以看到仅50%的流量路由到新版本服务。 步骤三：删除老版本服务基于Helm的发布管理 系统运行一段时间后，当新版本服务已经稳定并且符合预期后，需要下线老版本的服务，仅保留新版本服务在线上运行。为了达到该目标，需要将旧版本的Service指向新版本服务的Deployment，并且删除旧版本的Deployment和新版本的Service。修改旧版本Service，使其指向新版本服务。 apiVersion:v1 kind: Service metadata: name:oldnginx spec: ports: port:80 protocol:TCP targetPort:80 selector:

资源使用超出限制 如果容器使用资源超过限制，可能会被Kubernetes终止。检查应用程序代码，确保资源使用在合理范围内。

本节介绍了云容器引擎的最佳实践：如何将Ingress服务暴露到公网。 如果你是通过Ingress访问你的服务，并且想通过公网访问，可为集群Ingress服务配置天翼云ELB。 具体配置步骤如下： 1、登录到控制台，进入服务所在的集群，选择菜单“网络“>”服务“，命名空间选择“kubesystem”，点击”创建服务“按钮。 2、其中负载均衡一栏，选择公网访问，从列表中选择一个要绑定的负载均衡（如果列表为空，请确认你是否有可用的负载均衡，没有的话，请先到ELB控制台创建）。 端口映射一栏，填写好容器端口和服务端口（该端口是负载均衡的监听端口）。如下所示： 注意 nginxingresscontroller pod 默认的http端口是10080，默认的https端口是10443。 如需修改，可以到nginxingresscontroller插件yaml修改端口号。 3、工作负载绑定一栏，类型选择Deployment，名称选择nginxingresscontrollernginxingresscontroller，然后点击提交。 注意 选择工作负载前请先确认nginxingresscontroller插件的版本，如果版本小于1.3.5，这里工作负载类型应选择DaemonSet 4、待ELB绑定后，即可通过服务列表中“集群外访问”中的外网地址访问服务了。

监控CoreDNS状态 云容器引擎监控组件默认配置了CoreDNS相关的指标监控和告警规则。具体安装操作请参见集群监控。 合理调整集群CoreDNS部署状态 CoreDNS应部署于您的Kubernetes集群中，默认情况下与您的业务容器运行在同样的集群节点上，注意事项如下： 合理调整CoreDNS副本数 合理分配CoreDNS副本运行的位置 手动扩容副本数 基于CPU负载指标自动扩容副本数（HPA） 合理调整CoreDNS副本数 建议您在任何情况下设置CoreDNS副本数应至少为2，且副本数维持在一个合适的水位以承载整个集群的解析。 CoreDNS所能提供的域名解析QPS与CPU消耗成正相关，开启缓存的情况下，单个CPU可以支撑10000+ QPS的域名解析请求。不同类型的业务对域名请求的QPS需求存在较大差异，您可以观察每个CoreDNS副本的峰值CPU使用量，如果其在业务峰值期间占用CPU大于一核，建议您对CoreDNS进行副本扩容。无法确定峰值CPU使用量时，可以保守采用副本数和集群节点数1：8的比值来部署，即每扩容8个集群节点，增加一个CoreDNS副本，但副本数不应大于10。针对100节点以上的集群，推荐使用节点DNS缓存NodeLocal DNSCache。 当集群节点数目长时间较为固定时，可以手动扩容副本数。 如果集群节点数持续增长，可以设置自动扩容副本数。

使用场景 根据业务需求，对象存储类型的存储卷常见以下使用场景： 使用对象存储动态存储卷：即用户无需预先创建bucket，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建bucket及对应PV资源，推荐使用。 使用对象存储静态存储卷：即用户预先创建bucket，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载对象存储：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 说明 通过存储插件动态创建的bucket，默认计费模式为按需订购。关于对象存储按需计费详情，请参见点这里。

方案 四层或七层转发 支持高可用 支持HTTPS 优缺点 适用场景 NodePort 四层 是 否 优点：使用简单，无须额外配置 TCP或HTTP服务、访问量不大 NodePort+Nginx 七层 是 是 缺点：需要额外手动部署与配置Nginx HTTPS服务，访问量不大 NodePort+LVS 四层 是 否 缺点：需要额外手动部署与配置LVS TCP或HTTP服务，访问量大 NodePort+Nginx+LVS 七层 是 是 缺点：需要额外手动部署与配置Nginx和LVS HTTPS服务，访问量大 Ingress 七层 是 当前不支持，后续会支持 优点：使用简单；缺点：只支持域名访问，不支持IP访问，需要自行配置DNS服务器 HTTP服务(后续支持HTTPS服务)，访问量不大 Ingress+LVS 七层 是 当前不支持，后续会支持 缺点：需要额外部署LVS，只支持域名访问，不支持IP访问，需自行配置DNS服务器 HTTP服务(后续支持HTTPS服务)，访问量大

2、Cubecni VPC网络： 使用Cubecni网络插件时，容器直接从VPC子网中获取IP地址，此时容器网段为VPC子网网段。请注意该容器子网的大小决定了该集群可创建Pod数上限，如下所示： VPC网段 容器网段 Service网段 最大可分配Pod地址数 192.168.0.0/16 192.168.0.0/20 10.96.0.0/16 4090 服务网段 订购集群时，可指定Service地址段（即服务网段）。Service可为一个或一组Pod提供固定的IP地址，并为这些Pod做负载均衡。每个Service都有自己的地址，Service地址及域名只能在集群内部使用。服务网段不能和节点所属VPC网段及容器网段重叠。 单VPC下单集群场景 Calico IPIP隧道网络 使用Calico网络插件的集群，网络地址段规划如下图所示： VPC网段：集群所在的VPC网段，该网段大小影响可创建的子网大小和数量； 节点子网网段：集群节点所在的子网网段，该网段大小直接影响后续可新增的节点数； 容器网段：容器网段不能和VPC网段、服务网段重叠； 服务网段：服务网段不能和VPC网段、容器网段重叠。 Cubecni VPC网络 使用Cubecni网络插件的集群，网络地址段规划如下图所示： VPC网段：集群所在的VPC网段，该网段大小影响可创建的子网大小和数量； 节点子网网段：集群节点所在的子网网段，该网段大小直接影响后续可新增的节点数； 容器子网网段：是VPC的子网，Pod直接从对应子网分配IP。因为子网可用IP数直接决定了Pod数上限，建议选择一个大子网专用于容器子网网段，以免出现子网可用IP不足的情况，例如订购时选择子网192.168.64.0/18，则有16380个可用IP为Pod提供地址； 服务网段：服务网段不能和VPC网段重叠； 单VPC下多集群场景

方案二：PVC挂载（每个子目录对应独立PVC） 此方案仅适用于海量文件存储，旨在帮助用户复用现有存储资源。在已有存储基础上划分多个子目录，每个子目录可作为独立PVC供工作负载使用。需先创建海量文件存储类，并选择已购买的海量文件作为底层存储分配基础. 在方案2流程选择新建的这个存储类，如下图所示： 当子目录设置为根路径 / 时，系统将自动创建一个以PV名称为命名的子目录（对用户透明）。用户可通过指定PV名称生成对应的PVC以供使用，从而节省资源开销。 若不通过控制台操作，建议参考 使用OceanFS动态存储卷（subPath模式）进行配置。

本节介绍了云容器引擎的最佳实践：容器化Web访问MySQL。 本篇以实际场景介绍如何发布无状态工作负载，并连接有状态数据库，并配合使用持久存储，在本片教程中，我们使用Local PV作为持久存储介质，在生产使用中建议使用Ceph存储。 创建持久存储类 选择Local存储，如下： 创建持久存储卷：在新建存储卷界面，选择第一步中创建的持久存储类 选择LocalPV所在节点以及LocalPV的目录，这里LocalPV所在节点即想要把容器数据持久化到哪一个k8s节点上，LocalPV的目录即是我们所选节点上的指定目录。 注意 此目录需要在我们所选择节点上存在，若不存在需要手动在改节点上创建目录。 创建MySQL有状态服务并使用持久存储卷： 出现新建存储卷界面，我们创建MySQL的流程如下： 点击新建PVC后，我们需要格外注意下图中的注意点。 StorageClasss名称：必须和第二步中创建的持久存储卷使用同一个StorageClass。 所需容量：这里选择的容量不能超过第二步中创建的持久存储卷的容量。 然后开始设置MySQL容器的参数，依次输入MySQL容器名称、选择MySQL镜像及版本号，需要格外注意挂载点的名称和容器路径。 其中数据卷选择刚刚添加的数据卷。 MySQL容器的数据目录为/Var/lib/mysql，所以容器路径输入这个目录。 设置容器的资源参数及环境变量，MySQL容器正常运行我们必须要设置MYSQLROOTPASSWORD这个环境变量，设置root用户密码，同时如果需要在MySQL容器启动后帮我们创建一个database，我们可以使用MYSQLDATABASE这个环境变量。 最后一步，我们为MySQL容器配置集群内访问方式，所以我们选择类型为ClusterIP。 注意 服务端口可以直接与容器端口相同。 创建web无状态工作负载并连接数据库 1、web工作负载配置 我们使用的web工作负载使用的配置文件如下： spring: jpa: showsql: false openinview: true datasource: driverclassname:"com.mysql.cj.jdbc.Driver" jdbcurl: "jdbc:mysql://{MYSQLHOST}:MYSQLHOST:{MYSQLPORT}/test?autoReconnecttrue&useUnicodetrue&characterEncodingUTF8&allowMultiQueriestrue&useSSLfalse" username: "${MYSQLUSERNAME}" password:"${MYSQLPASSWORD}" 在上述配置中，我们通过读取环境变量来设置应用所需的MySQL主机IP、端口、用户名、密码。 2、创建无状态工作负载 这里我们只介绍无状态工作负载的环境变量怎么设置，其他的参数配置与MySQL的类似：

本节介绍了节点池最佳实践：Pod调度到节点池的不同节点。 Pod调度到节点池不同节点 场景：服务在同一个节点池中，同一个应用的Pod之间反亲和，一个节点只能调度一个Pod。 创建节点池扩容两个节点。在节点池详情的节点列表可以查看到创建的两个节点。 使用以下示例内容，配置应用YAML。通过反亲和性配置两个应用Pod，将不同的Pod调度到节点池不同节点上。 plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginx labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: name: nginx labels: app: nginx spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: 设置调度策略。 labelSelector: matchExpressions: key: app operator: In values: nginx topologyKey: kubernetes.io/hostname nodeSelector: ccse.ctyun.cn/nodepoolname: 指定节点池。 containers: name: nginx image: nginx resources: limits: cpu: 1 requests: cpu: 1 在无状态页面，单击目标Deployment进入详情，在容器组页签，可以看到两个不同的Pod调度到节点池不同节点上。

使用配置凭证 把上述config文件配置到home的下面目录： [docker@10 ~]$ mkdir p $HOME/.kube [docker@10 ~]$ mv config $HOME/.kube 使用kubectl命令切换集群上下文： [docker@10 ~]$ kubectl config usecontext clusteracontext Switched to context "clusteracontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at KubeDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'. [docker@10 ~]$ kubectl config usecontext clusterbcontext Switched to context "clusterbcontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at CoreDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'.

选择Master节点规格 Master节点运行着etcd、kubeapiserver、kubescheduler、kubecontrollermanager等核心组件，Master节点的稳定性直接决定整个Kubernetes的稳定性。集群规模与所需的Master规格成正比，即集群规模越大，所需Master规格越高。 在个人开发和学习环境中，可以选择小规格的ECS进行体验。然而，在生产环境中，建议用户在综合考虑节点数量、Pod数量、部署频度以及apiserver访问量的基础上评估集群规模。以下是从节点数量单个纬度出发给出的Master节点规格的推荐配置。 Master节点推荐规格 节点规模 4核 8GB（不推荐使用 4核 8GB 以下规格） 1～5个节点 4核 16GB 6～20个节点 8核 32GB 21～100个节点 16核 64GB 101～200个节点 64核 128GB 201～500个节点（请评估爆炸半径风险） 选择Worker节点规格 1、ECS规格要求，要求CPU大于等于4核，内存大于等于8GB。 2、确定集群可用性的容忍度。 计算集群总核数，例如320核。 确定容忍度，例如容忍10%的故障。那么最小选择10台32核ECS，并保证高峰运行负荷不超过320 90% 288核。在这个容忍度下，即使一台ECS故障，剩余ECS仍能支撑业务运行 3、根据Pod的CPU和内存配比选择规格，天翼云支持1:2、1:4、1:8的配比。 4、根据网络需求选择ECS类型，例如，对于网络密集型应用，推荐选择网络增强型ECS。ECS规格参考：点这里

本节介绍了Pod诊断对应的检查项以及修复方案。 Pod诊断主要包括Pod检查、ClusterComponent检查、Node检查、NodeComponent检查等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Pod诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 诊断项分组 说明 Pod检查 检查Pod常见问题，检查项包括Pod状态、镜像拉取、网络连通性等。 ClusterComponent检查 检查集群常见问题，检查项包括APIServer可用性、DNS可用性、集群插件版本是否最新等。 Node检查 检查节点实例常见问题，检查项包括节点状态、网络状态、内核日志、核心进程和服务可用性等。 NodeComponent检查 检查节点核心组件状态，检查项包括网络和存储插件。 Pod检查 检查项名称 说明 修复方案 检查Pod是否存在 检查集群中是否存在该Pod。 请检查Pod在集群中对应命名空间下是否存在。 Pod容器重启次数统计 统计Pod中容器重启次数。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod容器是否存在镜像下载阻塞情况 检查Pod容器对应的镜像下载被阻塞。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod容器镜像Secrets是否有效 检查Pod拉取镜像的Secrets是否有效。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod是否初始化成功 检查Pod是否正常初始化。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod是否处于调度中状态 检查Pod是否正常调度。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。

查看Pod的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 工作负载 > 无状态/有状态/守护进程/任务/定时任务/容器组 进入需要查看的工作负载列表，并点击上方监控tab查看pod监控信息

Entries added by HostAliases. 127.0.. foo.local bar.local 10.1.. foo.remote bar.remote DNS解析请求流程 若未配置存根域，没有匹配集群域名后缀的任何请求，将转发到节点的上游域名服务器。 若已配置存根域和上游DNS服务器，DNS查询将基于下面的流程进行路由： 查询coredns中的DNS缓存层； 在缓存层，检查请求后缀，根据下面情况转发到对应DNS： 带有集群后缀的域名，例如.cluster.local，请求被发送到Coredns； 带有存根域后缀的域名，例如.test.local，请求被转发到配置的自定义DNS解析器； 其它域名解析请求则被转发到上游DNS。 如下图所示：

本节介绍了RBAC授权的用户指南。 操作场景 角色绑定（Role Binding）是将角色中定义的权限赋予一个或者一组用户。它包含若干主体（用户、组或服务账户）的列表和对这些主体所获得的角色的引用。 RoleBinding 在指定的名字空间中执行授权，而 ClusterRoleBinding 在集群范围执行授权。一个 RoleBinding 可以引用同一的名字空间中的任何 Role。 或者，一个 RoleBinding 可以引用某ClusterRole 并将该 ClusterRole 绑定到RoleBinding 所在的名字空间。如果你希望将某 ClusterRole 绑定到集群中所有名字空间，你要使⽤ClusterRoleBinding。 前提条件 已创建云容器引擎集群，具体操作请参见创建⼀个集群。若已有容器集群，⽆需重复操作。 操作步骤 注意 子账号来自于天翼云的 ，请提前创建好子用户，并需子用户登陆天翼云后才可以同步到云容器引擎控制台。 为⼦账号授权或调整子账号权限： 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要授权的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择安全管理 > 授权，进入角色授权页面。 4、点击管理权限操作单个子账号权限，或选择多个子账号后点击添加权限为多个子账号批量授权，点击后进入集群RBAC配置页面。 5、在集群RBAC配置页面中，可以对子账号已有的用户权限进行调整或为子账号新增权限，权限可以限定单个命名空间或不限制命名空间（集群权限），⽤户可设置的权限有内置权限（管理员、运维人员、开发人员、受限人员）和自定义权限，选择自定义权限可选择集群中创建的任意Cluster Role进行授权。 6、点击下⼀步完成授权。

验证CPU独占与隔离 注意 FullPCPUs策略 使用FullPCPUs策略可以确保分配完整的物理CPU核心，避免跨物理核心的线程干扰 当节点剩余的逻辑CPU数量足够但完整的物理核心不足时，会继续分配 性能影响 CPU独占会减少节点上可用的CPU资源，可能影响整体资源利用率 建议只为真正需要稳定性能的关键业务应用配置CPU独占 监控与调优 定期监控CPU使用情况，根据实际负载调整资源分配 使用节点监控工具（如top、htop等）验证CPU隔离效果 兼容性 确保所有节点都正确配置了koordruntimeproxy 不同版本的Kubernetes和容器运行时可能需要不同的配置 常见问题 如何确认CPU独占是否生效？ 可以通过以下方式验证： 1. 检查Pod的注解中是否包含scheduling.koordinator.sh/resourcestatus字段。 2. 在节点上查看容器的cpuset配置是否与调度器分配一致。 3. 使用性能监控工具观察CPU使用情况。 为什么BE应用无法使用某些CPU核心？ 这是预期的行为。高优先级应用（LSE）独占的CPU核心会被排除在BE应用的cpuset之外，确保资源隔离。 如何修改已部署应用的CPU独占配置？ 需要更新应用的ColocationProfile配置，并重启相关Pod使配置生效。 CPU独占会影响节点调度吗？ 是的，调度器会考虑节点的可用CPU核心数量进行调度决策。当所有CPU核心都被独占时，新的高优先级应用将无法调度到该节点。

本节介绍超卖调度与离线应用CPU压制的用户指南。 CPU QoS 功能包括节点资源超卖调度和 BE 离线应用 CPU 压制机制，帮助您实现资源的高效利用与动态调整。 适用场景 集群资源利用率低，需要提高节点资源使用效率。 需要在保证在线应用（LS 优先级）性能的同时，充分利用空闲资源运行离线应用（BE 优先级）。 需要在在线应用负载增加时，自动压制离线应用资源使用，确保在线应用性能。 功能概览 节点资源超卖调度：允许节点接受超过其声明资源总量的应用调度请求，提高资源利用率。 BE 应用 CPU 动态压制：根据在线应用的实际负载，动态调整离线应用可使用的 CPU 资源范围。 优先级差异化服务：确保高优先级应用（LS）获得资源保障，低优先级应用（BE）弹性使用剩余资源。 操作指南 节点资源超卖调度 BE 应用 CPU 动态压制 当节点上的在线应用（LS 优先级）CPU 负载增加时，混部系统会自动压制 BE 优先级应用的 CPU 使用范围，确保在线应用获得足够资源，同时最大化利用节点空闲资源。 压制机制 系统通过动态调整 BE 应用的 cpuset 范围来实现 CPU 压制 压制程度根据 LS 应用的实际负载动态变化 系统确保 BE 应用至少保留最小核心数（默认为 2 核），避免完全饿死 观察压制效果 1. 查看 BE 应用初始 CPU 分配 在节点负载较低时，BE 应用获得较大的 CPU 使用范围 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 02

2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 这里选择通用。 分配模式 这里选择“已有存储卷”。 持久卷名称 选择上一步创建的PV名称。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。 3、创建工作负载 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，单击左上角“创建SatefulSet”； 在创建对话框，数据卷栏中，选择添加数据卷，卷类型选择“使用已有PVC”，操作栏选择“添加已有PVC”； 在实例内容器栏，为容器设置挂载点。选择添加挂载点，选择数据卷为上一步创建，根据需要配置容器路径和权限； 所有的信息都配置完成后，单击 “提交” 。 创建成功后，您就可以正常使用数据卷。 通过kubectl命令行使用云盘静态存储卷

本节介绍使用在离线应用优先级管理的用户指南。 在离线应用的优先级（混部规则）包括规则的创建、编辑、绑定与解绑等操作，帮助您实现资源的灵活调度与隔离。 适用场景 需要为不同类型的离线应用设置资源独占或共享等级。 通过优先级规则提升集群资源利用率与调度灵活性。 功能概览 支持新建、编辑、删除混部规则（优先级）。 支持将应用批量绑定/解绑至指定优先级。 可查看规则详情及已绑定应用列表。 操作步骤 查看混部规则列表 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。 2. 页面展示当前集群已配置的混部规则，包括规则名称、QoS 类型、是否启用负载感知调度器等信息。 3. 可在“更多”下拉菜单中进行规则的绑定应用、删除等操作。 新建混部规则 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单，点击列表左上角“新建规则”按钮，弹出新建窗口。 2. 填写唯一规则名称，选择服务质量（QoS）类型，并决定是否启用负载感知调度器。 3. 提交后，规则即出现在规则列表中。

本节介绍了用户指南： 本地存储概述。 云容器引擎支持使用本地存储卷。当前cstorcsi插件支持通过LVM和LocalPV的方式动态使用容器集群节点上的硬盘或者文件系统。 功能介绍 本地存储卷包含以下几种方式，可以根据业务需求及存储特点进行选择。 类型 存储卷类型 能力供应 特点 LocalPV 动态存储卷 cstorcsi插件 使用节点上已有数据目录，动态创建子路径绑定到PV上，供业务使用。 LocalPV 静态存储卷 Kubernetes原生 通过手动创建PV，指定节点亲和性及本地存储设备的方式使用本地存储。pod无需手动调度指定的节点。 HostPath Kubernetes原生 将主机节点文件系统上指定文件或目录挂载到 Pod 中。 LVM 动态存储卷 cstorcsi插件 基于节点上的数据盘，虚拟化成一个小型存储池，当需要特定份额的存储时，从中划分出对应份额的磁盘跟用户容器使用。 约束与限制 cstorcsi插件本地存储功能需要插件版本>3.3.3； 请勿在节点上手动删除存储池或卸载数据盘，否则会导致数据丢失等异常情况； 请勿对本地存储资源自行执行增删改等操作，否则会导致PVC不可用或者无法达到使用预期。 本地存储资源包括存储池管理的VG，PV，LV，或者基于硬盘构建的文件系统；或者自行申领的文件系统等； 重置或缩容节点会导致与节点关联的本地持久存储卷类型的PVC/PV数据丢失，无法恢复，且PVC/PV无法再正常使用； 本地存储并非高可用存储卷，只适用于一些临时数据的保存及应用自带高可用的场景； LVM本地存储卷，不支持数据的跨节点迁移，不适合在高可用场景中使用。

本节介绍在离线混部概述。 在离线混部是在多维资源调度与管控方面的核心能力，包括节点资源超卖调度与 BE 离线应用 CPU 压制、高优先级应用 CPU 独占与隔离、容器磁盘读写限速、容器网络限速等，帮助用户在保障关键业务性能的同时，实现资源的高效利用。 适用场景 资源利用率低，需提升集群资源使用效率。 在线关键业务（高优先级）需要稳定的性能保障。 离线批量任务（低优先级）需充分利用空闲资源。 需要自动调度和压制离线应用，兼顾在线与离线业务。 需对磁盘 IO 或网络带宽进行限速，防止单一业务占用过多。 功能概览 节点资源超卖调度与 BE 离线应用 CPU 压制：允许节点超卖资源，并根据在线负载动态压制离线应用 CPU 使用，提升资源利用并保证在线应用性能。 高优先级应用 CPU 独占与隔离：为高优先级应用分配独占 CPU 核心，通过 cgroup 隔离其他应用，确保关键业务性能稳定。 容器磁盘读写限速：通过注解为容器配置磁盘带宽与 IOPS 限制，防止单一容器影响整体磁盘性能。 容器网络限速：通过注解为容器配置入站/出站带宽及优先级，保障关键流量的网络体验。

规则类型 参数设置 指标触发 触发条件 当节点池内任一节点的CPU、内存满足设置的阈值 执行动作：达到触发条件后所要执行的动作。 定时触发 触发时间：可选择每天、每周、每月或每年的具体时间点。 执行动作：达到触发时间值后所要执行的动作，为节点池增加或减少指定数量的节点 告警触发 触发时间：当节点池内任一节点的告警指标满足设置的阈值 执行动作：达到触发条件后所要执行的动作，为节点池增加或减少指定数量的节点

操作 Docker crictl ctr 上传镜像 docker push crictl push ctr n k8s.io i push 拉取镜像 docker pull crictl pull ctr n k8s.io i pull 查看镜像详情 docker inspect crictl inspecti 无 列出本地镜像列表 docker images crictl images ctr n k8s.io i ls 删除本地镜像 docker rmi crictl rmi ctr n k8s.io i rm 创建容器 docker create crictl create crt n k8s.io c create 启动容器 docker start crictl start crt n k8s.io run 连接容器 docker attach crictl attach 无 进入容器 docker exec crictl exec 无 查看容器详情 docker inspect crictl inspect crt n k8s.io c info 查看容器日志 docker logs crictl logs 无 查看容器资源使用情况 docker stats crictl stats 无 更新容器资源限制 docker update crictl update 无 停止容器 docker stop crictl stop 无 列出容器列表 docker ps crictl ps crt n k8s.io c ls 删除容器 docker rm crictl rm crt n k8s.io c del 启动 Pod 无 crictl start 无 运行 Pod 无 crictl runp 无 查看 Pod详情 无 crictl inspectp 无 停止 Pod 无 crictl stopp 无 列出 Pod列表 无 crictl pods 无 删除 Pod 无 crictl rmp 无

操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的编辑。 4、在编辑节点池页面，编辑节点池的配置项。 扩缩容节点池 前提条件 已创建Kubernetes集群。 Kubernetes集群连通性正常。 已在Kubernetes集群中创建节点池。 操作步骤 1、登录云容器引擎管理控制台，在左侧导航栏选择集群。 2、在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择节点管理 > 节点池。 3、在节点池列表页面中，单击目标节点池所在行操作列的扩容、缩容。 4、选择扩容入口，确认扩容费用后提交订单。 5、选择缩容入口，选择所选的主机后选择退订，退订成功后主机不再收费。 6、可以到节点池详情或订单中心查看节点的退订进度。 删除节点池