使用CronHPA调整HPA伸缩范围 CronHPA支持定时调整HPA策略的最大和最小实例数，满足复杂场景下的工作负载伸缩。 由于HPA与CronHPA均通过scaleTargetRef字段来获取伸缩对象，如果CronHPA和HPA同时设置Deployment为伸缩对象，两个伸缩策略相互独立，后执行的操作会覆盖先执行的操作，导致伸缩效果不符合预期，因此需避免这种情况发生。 当CronHPA与HPA兼容使用时，需要将CronHPA中的scaleTargetRef字段设置为HPA策略，而HPA策略的scaleTargetRef字段设置为Deployment，这样CronHPA策略会在固定的时间调整HPA策略的实例数量上下限，即可实现工作负载定时伸缩和弹性伸缩的兼容。 步骤 1 为Deployment创建HPA策略。 plaintext apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: nginxdeploymentbasichpa namespace: default spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: nginxdeploymentbasic minReplicas: 3 maxReplicas: 10 metrics: type: Resource resource: name: cpu target: type: Utilization averageUtilization: 32 步骤 2 创建CronHPA策略，并关联步骤1中创建的HPA策略。 plaintext apiVersion: autoscaling.ctyun.com/v1beta1 kind: CronHorizontalPodAutoscaler metadata: labels: controllertools.k8s.io: "1.0" name: cronhpasample spec: scaleTargetRef: apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler name: nginxdeploymentbasichpa jobs: name: "scalea" schedule: "0 51 " targetSize: 1 name: "scaleb" schedule: "0 58 " targetSize: 3 在CronHPA与HPA共同使用时，CronHPA规则是在HPA策略的基础上生效的，CronHPA不会直接调整Deployment的副本数目，而是通过HPA来操作Deployment，因此了解以下参数可帮助您更好地理解其工作原理。 CronHPA的目标实例数（targetReplicas）：表示CronHPA设定的实例数，在CronHPA生效时用于调整HPA的最大/最小实例数，从而间接调整Deployment实例数。 HPA的最小实例数（minReplicas）：Deployment的实例数下限。 HPA的最大实例数（maxReplicas）：Deployment的实例数上限。 Deployment的实例数（replicas）：CronHPA策略生效之前Deployment的Pod数量。 在CronHPA规则生效时，通过比较目标实例数（targetReplicas）与实际Deployment的实例数，并结合HPA的最小实例数或最小实例数的数值大小，来调整Deployment实例数的上下限值。 下表格以举例的形式说明了不同场景下CronHPA修改HPA的情况。 扩缩容条件 扩缩容结果 兼容规则说明 HPA（min/max） CronHPA目标副本数 当前副本数 扩缩容结果 兼容规则说明 1/10 5 5 HPA（min/max）：1/10 副本数：5 当CronHPA中的目标副本数和当前副本数一致时，HPA中的minReplicas和maxReplicas以及当前的副本数无需变更。 1/10 4 5 HPA（min/max）：1/10 副本数：5 当CronHPA中的目标副本数低于当前副本数时，保留当前副本数。 1/10 6 5 HPA（min/max）：6/10 副本数：6 当CronHPA中的目标副本数高于当前副本数时，保留CronHPA的目标副本数。 CronHPA目标副本数高于HPA的minReplicas时，修改HPA的副本数下限。 5/10 4 5 HPA（min/max）：4/10 副本数：5 当CronHPA中的目标副本数低于当前副本数时，保留当前应用副本数。 当CronHPA目标副本数低于HPA的minReplicas时，修改HPA的副本数下限。 5/10 11 5 HPA（min/max）：11/11 副本数：11 当CronHPA中的目标副本数高于当前副本数时，保留CronHPA的目标副本数。 当CronHPA目标副本数高于HPA的maxReplicas时，修改HPA的副本数上限。

本节介绍 容器磁盘读写限速的用户指南。 通过容器磁盘读写限速，可以帮助用户为不同应用配置磁盘带宽与 IOPS 限制，实现资源隔离与性能保障。 适用场景 需要防止单一容器占用过多磁盘带宽或 IOPS，影响其他业务。 希望为关键业务或普通业务设置不同的磁盘性能等级。 功能说明 支持通过 Pod 注解，分别限制容器的磁盘读写带宽与 IOPS： 注解 含义 koordinator.sh/blkioQOS Pod 磁盘限速 JSON 注解 注意 通过 koordinator.sh/blkioQOS 注解，以 JSON 格式配置具体设备的读写带宽/IOPS，单位为字节/秒。需根据实际设备名和需求填写。 配置方法 在 Pod/Deployment YAML 的 metadata.annotations 字段中添加 koordinator.sh/blkioQOS 注解。例如： plaintext apiVersion: apps/v1kind: Deploymentmetadata: name: fiotest namespace: demospec: replicas: 1 template: metadata: labels: app: fiotest annotations: koordinator.sh/blkioQOS: { "blocks": [ { "name": "/dev/vda", "type": "device", "ioCfg": { "readBPS": 10485760, "writeBPS": 10485760 } } ] } spec: containers: name: fio image: fio:latest command: ["sleep", "9999999"] volumeMounts: name: testvolume mountPath: /test volumes: name: testvolume hostPath: path: /var/lib/fiotest type: DirectoryOrCreate

本节介绍云容器引擎的最佳实践： 应用高可用部署推荐。 基本原则 可参考如下几点，实现容器应用高可用部署： 1. 集群控制节点高可用，控制节点数大于等于3； 2. 集群需有多个属于不同可用区的节点，业务根据自身需求合理配置调度策略，以实现多可用区部署及资源均匀分配； 3. 创建多个在不同可用区的节点池，通过节点池做节点伸缩； 4. 工作负载实例数需大于等于2； 5. 配置工作负载的亲和性规则，让Pod尽量分布在不同可用区、不同节点上。 操作步骤 假设集群3个控制节点和3个工作节点，工作节点可用区分布如下所示： $ kubectl get node L topology.kubernetes.io/zone grep v master NAME STATUS ROLES AGE VERSION ZONE ccseagent1b54ffbc17 Ready 40m v1.25.6 cnxinan11A ccseagent59ab9e7689 Ready 38m v1.25.6 cnxinan12A ccseagenta7527e3e80 Ready 36m v1.25.6 cnxinan13A 创建工作负载，如下所示，定义两条podAntiAffinity反亲和性规则： 工作负载多实例配置可用区反亲和，参数设置如下： 权重weight：权重值越高会被优先调度，本示例设置为50； 拓扑域topologyKey：为节点标签，用于指定调度时的作用域，下述示例为topology.kubernetes.io/zone，该标签用于识别节点在哪个可用区。 标签选择labelSelector：选择Pod的标签，与工作负载本身反亲和。 工作负载多实例配置节点反亲和，参数设置如下： 权重weight：设置为50； 拓扑域topologyKey：为标签kubernetes.io/hostname，该标签值为节点名； 标签选择labelSelector：即工作负载多个实例Pod的标签，实例间反亲和。 kind: Deployment apiVersion: apps/v1 metadata: name: demo namespace: default spec: replicas: 2 selector: matchLabels: app: demo template: metadata: labels: app: demo spec: containers: name: container0 image: nginx:latest resources: limits: cpu: 300m memory: 512Mi requests: cpu: 400m memory: 512Mi affinity: podAntiAffinity: preferredDuringSchedulingIgnoredDuringExecution: weight: 50 podAffinityTerm: labelSelector:

本节介绍了云容器引擎的最佳实践; 集群命名空间RBAC授权。 应用现状 云容器引擎的权限控制有两种：集群权限和命名空间权限，以下篇幅将介绍云容器引擎针对集群权限的ClusterRole的创建、权限绑定和验证做简单介绍。 RBAC（RoleBased Access Control） 是基于角色（Role）的访问控制。您可以通过RBAC将权限和集群角色关联，以达到为不同的角色成员配置不同的权限，从而降低账号的安全风险。RBAC的Kubernetes对象的Role或者ClusterRole中包含一组代表相关权限的规则。Role用来在某个命名空间内设置访问权限，ClusterRole则是用于为集群范围的资源定义访问权限。 权限策略说明 您可自行编写权限策略，或通过云容器引擎的控制台创建自定义策略。 ClusterRole创建 针对您要定义集群范围的角色，那么请使用ClusterRole。下面是一个创建ClusterRole的YAML示例。 apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: clusterRoletest rules: apiGroups: metrics.k8s.io resources: pods verbs: get list watch 关于ClusterRole或者Role的更多信息，请参见Role和ClusterRole。 预置角色权限说明 预置角色 集群内RBAC权限 管理员 对集群所有命名空间下 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的读写权限 运维人员 对集群所有命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的只读权限 开发人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限 受限人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 只读权限 自定义 权限由您所选择的 ClusterRole 决定，请在确定所选 ClusterRole 对各类资源的操作权限后再进行授权，以免子账号获得不符合预期的权限

本节介绍了云容器引擎的最佳实践：通过特权容器配置内核参数。 前提条件 开通特权容器需要通过命令行模式连接到目标集群，所以需要先保存集群kubeconfig，并且配置好kubectl环境。 注意 修改主机的内核配置可能会对系统的稳定性和安全性产生影响，因此在进行这些操作时请谨慎考虑，并确保您具备足够的了解和经验。 后台操作流程 编写应用yaml，创建特权容器，示例如下： kind: DaemonSet apiVersion: apps/v1 metadata: name: daemonsettest labels: name: daemonsettest spec: selector: matchLabels: name: daemonsettest template: metadata: labels: name: daemonsettest spec: hostNetwork: true containers: name: daemonsettest image: nginx:alpine command: "/bin/sh" args: "c" while :; do time$(date);done imagePullPolicy: IfNotPresent lifecycle: postStart: exec: command: sysctl "w" net.ipv4.tcptwreuse1 securityContext: privileged: true imagePullSecrets: name: defaultsecret spec.spec.containers.lifecycle 字段是指容器启动后执行设置的命令；spec.spec.containers.securityContext.privileged: true是指开启特权容器。 使用以上yaml文件创建特权容器：kubectl apply f daemonsettest.yaml 执行后查看是否容器启动成功：kubectl get daemonset 当看到READY数量跟节点数量相同时，说明已经全部创建成功，则可以在当前主机执行kubectl get po grep daemonsettest 或者docker ps grep daemonsettest查找对应容器。 通过命令 docker exec it 356d0e5a831c /bin/sh 或 kubectl exec it podname bash 进入容器内部，然后执行命令sysctl a grep net.ipv4.tcptwreuse查看对应的内容是否有修改命令行终端确认修改系统参数成功。

本节介绍云容器引擎的最佳实践：使用hostAliases配置Pod /etc/hosts。 使用场景 DNS配置不满足要求时，可以通过配置 hostAliases 向pod的“/etc/hosts”文件中添加域名解析条目。 操作步骤 进入云容器引擎集群控制台 选择工作负载>无状态>创建Deployment 点击高级配置，设置主机别名配置 远程登录pod查看配置的 hostAliases 是否正常，执行如下命令：

容器、容器日志时间与节点同步 容器和节点时间同步后，容器的日志时间戳仍可能与节点时间相差8小时。比较典型的应用场景是容器的工作进程为使用tomcat应用。 tomcat应用的日志输出默认使用UTC时间，即便容器与节点时间已经同步，应用的日志输出也会相差8小时，该问题需要在构建镜像阶段解决。 1、先获取基础tomcat镜像的catalina.sh脚本 mkdir tmp docker run rm tomcat: v tmp:/mnt cp /usr/local/tomcat/bin/catalina.sh /mnt/catalina.sh 2、修改catalina.sh脚本的JAVAOPTSshell变量，添加Duser.timezoneGMT+08配置项 JAVAOPTS"$JAVAOPTS Djava.protocal.handler.pkgsorg.apache.catalina.webresources Duser.timezoneGMT+08" 3、使用Dockerfile重建tomcat应用容器镜像，将修改后的catalina.sh脚本拷贝到构建目录，然后在Dockerfile中添加下列构建指令 COPY catalina.sh /usr/local/bin/tomcat/bin/catalina.sh

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {YOURPVCNAME} namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 100Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "oceanfsstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。

新版本服务。 path: / backend: service: name: newnginx port: number: 80 pathType: ImplementationSpecific 查看路由访问情况。执行以下命令，访问服务。 curl H"Host: www.ctyun.com" 预期输出： old 执行以下命令，请求头中满足foobar的客户端请求访问服务。 curl H"Host: www.ctyun.com"H"foo: bar" 预期输出： new 重复执行以上命令。可以看到，仅请求头中满足foobar的客户端请求，且只有50%的流量才能路由到新版本服务。重复执行以上命令。可以看到，仅请求头中满足foobar的客户端请求，且只有50%的流量才能路由到新版本服务。按照以下内容，修改步骤2创建的Ingress。 apiVersion: networking.k8s.io/v1 kind: Ingress metadata: name: grayreleasecanary annotations: 开启Canary。 nginx.ingress.kubernetes.io/canary: "true" 仅允许50%的流量会被路由到新版本服务newnginx中。 默认总值为100。 nginx.ingress.kubernetes.io/canaryweight: "50" spec: rules: host: www.ctyun.com http: paths: 新版本服务。 path: / backend: service: name: newnginx port: number: 80 pathType: ImplementationSpecific 执行以下命令，查看路由访问情况。 curl H"Host: www.ctyun.com" 重复执行以上命令，可以看到仅50%的流量路由到新版本服务。 步骤三：删除老版本服务基于Helm的发布管理 系统运行一段时间后，当新版本服务已经稳定并且符合预期后，需要下线老版本的服务，仅保留新版本服务在线上运行。为了达到该目标，需要将旧版本的Service指向新版本服务的Deployment，并且删除旧版本的Deployment和新版本的Service。修改旧版本Service，使其指向新版本服务。 apiVersion:v1 kind: Service metadata: name:oldnginx spec: ports: port:80 protocol:TCP targetPort:80 selector:

资源使用超出限制 如果容器使用资源超过限制，可能会被Kubernetes终止。检查应用程序代码，确保资源使用在合理范围内。

本节介绍了云容器引擎的最佳实践：如何将Ingress服务暴露到公网。 如果你是通过Ingress访问你的服务，并且想通过公网访问，可为集群Ingress服务配置天翼云ELB。 具体配置步骤如下： 1、登录到控制台，进入服务所在的集群，选择菜单“网络“>”服务“，命名空间选择“kubesystem”，点击”创建服务“按钮。 2、其中负载均衡一栏，选择公网访问，从列表中选择一个要绑定的负载均衡（如果列表为空，请确认你是否有可用的负载均衡，没有的话，请先到ELB控制台创建）。 端口映射一栏，填写好容器端口和服务端口（该端口是负载均衡的监听端口）。如下所示： 注意 nginxingresscontroller pod 默认的http端口是10080，默认的https端口是10443。 如需修改，可以到nginxingresscontroller插件yaml修改端口号。 3、工作负载绑定一栏，类型选择Deployment，名称选择nginxingresscontrollernginxingresscontroller，然后点击提交。 注意 选择工作负载前请先确认nginxingresscontroller插件的版本，如果版本小于1.3.5，这里工作负载类型应选择DaemonSet 4、待ELB绑定后，即可通过服务列表中“集群外访问”中的外网地址访问服务了。

使用场景 根据业务需求，对象存储类型的存储卷常见以下使用场景： 使用对象存储动态存储卷：即用户无需预先创建bucket，只需创建PVC时指定存储类（StorageClass），存储插件cstorcsi就会自动创建bucket及对应PV资源，推荐使用。 使用对象存储静态存储卷：即用户预先创建bucket，并创建对应的PV资源。之后在创建PVC时选择已有PV进行挂载。适用于已有可用的底层存储或底层存储需要包周期的场景。 有状态负载挂载对象存储：支持有状态负载通过PVC模版的方式，实现为每一个Pod关联一个独有的PVC及PV，当Pod被重新调度后，仍然能够根据该PVC名称挂载原有的数据。 说明 通过存储插件动态创建的bucket，默认计费模式为按需订购。关于对象存储按需计费详情，请参见点这里。

本节介绍了云容器引擎的最佳实践：有状态工作负载配置存储实践。 对于有状态应用实例需要持久化状态，每个实例有其独特的身份和持久化的数据存储。有状态应用的存储使用跟其他的工作负载存在差异。 使用方法 有状态应用PVC使用方法选择包括:已有存储卷申明（PVC）和存储卷申明模版（VolumeClaimTemplate）。 已有存储卷声明（PVC）方式较少使用，适用于有状态工作负载的多个副本共享同一PVC的场景。但实际需求中，要求每个副本具备独立存储的情况并不常见。 存储卷声明模板（VolumeClaimTemplate）是有状态工作负载特有的配置项。通过在该工作负载中定义模板，K8S会在创建每个副本时自动生成一个与之对应的PVC，命名规则为{存储声明模板名称}{有状态工作负载名称}{序号}。本文将重点阐述此方法。 注意 有状态工作负载删除后，其关联的PVC会保留。若用户确认不再需要，需手动删除这些PVC。（可通过启用K8S特性门控StatefulSetAutoDeletePVC为true，实现有状态工作负载删除后自动清理PVC）。 若不删除PVC，后续在同一命名空间内创建同名有状态工作负载并使用同名存储卷声明模板时，新工作负载将自动复用原有的PVC。 1. 点击“创建存储卷申明模版”. 2. 定义模版的存储申明类型、已有存储类、容量、卷模式、访问模式. 存储申明类型： 天翼云各类型的产品，用户根据需要自行选择对应的产品。 已有存储类： 用户需要提前创建好产品对应的存储类，用于动态分配。 容量： 存储容量大小 卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能 访问模式： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 3. 创建了一个有状态负载test，存储卷申明模版如下： 4. 有状态工作负载成功启动。 5. 查看pod的yaml，可以看到test1的pod，使用了disktest1这个PVC。 6. PVC列表中，两个PVC均被创建出来并且bound。

方案二：PVC挂载（每个子目录对应独立PVC） 此方案仅适用于海量文件存储，旨在帮助用户复用现有存储资源。在已有存储基础上划分多个子目录，每个子目录可作为独立PVC供工作负载使用。需先创建海量文件存储类，并选择已购买的海量文件作为底层存储分配基础. 在方案2流程选择新建的这个存储类，如下图所示： 当子目录设置为根路径 / 时，系统将自动创建一个以PV名称为命名的子目录（对用户透明）。用户可通过指定PV名称生成对应的PVC以供使用，从而节省资源开销。 若不通过控制台操作，建议参考 使用OceanFS动态存储卷（subPath模式）进行配置。

本节介绍了集群定时备份的用户指南。 操作场景：为增强集群容灾能力，提高集群可靠性。可对集群进行定时备份。 前提条件：用户需要在所操作的集群的插件市场中安装备份还原插件“ccsebackup”。 创建任务 定时备份提供按指定时间执行备份还原任务，配置操作大体与集群备份的相似。 在云容器引擎控制台菜单中按照以下路径进入界面【集群】{选定的集群}【备份】 【集群定时备份】,点击【创建备份】，弹出创建备份对话框。 名称、命名空间、资源和持久卷的配置与集群备份余下字段则与定时执行相关。 名称 说明 保留天数 必填，定时备份后产生的备份包所保留的天数，超过保留天数的备份包则会被自动清理 时间点 必填，定时备份时执行的时间点，为整点 重复周期 必填，定时备份任务重复在一周内哪几天触发执行 说明 此处建议保留天数要大于两个定时备份任务执行的间隔天数，否则会导致任务执行完毕后，还没等到下个任务开始，就被清理 点击“创建后”完成定时任务创建。 新建的定时备份任务会被展示在列表中，列表末端的操作列包含三个按钮： 编辑：弹出定时任务编辑框修改定时任务信息。 立即执行：马上触发备份任务执行。 删除：删除当前定时备份任务。 任务详情 在定时任务列表中点击任务名称，进入定时任务详情页。在详情页面可以看到定时任务的名称、所备份的命名空间、资源类型、是否包含持久卷、任务创建时间、备份包的保留天数和备份任务的重复周期这些信息。此外在“相关备份任务”中展示了每次执行的任务信息。 任务信息包括了任务名称、大小，任务执行的状态，任务的执行时间等。 另外列表中还包含了一个操作列，操作包括还原、下载和删除，功能与集群备份的列表的一致。

本节介绍了云容器引擎的最佳实践：容器化Web访问MySQL。 本篇以实际场景介绍如何发布无状态工作负载，并连接有状态数据库，并配合使用持久存储，在本片教程中，我们使用Local PV作为持久存储介质，在生产使用中建议使用Ceph存储。 创建持久存储类 选择Local存储，如下： 创建持久存储卷：在新建存储卷界面，选择第一步中创建的持久存储类 选择LocalPV所在节点以及LocalPV的目录，这里LocalPV所在节点即想要把容器数据持久化到哪一个k8s节点上，LocalPV的目录即是我们所选节点上的指定目录。 注意 此目录需要在我们所选择节点上存在，若不存在需要手动在改节点上创建目录。 创建MySQL有状态服务并使用持久存储卷： 出现新建存储卷界面，我们创建MySQL的流程如下： 点击新建PVC后，我们需要格外注意下图中的注意点。 StorageClasss名称：必须和第二步中创建的持久存储卷使用同一个StorageClass。 所需容量：这里选择的容量不能超过第二步中创建的持久存储卷的容量。 然后开始设置MySQL容器的参数，依次输入MySQL容器名称、选择MySQL镜像及版本号，需要格外注意挂载点的名称和容器路径。 其中数据卷选择刚刚添加的数据卷。 MySQL容器的数据目录为/Var/lib/mysql，所以容器路径输入这个目录。 设置容器的资源参数及环境变量，MySQL容器正常运行我们必须要设置MYSQLROOTPASSWORD这个环境变量，设置root用户密码，同时如果需要在MySQL容器启动后帮我们创建一个database，我们可以使用MYSQLDATABASE这个环境变量。 最后一步，我们为MySQL容器配置集群内访问方式，所以我们选择类型为ClusterIP。 注意 服务端口可以直接与容器端口相同。 创建web无状态工作负载并连接数据库 1、web工作负载配置 我们使用的web工作负载使用的配置文件如下： spring: jpa: showsql: false openinview: true datasource: driverclassname:"com.mysql.cj.jdbc.Driver" jdbcurl: "jdbc:mysql://{MYSQLHOST}:MYSQLHOST:{MYSQLPORT}/test?autoReconnecttrue&useUnicodetrue&characterEncodingUTF8&allowMultiQueriestrue&useSSLfalse" username: "${MYSQLUSERNAME}" password:"${MYSQLPASSWORD}" 在上述配置中，我们通过读取环境变量来设置应用所需的MySQL主机IP、端口、用户名、密码。 2、创建无状态工作负载 这里我们只介绍无状态工作负载的环境变量怎么设置，其他的参数配置与MySQL的类似：

本节介绍了节点池最佳实践：Pod调度到节点池的不同节点。 Pod调度到节点池不同节点 场景：服务在同一个节点池中，同一个应用的Pod之间反亲和，一个节点只能调度一个Pod。 创建节点池扩容两个节点。在节点池详情的节点列表可以查看到创建的两个节点。 使用以下示例内容，配置应用YAML。通过反亲和性配置两个应用Pod，将不同的Pod调度到节点池不同节点上。 plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginx labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: name: nginx labels: app: nginx spec: affinity: podAntiAffinity: requiredDuringSchedulingIgnoredDuringExecution: 设置调度策略。 labelSelector: matchExpressions: key: app operator: In values: nginx topologyKey: kubernetes.io/hostname nodeSelector: ccse.ctyun.cn/nodepoolname: 指定节点池。 containers: name: nginx image: nginx resources: limits: cpu: 1 requests: cpu: 1 在无状态页面，单击目标Deployment进入详情，在容器组页签，可以看到两个不同的Pod调度到节点池不同节点上。

更换节点池操作系统 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“节点管理”——“节点池”； 选择指定节点池，在操作“更多”列选择“升级”； 在升级界面勾选更换操作系统选项（可选择同类型更高版本号操作系统也可选择其他类型系统，如无同类型更高版本号操作系统则当前操作系统已是最新版本），选择目标升级版本，点击“开始升级”。

使用配置凭证 把上述config文件配置到home的下面目录： [docker@10 ~]$ mkdir p $HOME/.kube [docker@10 ~]$ mv config $HOME/.kube 使用kubectl命令切换集群上下文： [docker@10 ~]$ kubectl config usecontext clusteracontext Switched to context "clusteracontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at KubeDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'. [docker@10 ~]$ kubectl config usecontext clusterbcontext Switched to context "clusterbcontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at CoreDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'.

选择Master节点规格 Master节点运行着etcd、kubeapiserver、kubescheduler、kubecontrollermanager等核心组件，Master节点的稳定性直接决定整个Kubernetes的稳定性。集群规模与所需的Master规格成正比，即集群规模越大，所需Master规格越高。 在个人开发和学习环境中，可以选择小规格的ECS进行体验。然而，在生产环境中，建议用户在综合考虑节点数量、Pod数量、部署频度以及apiserver访问量的基础上评估集群规模。以下是从节点数量单个纬度出发给出的Master节点规格的推荐配置。 Master节点推荐规格 节点规模 4核 8GB（不推荐使用 4核 8GB 以下规格） 1～5个节点 4核 16GB 6～20个节点 8核 32GB 21～100个节点 16核 64GB 101～200个节点 64核 128GB 201～500个节点（请评估爆炸半径风险） 选择Worker节点规格 1、ECS规格要求，要求CPU大于等于4核，内存大于等于8GB。 2、确定集群可用性的容忍度。 计算集群总核数，例如320核。 确定容忍度，例如容忍10%的故障。那么最小选择10台32核ECS，并保证高峰运行负荷不超过320 90% 288核。在这个容忍度下，即使一台ECS故障，剩余ECS仍能支撑业务运行 3、根据Pod的CPU和内存配比选择规格，天翼云支持1:2、1:4、1:8的配比。 4、根据网络需求选择ECS类型，例如，对于网络密集型应用，推荐选择网络增强型ECS。ECS规格参考：点这里

本节介绍了Pod诊断对应的检查项以及修复方案。 Pod诊断主要包括Pod检查、ClusterComponent检查、Node检查、NodeComponent检查等检查项。 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本，负载、Docker、Kubelet等运行状态及系统日志中关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 Pod诊断对应的检查项 根据集群配置，具体检查项可能稍有不同。实际结果请以诊断页面结果为准。 诊断项分组 说明 Pod检查 检查Pod常见问题，检查项包括Pod状态、镜像拉取、网络连通性等。 ClusterComponent检查 检查集群常见问题，检查项包括APIServer可用性、DNS可用性、集群插件版本是否最新等。 Node检查 检查节点实例常见问题，检查项包括节点状态、网络状态、内核日志、核心进程和服务可用性等。 NodeComponent检查 检查节点核心组件状态，检查项包括网络和存储插件。 Pod检查 检查项名称 说明 修复方案 检查Pod是否存在 检查集群中是否存在该Pod。 请检查Pod在集群中对应命名空间下是否存在。 Pod容器重启次数统计 统计Pod中容器重启次数。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod容器是否存在镜像下载阻塞情况 检查Pod容器对应的镜像下载被阻塞。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod容器镜像Secrets是否有效 检查Pod拉取镜像的Secrets是否有效。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod是否初始化成功 检查Pod是否正常初始化。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。 检查Pod是否处于调度中状态 检查Pod是否正常调度。 请检查Pod状态及日志。更多信息，请参见Pod异常问题排查。

配置指标告警 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警规则 进入告警规则页面，点击按钮创建告警规则 创建告警规则。 目前共提供的告警分组有Kubernetes节点、Kubernetes负载、指标采集上报和黑盒监控，其中节点、负载和指标采集上报均为基础告警，只要安装了ccsemonitor插件即可使用，黑盒监控需要应用接入黑盒监控才可使用，可参考 用户指南 > 集群可观测 > 黑盒监控 章节。 选择告警分组和告警指标后会显示告警阈值及当前集群的指标值，部分指标可以通过告警条件调整告警阈值及判断条件；告警触发条件可以选择立即触发或告警条件持续数分钟后才触发。 查看告警事件历史及告警发送历史 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 在集群列表中点击需要配置告警的集群，进入集群管理页面。 左侧菜单栏选择 运维管理 > 指标告警 > 告警事件历史 或 告警发送历史 可分别查看集群告警事件历史及告警发送历史。 告警事件历史页面可以查看告警事件名称、事件描述、事件数量、事件状态等信息，通过右上角事件状态筛选下拉框还可以筛选指定状态的告警事件。 告警发送历史页面可以查看事件告警的告警状态、通知状态等，还可以根据告警的状态、等级等进行筛选。

查看Pod的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 工作负载 > 无状态/有状态/守护进程/任务/定时任务/容器组 进入需要查看的工作负载列表，并点击上方监控tab查看pod监控信息

本节介绍了RBAC授权的用户指南。 操作场景 角色绑定（Role Binding）是将角色中定义的权限赋予一个或者一组用户。它包含若干主体（用户、组或服务账户）的列表和对这些主体所获得的角色的引用。 RoleBinding 在指定的名字空间中执行授权，而 ClusterRoleBinding 在集群范围执行授权。一个 RoleBinding 可以引用同一的名字空间中的任何 Role。 或者，一个 RoleBinding 可以引用某ClusterRole 并将该 ClusterRole 绑定到RoleBinding 所在的名字空间。如果你希望将某 ClusterRole 绑定到集群中所有名字空间，你要使⽤ClusterRoleBinding。 前提条件 已创建云容器引擎集群，具体操作请参见创建⼀个集群。若已有容器集群，⽆需重复操作。 操作步骤 注意 子账号来自于天翼云的 ，请提前创建好子用户，并需子用户登陆天翼云后才可以同步到云容器引擎控制台。 为⼦账号授权或调整子账号权限： 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要授权的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择安全管理 > 授权，进入角色授权页面。 4、点击管理权限操作单个子账号权限，或选择多个子账号后点击添加权限为多个子账号批量授权，点击后进入集群RBAC配置页面。 5、在集群RBAC配置页面中，可以对子账号已有的用户权限进行调整或为子账号新增权限，权限可以限定单个命名空间或不限制命名空间（集群权限），⽤户可设置的权限有内置权限（管理员、运维人员、开发人员、受限人员）和自定义权限，选择自定义权限可选择集群中创建的任意Cluster Role进行授权。 6、点击下⼀步完成授权。

本节介绍了用户指南： 海量文件概述。 云容器引擎支持挂载天翼云海量文件存储卷。cstorcsi插件支持使用海量文件动态存储卷和静态存储卷，通过将海量文件存储卷挂载到容器指定目录下，以满足数据持久化需求。 海量文件服务OceanFS为全托管、可扩展的海量文件系统，适用于海量数据及高带宽应用场景。OceanFS支持弹性扩展至PB级别，具备高可用性与数据持久性，适用于高性能计算、媒体处理、文件共享、内容管理及Web服务等多种场景。 使用限制 插件版本 使用海量文件存储功能，需要cstorcsi插件版本 >3.6.0 文件协议 当前cstorcsi插件仅支持NFS协议 容量 单个文件系统最小容量为100GB subpath模式 在subpath模式下，暂不支持目录配额，subpath使用的容量实际上是整个海量文件的容 其他限制 参见 海量文件使用限制 产品优势 共享访问 1. 支持多台客户端挂载访问同一文件系统，可支持连接上千个客户端实例。 2. 支持NFSv3/v4.1。 3. 支持IPv4和IPv6网络协议。 海量可扩展 1. 用户可以根据业务需要配置文件系统的初始存储容量，后续可以随着数据量的变化而扩容。 2. 支持PB级存储空间。 安全可信 1. 支持使用VPC用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 文件服务支持HA高可用，出现任何硬件故障时，业务自动切换到其他节点，服务可用性在99.95%及以上。 友好易用 1. 操作界面友好、简单易用，用户可通过控制台界面快速轻松地创建、配置和管理文件系统，省去复杂的文件系统部署工作。 2. 提供全托管服务，不必考虑复杂的安装、配置及性能调优工作，用户可轻松创建使用文件系统，只需几分钟便可使用高性能的文件系统。

那么PVC使用设置了该字段的storageClass，会创建报错 topology.kubernetes.io/zone: cnhuadong1jsnj1Apublicctcloud 填写标签，根据自己需求填写，以逗号分隔，例如以下示例就是两对标签， 其中第一个标签key为ccse，value为plugin，另外一个标签key为cstorcsiprovison，value为yes 注意，此标签为存储侧的标签，并非容器侧的标签，最终只会在存储控制台展示。 tags: "ccse:plugin,cstorcsiprovison:yes" reclaimPolicy: Delete allowVolumeExpansion: true mountOptions: mountOptions 支持nfs的相关配置 vers3 prototcp async nolock noatime noresvport nodiratime wsize1048576 rsize1048576 timeo300 执行以下命令，创建StorageClass plaintext kubectl apply f scexample.yaml 查看创建的StorageClass： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“存储”——“存储类”，在存储类列表查看。 2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvcoceanfssharepath spec: accessModes: ReadWriteOnce resources: requests: storage: 100Gi storageClassName: cstorcsioceanfsscsharepath 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“存储”——“持久卷声明”，在列表查看。

验证CPU独占与隔离 注意 FullPCPUs策略 使用FullPCPUs策略可以确保分配完整的物理CPU核心，避免跨物理核心的线程干扰 当节点剩余的逻辑CPU数量足够但完整的物理核心不足时，会继续分配 性能影响 CPU独占会减少节点上可用的CPU资源，可能影响整体资源利用率 建议只为真正需要稳定性能的关键业务应用配置CPU独占 监控与调优 定期监控CPU使用情况，根据实际负载调整资源分配 使用节点监控工具（如top、htop等）验证CPU隔离效果 兼容性 确保所有节点都正确配置了koordruntimeproxy 不同版本的Kubernetes和容器运行时可能需要不同的配置 常见问题 如何确认CPU独占是否生效？ 可以通过以下方式验证： 1. 检查Pod的注解中是否包含scheduling.koordinator.sh/resourcestatus字段。 2. 在节点上查看容器的cpuset配置是否与调度器分配一致。 3. 使用性能监控工具观察CPU使用情况。 为什么BE应用无法使用某些CPU核心？ 这是预期的行为。高优先级应用（LSE）独占的CPU核心会被排除在BE应用的cpuset之外，确保资源隔离。 如何修改已部署应用的CPU独占配置？ 需要更新应用的ColocationProfile配置，并重启相关Pod使配置生效。 CPU独占会影响节点调度吗？ 是的，调度器会考虑节点的可用CPU核心数量进行调度决策。当所有CPU核心都被独占时，新的高优先级应用将无法调度到该节点。

本节介绍超卖调度与离线应用CPU压制的用户指南。 CPU QoS 功能包括节点资源超卖调度和 BE 离线应用 CPU 压制机制，帮助您实现资源的高效利用与动态调整。 适用场景 集群资源利用率低，需要提高节点资源使用效率。 需要在保证在线应用（LS 优先级）性能的同时，充分利用空闲资源运行离线应用（BE 优先级）。 需要在在线应用负载增加时，自动压制离线应用资源使用，确保在线应用性能。 功能概览 节点资源超卖调度：允许节点接受超过其声明资源总量的应用调度请求，提高资源利用率。 BE 应用 CPU 动态压制：根据在线应用的实际负载，动态调整离线应用可使用的 CPU 资源范围。 优先级差异化服务：确保高优先级应用（LS）获得资源保障，低优先级应用（BE）弹性使用剩余资源。 操作指南 节点资源超卖调度 BE 应用 CPU 动态压制 当节点上的在线应用（LS 优先级）CPU 负载增加时，混部系统会自动压制 BE 优先级应用的 CPU 使用范围，确保在线应用获得足够资源，同时最大化利用节点空闲资源。 压制机制 系统通过动态调整 BE 应用的 cpuset 范围来实现 CPU 压制 压制程度根据 LS 应用的实际负载动态变化 系统确保 BE 应用至少保留最小核心数（默认为 2 核），避免完全饿死 观察压制效果 1. 查看 BE 应用初始 CPU 分配 在节点负载较低时，BE 应用获得较大的 CPU 使用范围 plaintext $ kubectl n koordinatorsystem exec ti bash $ cat /hostcgroup/cpuset/kubepods.slice/kubepodsbesteffort.slice/cpuset.cpus 02

本节介绍使用在离线应用优先级管理的用户指南。 在离线应用的优先级（混部规则）包括规则的创建、编辑、绑定与解绑等操作，帮助您实现资源的灵活调度与隔离。 适用场景 需要为不同类型的离线应用设置资源独占或共享等级。 通过优先级规则提升集群资源利用率与调度灵活性。 功能概览 支持新建、编辑、删除混部规则（优先级）。 支持将应用批量绑定/解绑至指定优先级。 可查看规则详情及已绑定应用列表。 操作步骤 查看混部规则列表 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单。 2. 页面展示当前集群已配置的混部规则，包括规则名称、QoS 类型、是否启用负载感知调度器等信息。 3. 可在“更多”下拉菜单中进行规则的绑定应用、删除等操作。 新建混部规则 1. 登录云容器引擎控制台，选择指定集群后，选择左侧菜单栏“混合部署应用混部应用优先级配置”菜单，点击列表左上角“新建规则”按钮，弹出新建窗口。 2. 填写唯一规则名称，选择服务质量（QoS）类型，并决定是否启用负载感知调度器。 3. 提交后，规则即出现在规则列表中。

本节介绍在离线混部概述。 在离线混部是在多维资源调度与管控方面的核心能力，包括节点资源超卖调度与 BE 离线应用 CPU 压制、高优先级应用 CPU 独占与隔离、容器磁盘读写限速、容器网络限速等，帮助用户在保障关键业务性能的同时，实现资源的高效利用。 适用场景 资源利用率低，需提升集群资源使用效率。 在线关键业务（高优先级）需要稳定的性能保障。 离线批量任务（低优先级）需充分利用空闲资源。 需要自动调度和压制离线应用，兼顾在线与离线业务。 需对磁盘 IO 或网络带宽进行限速，防止单一业务占用过多。 功能概览 节点资源超卖调度与 BE 离线应用 CPU 压制：允许节点超卖资源，并根据在线负载动态压制离线应用 CPU 使用，提升资源利用并保证在线应用性能。 高优先级应用 CPU 独占与隔离：为高优先级应用分配独占 CPU 核心，通过 cgroup 隔离其他应用，确保关键业务性能稳定。 容器磁盘读写限速：通过注解为容器配置磁盘带宽与 IOPS 限制，防止单一容器影响整体磁盘性能。 容器网络限速：通过注解为容器配置入站/出站带宽及优先级，保障关键流量的网络体验。

规则类型 参数设置 指标触发 触发条件 当节点池内任一节点的CPU、内存满足设置的阈值 执行动作：达到触发条件后所要执行的动作。 定时触发 触发时间：可选择每天、每周、每月或每年的具体时间点。 执行动作：达到触发时间值后所要执行的动作，为节点池增加或减少指定数量的节点 告警触发 触发时间：当节点池内任一节点的告警指标满足设置的阈值 执行动作：达到触发条件后所要执行的动作，为节点池增加或减少指定数量的节点

操作 Docker crictl ctr 上传镜像 docker push crictl push ctr n k8s.io i push 拉取镜像 docker pull crictl pull ctr n k8s.io i pull 查看镜像详情 docker inspect crictl inspecti 无 列出本地镜像列表 docker images crictl images ctr n k8s.io i ls 删除本地镜像 docker rmi crictl rmi ctr n k8s.io i rm 创建容器 docker create crictl create crt n k8s.io c create 启动容器 docker start crictl start crt n k8s.io run 连接容器 docker attach crictl attach 无 进入容器 docker exec crictl exec 无 查看容器详情 docker inspect crictl inspect crt n k8s.io c info 查看容器日志 docker logs crictl logs 无 查看容器资源使用情况 docker stats crictl stats 无 更新容器资源限制 docker update crictl update 无 停止容器 docker stop crictl stop 无 列出容器列表 docker ps crictl ps crt n k8s.io c ls 删除容器 docker rm crictl rm crt n k8s.io c del 启动 Pod 无 crictl start 无 运行 Pod 无 crictl runp 无 查看 Pod详情 无 crictl inspectp 无 停止 Pod 无 crictl stopp 无 列出 Pod列表 无 crictl pods 无 删除 Pod 无 crictl rmp 无