2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和本地存储，这里选择并行文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量，最小容量为512GB 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。此时，进入主菜单“存储”——“持久卷“，可以看到对应的PV创建 。 如果PVC一直未绑定，可以查看进入对应PVC详情页查看事件，或者查看cstorcsi日志进行定位。 3、创建工作负载 1. 登录“云容器引擎”管理控制台； 2. 在集群列表页点击进入指定集群； 3. 进入主菜单“工作负载”——“有状态”，单击左上角“创建StatefulSet”； 4. 在创建对话框，数据存储栏中，选择添加存储卷，卷类型选择“已有存储卷申明（PVC）”，操作栏选择“选择已有存储申明”；根据自己需要设置挂载路径、子路径和权限， 参数说明： 挂载路径：存储挂载到容器后，容器内部显示的路径地址。不建议使用类似于/usr或者/tmp类似的已有的容器目录路径，可能会造成目录相互遮蔽。 子路径：需要挂载的存储源地址的子目录 权限：读写/只读； 示例：将PVC“hpfs”对应存储的subpath指向的子目录（subpath为空表示使用根目录），挂载到容器里的/test路径上 5. 所有的信息都配置完成后，单击“提交”，创建成功后，您就可以正常使用数据卷。

本节介绍了节点重置的用户指南。 节点重置是指将Kubernetes集群中的节点恢复到初始状态。这通常用于节点出现故障时的修复操作。在云容器引擎控制台节点功能中，您可以通过控制台来重置节点。 注意事项 重置节点将对节点操作系统进行重置安装，节点上已运行的工作负载业务将会中断，请在业务低峰期操作。 节点重置后系统盘挂载kubelet、containerd的数据盘将会被清空，重置前请事先备份重要数据。 用户节点如果有自行挂载了数据盘，重置完后会清除挂载信息，请事先备份重要数据，重置完成后请重新执行挂载行为，数据不会丢失。 节点上的工作负载实例的IP会发生变化，但是不影响容器网络通信。 操作过程中，后台会把当前节点设置为不可调度状态。 节点重置会清除用户单独添加的 K8S 标签和污点（通过节点池编辑功能添加的标签、污点不会丢失），可能导致与节点有绑定关系的资源（本地存储，指定调度节点的负载等）无法正常使用。请谨慎操作，避免对运行中的业务造成影响。 重置节点会导致与节点关联的localpv类型的PVC/PV数据丢失，无法恢复，且PVC/PV无法再正常使用。重置节点时使用了本地持久存储卷的Pod会从重置的节点上驱逐，并重新创建Pod，Pod会一直处于pending状态，因为Pod使用的PVC带有节点标签，由于冲突无法调度成功。节点重置完成后，Pod可能调度到重置好的节点上，此时Pod会一直处于creating状态，因为PVC对应的底层逻辑卷已经不存在了。 重置节点使用的相关配置是节点所在节点池的最新配置。

配置项 说明 名称 PVC的名称。 存储声明类型 这里选择通用。 分配模式 这里选择“已有存储卷”。 持久卷名称 选择上一步创建的PV名称。

集群外部域名解析异常 问题现象 业务Pod可以正常解析集群内部域名，但无法解析某些集群外部域名。 问题原因 上游服务器域名解析返回异常。 解决方案 修改CoreDNS配置文件corefile，开启log模块以打印查询请求日志，检查CoreDNS DNS查询请求日志。 常见请求日志 CoreDNS接收到请求并回复客户端后会打印一行日志，示例如下： plaintext 其中包含状态码RCODE NOERROR，代表解析结果正常返回。 [INFO] 172.20.2.25:44525 36259 "A IN nginx.default.svc.cluster.local. udp 56 false 512" NOERROR qr,aa,rd 110 0.000116946s 常见返回码RCODE 返回码RCODE 含义 原因 NXDOMAIN 域名不存在 容器内请求域名时，会被拼接上search后缀，若拼接的结果域名不存在，则会出现该请求码。如果确认日志中请求的域名内容存在，则说明存在异常。 SERVFAIL 上游服务器异常 常见于无法连接上游DNS服务器等情况。 REFUSED 拒绝应答 常见于CoreDNS配置或集群节点/etc/resolv.conf文件指向的上游DNS服务器无法处理该域名的情况，请排查CoreDNS配置文件。 当CoreDNS DNS查询请求日志中显示集群外部域名返回为NXDOMAIN、SERVFAIL、REFUSED时，说明CoreDNS的上游DNS服务器返回异常。请提交工单排查。 StatefulSets Pod域名无法解析 问题现象 Headless服务无法通过Pod域名解析。 问题原因 StatefulSets Pod YAML中ServiceName必须和其暴露SVC的名字一致，否则无法访问Pod域名（例如pod.headlesssvc.ns.svc.cluster.local），只能访问到服务域名（例如headlesssvc.ns.svc.cluster.local）。

步骤 操作 1 确定要使用LVM数据卷的节点以及磁盘设备。推荐对指定节点新增数据盘，专用于存储池。 2 创建本地存储池。 3 创建本地存储类StorageClass。 4 创建本地存储类型PVC。 5 基于已创建PVC，创建工作负载。

本节介绍网络的用户指南: CoreDNS介绍。 CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管。 云容器引擎订购的集群使用CoreDNS负责集群的服务发现，可根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 默认配置 在命名空间kubesystem下，有一个名为coreDNS的配置项。CoreDNS会基于该配置项启用和配置插件。不同CoreDNS版本的配置项有略微差异，修改配置前请仔细阅读CoreDNS官方文档。 以下是一个1.6.2版本CoreDNS默认采用的配置文件： Corefile: .:53 { errors log health { lameduck 15s } ready kubernetes {{.ClusterDomain}} inaddr.arpa ip6.arpa { pods verified fallthrough inaddr.arpa ip6.arpa } prometheus :9153 forward . /etc/resolv.conf { preferudp } cache 30 loop reload loadbalance } 配置文件中ClusterDomain代指集群创建过程中填写的集群本地域名，默认值为cluster.local。配置项说明如下： 参数 描述 errors 错误信息到标准输出。 health CoreDNS自身健康状态报告，默认监听端口8080，一般用来做健康检查，可以通过 获取健康状态。 ready CoreDNS插件状态报告，默认监听端口8181，一般用来做可读性检查，可以通过 获取可读状态。当所有插件都运行后，ready状态为200。 kubernetes CoreDNS Kubernetes插件，提供集群内服务解析能力。 prometheus CoreDNS自身metrics数据接口，可以通过 获取prometheus格式的监控数据。 forward（或proxy） 将域名查询请求转到预定义的DNS服务器。默认配置中，当域名不在Kubernetes域时，将请求转发到预定义的解析器（/etc/resolv.conf）中。默认使用宿主机的/etc/resolv.conf配置。 cache DNS缓存。 loop 环路检测，如果检测到环路，则停止CoreDNS。 reload 允许自动重新加载已更改的Corefile。编辑ConfigMap配置后，请等待两分钟以使更改生效。 loadbalance 循环DNS负载均衡器，可以在答案中随机A、AAAA、MX记录的顺序。

本节介绍了启动实例失败时的重试机制是怎样的? 启动实例失败时的重试机制是怎样的？ 云容器引擎是基于原生Kubernetes的云容器引擎服务，完全兼容Kubernetes社区原生版本，与社区最新版本保持紧密同步，完全兼容Kubernetes API和Kubectl。 在Kubernetes中，Pod的spec中包含一个restartPolicy字段，其取值包括：Always、OnFailure和Never，默认值为：Always。Always：当容器失效时，由kubelet自动重启该容器。 OnFailure：当容器终止运行且退出不为0时，由kubelet自动重启该容器。 Never：不论容器运行状态如何，kubelet都不会重启该容器。 restartPolicy适用于Pod中的所有容器。 restartPolicy仅针对同一节点上kubelet的容器重启动作。当Pod中的容器退出时，kubelet 会按指数回退方式计算重启的延迟（10s、20s、40s...），其最长延迟为5分钟。 一旦某容器执行了10分钟并且没有出现问题，kubelet对该容器的重启回退计时器执行重置操作。 每种控制器对Pod的重启策略要求如下： Replication Controller（RC）和DaemonSet：必须设置为Always，需要保证该容器的持续运行。 Job：OnFailure或Never，确保容器执行完成后不再重启。

本节介绍了云容器引擎的最佳实践: 通过配置kubeconfig文件实现集群权限精细化管理。 集群权限精细化管理的背景 云容器引擎默认给用户的kubeconfig文件对集群操作的权限相当于root级别，这样的权限级别对于某用户来说过大，很不便于对集群的精细化管理。为了达到对集群精细化管理的目标，我们可以通过kubeconfig设置特定的用户，然后给用户赋予集群的部分操作权限（如：增、查、改）。 注意事项 下面配置步骤操作前，请先确保您的机器上有kubectl工具，若没有请到社区下载与集群版本对应的或者最新的kubectl。 基于Role实现集群权限精细化管理的配置步骤 说明 下述示例创建一个用户，并且该用户只能查看default下的Pod，不能查看其他namespace下的Pod且不能删除default下的任何Pod。 1. 配置ServiceAccount，名称为testsa，命名空间为default kubectl create sa testsa n default 3. 创建Role，并配置针对不同资源相对应的操作权限 vi addRole.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: name: testrole namespace: default rules: apiGroups: "" resources: pods verbs: get list watch apiGroups: apps resources: pods verbs: get list watch kubectl create f addRole.yaml 4. 配置RoleBinding，将sa绑定到Role上，让sa获取相应权限 vi addRoleBinding.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: name: myrolebinding namespace: default roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: testrole subjects: kind: ServiceAccount name: testsa namespace: default kubectl create f addRoleBinding.yaml 5. 配置集群访问信息 4.1 通过sa的名称testsa获取sa对应的密钥，第一列testsatokennttvl即为密钥名 kubectl get secret n default grep testsa 4.2 将密钥中的ca.crt解码后导出 kubectl get secret testsatokend6b4q n default oyaml grep ca.crt: awk '{print $2}' base64 d > ca.crt 4.3 设置集群访问方式，其中dev 为需要访问的集群名称，10.50.208.30为集群ApiServer地址，test.config为配置文件的存放路径 （1）如果通过内部ApiServer地址，执行命令如下： kubectl config setcluster dev server certificateauthorityca.crt embedcertstrue kubeconfigtest.config （2）如果通过公网ApiServer地址，执行命令如下： kubectl config setcluster dev server kubeconfigtest.config insecureskiptlsverifytrue 集群ApiServer地址为内网ApiServer地址，绑定弹性IP后也可为公网ApiServer地址。如下图： 5. 配置集群认证信息 5.1 获取集群的token信息 token$(kubectl describe secret testsatokend6b4q n default awk '/token:/{print $2}') 5.2 设置使用集群的用户uiadmin kubectl config setcredentials uiadmin token$token kubeconfigtest.config 7. 配置集群认证访问的上下文信息，uiadmin@test为上下文的名称 kubectl config setcontext uiadmin@test clusterdev useruiadmin kubeconfigtest.config 8. 设置上下文 kubectl config usecontext uiadmin@test kubeconfigtest.config

kubectl get no ccseagentvmAggbkVfL ojsonpath'{.spec.podCIDR}' 172.16.13.0/24 网段规划建议 集群网络网段分为节点网络、容器网络和服务网络，在规划这三种网络的网段时需考虑如下要点： 1. 为避免地址冲突，三个网络的网段不能重叠，容器网段和服务网段不能与VPC网段重叠； 2. 结合集群规模选择合适的网段，节点所属子网的空闲IP数直接限制了集群可添加节点数，容器网段大小直接限制了可创建的Pod总数，服务网段大小直接限制了可创建的Service总数； 3. 单个节点可创建Pod总数还与其它配置相关，如Pod request总量等。 网络访问示例 创建一个使用Calico容器网络插件的集群，然后创建一个Deployment： apiVersion: apps/v1 kind: Deployment metadata: name: nginxdemo namespace: default spec: replicas: 2 selector: matchLabels: app: nginxdemo template: metadata: labels: app: nginxdemo spec: containers: image: registryvpccrshuadong1.ctyun.cn/library/nginxphoton:v1.8.6 name: demo 查看对应的Pod： [root@CCSEAGENTvmAggbkVfL paasdp] kubectl get po l appnginxdemo owide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nginxdemo58656854f47nvmn 1/1 Running 0 48s 172.16.13.22 ccseagentvmAggbkVfL nginxdemo58656854f4j88mx 1/1 Running 0 48s 172.16.19.17 ccseagentvmBubacp2 在集群内部节点或Pod内，都能直接访问Pod。如下所示，节点直接访问Pod: 如下所示，Pod直接访问Pod: 因为Calico容器网络不支持集群外部网络与容器IP直通，所以在同个VPC下集群外云主机直接访问Pod的IP，会发现访问不通。

本节介绍了云容器引擎的Ingress类常见问题。 从外面通过nginxingresscontroller访问Pod时，Pod运行的应用怎么获取真实客户端的IP地址？ 需要配置nginxingresscontroller，把客户端真实的源IP保存在转发报文的Header中，key可以自定义（比如XRemoteAddr或其它key），不过需要和应用约定好使用哪个Key。 从Pod访问外部应用，外部应用拿到的是什么IP？ 拿到的是Pod所在K8S主机的IP。 修改ELB Ingress引用的TLS证书后，需要更新对应负载均衡器的证书 在“网络控制台>弹性负载均衡”找到ELB Ingress对应负载均衡器的HTTPS监听器，然后找到监听器对应的证书，点击证书在证书管理界面中修改证书，将TLS证书内容和私钥上传即可完成更新。

本节介绍了使用云容器引擎与自建K8S的对比,有利于用户选择云容器引擎产品。 功能 云容器引擎 自建Kubernetes 集群管理 通过控制台一键创建集群，支持创建跨AZ高可用的集群 提供容器优化的OS镜像，提供稳定测试和安全加固的Kubernetes和Docker版本 支持多集群管理，支持跨AZ高可用集群，支持集群联邦管理 用户手动部署集群并自行开发 用户自行探索和开发 应用管理 支持灰度发布，支持蓝绿发布 支持应用监控、应用弹性伸缩 内置模板市场，支持Helm应用一键部署；支持服务目录，简化云服务集成 用户自行探索和开发 网络管理 提供针对天翼云优化的高性能VPC/ENI网络插件，性能优于普通网络方案 支持容器访问策略和容器带宽限制 需要挑选社区网络插件进行适配 用户自行探索和开发 存储管理 支持天翼云盘挂载，提供标准的CSI、FlexVolume驱动 支持存储卷自动创建、迁移 用户自行探索和开发 运维管理 支持Kubernetes新版本一键升级，支持集群组件生命周期管理 支持集群手动和自动弹性伸缩 提供高性能日志采集Agent，自动实现日志服务集成 用户手动运维控制面 服务保障 天翼云专业容器团队作为技术支持，为集群提供及时的稳定性和安全响应 需要组建专门团队 安全管理 支持镜像扫描/镜像签名 支持容器运行时安全检测 用户自行构建安全能力

问题现象 解决方案 安装模板报错：IngressClass.networking.k8s.io "nginxingressxxx" is invalid: spec.controller: Invalid value: "nginxingressxxx": must be a domainprefixed path (such as "acme.io/foo")。 YAML配置中填写的controller.ingressClassResource.controllerValue不对，值需要以域名为前缀，如k8s.io/ingressnginxdemo。 创建Ingress路由后，Ingress同时被模板部署的Nginx Ingress Controller和集群插件Nginx Ingress Controller识别并生效。 检查安装模板后生成的IngressClass资源，确认spec.controller的值是否为k8s.io/ingressnginx，如果是，需重装模板实例，为controller.ingressClassResource.controllerValue指定不同于“k8s.io/ingressnginx”的值。

使⽤配置项 ⽅式1： 通过挂载数据卷使⽤配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使⽤配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的⼯作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在 数据卷中，点击添加数据卷，选择configMap类型，填写卷名称，并选择添加已有配置项选择已有的配置项。 6、在实例内容器的挂载点中，选择挂载数据卷，并添加挂载的容器路径及权限。 7、点击提交，完成创建。 方式2：环境变量中使⽤配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使用配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在环境变量中，点击新增变量，类型选择configMapKeyRef，并选择已有的配置项，填写环境变量名。 6、点击提交，完成创建。

使用配置凭证 把上述config文件配置到home的下面目录： [docker@10 ~]$ mkdir p $HOME/.kube [docker@10 ~]$ mv config $HOME/.kube 使用kubectl命令切换集群上下文： [docker@10 ~]$ kubectl config usecontext clusteracontext Switched to context "clusteracontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at KubeDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'. [docker@10 ~]$ kubectl config usecontext clusterbcontext Switched to context "clusterbcontext". [docker@10 ~]$ kubectl clusterinfo Kubernetes master is running at CoreDNS is running at To further debug and diagnose cluster problems, use 'kubectl clusterinfo dump'.

名称 说明 命名空间 选填，可输入多个命名空间，多个用‘,’分隔，按照源命名空间进行筛选，符合条件的资源会执行数据清洗操作 资源类型 选填，可输入多个资源类型，即资源的kind字段，多个用‘,’分隔，符合条件的资源会执行数据清洗操作 标签选择器 选填，输入k8s的标签选择器语句，可根据该选择条件进行资源筛选,符合条件的资源会执行数据清洗操作 操作 必填，可输入多个操作内容，可以新增、删除或者替换资源中的annotation和label

云容器引擎 CCE 提供高度可扩展的、高性能的Kubernetes集群、一站式容器服务;兼容主流国产化服务器和操作系统,取得全栈国产化适配认证证书。其整合了镜像、监控、日志、负载均衡、灰度/蓝绿、多种弹性策略、高效调度、集群插件、模板市场等基础能力,帮助企业快速构建和运行可弹性扩展的应用,实现业务的快速交付与持续创新。

本节介绍了云容器引擎的最佳实践: 自定义存储资源对象。 自定义云存储StorageClass 默认存储类 存储插件cstorcsi安装完成后，会默认根据当前资源池已上线云存储产品情况创建默认存储类，用户可以使用默认存储类创建持久卷声明。 默认创建的存储类名称、对应驱动及应用场景等参见cstorcsi插件中“插件使用”介绍。 自定义存储类 当默认存储类不满足业务需求，比如用户是从自建Kubernetes或其他Kubernetes服务迁移到到天翼云云容器引擎时，期望使用与云业务同名StorageClass或者用户期望自定义存储类的参数时，用户可以选择自定义云存储类型StorageClass。 通过自定义存储类，用户可以实现定制StorageClass名称、云存储类型、绑定策略、挂载选项等。具体各云存储产品描述如下： 云硬盘：通过控制台或通过kubectl命令行自定义存储类参见使用云盘动态存储卷； 弹性文件：通过控制台或通过kubectl命令行自定义存储类参见使用SFS动态存储卷； 对象存储：通过控制台或通过kubectl命令行自定义存储类参见使用ZOS动态存储卷。 自定义通用StorageClass 云容器引擎除支持通过cstorcsi插件使用云存储产品之外，也支持用户定制安装CSI，并自定义创建存储类。

配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择弹性文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在动态创建的场景下，需要指定存储类，并且选择上一步创建的存储类。 是否指定存储卷 在动态创建的场景下，无需指定存储卷。 容量 可以根据需求自定义容量。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载

本节介绍了:连接信息。 操作场景 获取集群的连接信息，通过API或者kubectl访问集群。 前提条件 ● 在查看集群信息前，您需要存在⼀个可用集群。若没有可⽤集群，请参照 订购集群 内容进⾏创建。 ● 如果需要公网访问，请提前绑定好弹性IP（EIP）。 操作步骤 1. 点击 复制 ，生成的配置可以直接在公网或者内网使⽤。 2. 可以吊销KubeConfig，当前的配置会失效并重新生成。 3. 选择生成临时KubeConfig，然后选择有效期，点击 生成临时KubeConfig ，最后点击 确认 ，即可重新⽣成⼀份新的配置信息。

对比： 方案 四层或七层转发 支持高可用 支持HTTPS 优缺点 适用场景 NodePort 四层 是 否 优点：使用简单，无须额外配置 TCP或HTTP服务、访问量不大 NodePort+Nginx 七层 是 是 缺点：需要额外手动部署与配置Nginx HTTPS服务，访问量不大 NodePort+LVS 四层 是 否 缺点：需要额外手动部署与配置LVS TCP或HTTP服务，访问量大 NodePort+Nginx+LVS 七层 是 是 缺点：需要额外手动部署与配置Nginx和LVS HTTPS服务，访问量大 Ingress 七层 是 当前不支持，后续会支持 优点：使用简单；缺点：只支持域名访问，不支持IP访问，需要自行配置DNS服务器 HTTP服务(后续支持HTTPS服务)，访问量不大 Ingress+LVS 七层 是 当前不支持，后续会支持 缺点：需要额外部署LVS，只支持域名访问，不支持IP访问，需自行配置DNS服务器 HTTP服务(后续支持HTTPS服务)，访问量大

TCP请求获取客户端真实源IP地址 针对TCP请求，可以通过在后端主机配置TOA插件获取客户端的真实源IP地址，详情可参见：TCP请求获取客户端真实源IP地址

阶段四：Pod运行问题 OOM 当集群中的容器使用超过其限制的内存，容器可能会被终止，触发OOM（Out Of Memory）事件，导致容器异常退出。 OOM可能原因 说明 推荐的解决方案 系统内存不足 查看Pod所在节点的内核日志/var/log/messages，日志中存在Killed Process，但不存在kubepods相关日志；且主机内存使用量较高，表明是主机操作系统内存不足。 可能是系统全局内存不足、内存碎片化严重、内存泄露等。可提单排查。 Pod内存不足 查看Pod所在节点的内核日志/var/log/messages，日志中存在类似Task in /kubepods.slice/xxxxx killed as a result of limit of /kubepods.slice/xxxx的报错信息，且主机内存使用量不高或Pod的资源Limit值设置得较小，表明OOM为cgroup级别。 根据业务实际运行需要，适当增大Pod的内存Limit。 Terminating 可能原因 说明 推荐的解决方案 节点存在异常，处于NotReady状态。 节点存在异常，处于NotReady状态。 处于NotReady状态的节点恢复正常后会被自动删除。 Pod配置了Finalizers。 如果Pod配置了Finalizers，Kubernetes会在删除Pod之前执行Finalizers指定的清理操作。如果相关的清理操作没有正常响应，Pod将保持在Terminating状态。 通过kubectl get pod n o yaml查看Pod是否配置了Finalizers，进一步排查异常原因。 Pod的preStop配置异常。 如果Pod配置了preStop，Kubernetes会在c。Pod正处于终止流程的preStop阶段时，Pod将处于Terminating状态。 通过kubectl get pod n o yaml查看Pod的preStop配置，进一步排查异常原因。 Pod配置了优雅退出时间。 如果Pod配置了优雅退出时间（terminationGracePeriodSeconds），Pod收到终止命令后（例如kubectl delete pod 命令）会进入Terminating状态。等待terminationGracePeriodSeconds设定的时间后，或容器提前退出后，Kubernetes才认为Pod已经成功关闭。 等待容器优雅退出后，Kubernetes将自动删除Pod。 容器无响应。 发起停止或删除Pod的请求后，Kubernetes会向Pod内的容器发送SIGTERM信号。如果容器在终止过程中没有正确响应SIGTERM信号，Pod可能会停留在Terminating状态。 使用kubectl delete pod graceperiod0 force强制删除，释放Pod资源。 检查Pod所在节点的containerd或Docker日志，进一步进行排查。 Evicted 可能原因 说明 推荐的解决方案 节点存在资源压力，包括内存不足、磁盘空间不足等，引发kubelet主动驱逐节点上的一个或者多个Pod，以回收节点资源。 可能存在内存压力、磁盘压力、Pid压力等。可以通过kubectl describe node grep Taints命令查询。 内存压力：带有污点node.kubernetes.io/memorypressure。 磁盘压力：带有污点node.kubernetes.io/diskpressure。 Pid压力：带有污点node.kubernetes.io/pidpressure。 内存压力： 根据自身业务情况，调整Pod的资源配置。 磁盘压力： 定时清理节点上的业务Pod日志，防止磁盘空间被耗尽。 为节点进行磁盘扩容。 Pid压力：根据自身业务情况，调整Pod的资源配置。 发生了非预期的驱逐行为。 待运行Pod的节点被手动打上了NoExecute的污点，导致出现非预期的驱逐行为。 通过kubectl describe node grep Taints命令检查节点是否被打上了NoExecute污点。如是，请删除。 未按照预期流程执行驱逐。 podevictiontimeout：当节点宕机时间超过设置时间后，开始驱逐宕机节点上的Pod，默认为5min。 nodeevictionrate：每秒从节点上驱逐的Pod数量。默认为0.1，即每10s至多从一个节点上驱逐Pod。 secondarynodeevictionrate：第二档的节点驱逐速率。当集群中宕机节点过多时，节点驱逐速率会降低至第二档，默认值为0.01。 unhealthyzonethreshold：可用区的不健康阈值，默认为0.55，即当宕机的节点数量超过总节点数的55%时，该可用区被判定为不健康。 largeclustersizethreshold：集群的大规模阈值，默认为50，即当集群节点数量超过50时判定集群为大规模集群。 在小规格的集群（集群节点数小于等于50个节点）中，如果故障的节点大于总节点数的55%，实例的驱逐会被停止。 在大规模集群中（集群节点数大于50），如果集群中不健康的节点数量占总节点数的比例超过了预设的阈值unhealthyzonethreshold（默认为0.55），驱逐速率由secondarynodeevictionrate控制（代表每分钟驱逐节点上Pod的最大比例），默认值为0.01。 容器被驱逐后仍然频繁调度到原节点。 节点驱逐容器时会根据节点的资源使用率进行判断，而容器的调度规则是根据节点上的“资源分配量”进行判断，被驱逐的Pod有可能被再次调度到这个节点，从而出现频繁调度到原节点的现象。 根据集群节点的可分配资源检查Pod的资源Request请求配置是否合理。 Completed Completed状态下，Pod中容器的启动命令已执行完毕，容器中的所有进程均已成功退出。Completed状态通常适用于Job、Init容器等，该状态是正常状态。

本页主要介绍云容器引擎产品的API使用中password字段加密的方法。 涉及的OpenAPI包括：纳管节点 通过API创建节点时password字段需要进行加密处理，具体方法如下： Java 以下是Java环境下对密码进行加密的示例步骤： plaintext import javax.crypto.Cipher;import java.security.KeyFactory; import java.security.PublicKey; import java.security.spec.X509EncodedKeySpec; import java.util.Base64; public class PasswordEncryptDemo { public final static String publicKeyWord "MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCcX/slG/wUF6+qVw34VTW+gwFuVvHMHAPmu9jDn+jwED2A+i87CuYpvcjyYwPij41uS6SPZ/MSWDTO6f8/1YRs0Jbj1SIDNpRl/udTEbsPquFIqHSQSZsQseZS+j0HCAIwLUgMAJHW4AHw622Vgiirsm7gOY0qwnry1BmymiVXlQIDAQAB"; private static String encrypt(String password) throws Exception { Cipher cipher Cipher.getInstance("RSA"); PublicKey publicKey KeyFactory.getInstance("RSA").generatePublic(new X509EncodedKeySpec(Base64.getDecoder().decode(publicKeyWord))); cipher.init(Cipher.ENCRYPTMODE, publicKey); byte[] encrypts cipher.doFinal(password.getBytes("UTF8")); return Base64.getEncoder().encodeToString(encrypts); } public static void main(String[] args) throws Exception { String password "密码"; String encryptPassword encrypt(password); System.out.println(encryptPassword); }} GO 以下是GO环境下对密码进行加密的示例步骤： plaintext package mainimport ( "crypto/rand" "crypto/rsa" "crypto/x509" "encoding/base64" "encoding/pem" "fmt")const publicKeyword "BEGIN PUBLIC KEYnMIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCcX/slG/wUF6+qVw34VTW+gwFuVvHMHAPmu9jDn+jwED2A+i87CuYpvcjyYwPij41uS6SPZ/MSWDTO6f8/1YRs0Jbj1SIDNpRl/udTEbsPquFIqHSQSZsQseZS+j0HCAIwLUgMAJHW4AHw622Vgiirsm7gOY0qwnry1BmymiVXlQIDAQABnEND PUBLIC KEY"func Encrypt(password string) string { publicKeywordByte : []byte(publicKeyword) block, : pem.Decode(publicKeywordByte) if block nil { fmt.Println("解析pem 失败") return "" } publicKeyInterface, error : x509.ParsePKIXPublicKey(block.Bytes) if error ! nil { fmt.Println("Failed to parse public key:", error) return "" } publicKey, ok : publicKeyInterface.(rsa.PublicKey) if !ok { fmt.Println("Public key is not type rsa.publicKey") return "" } ciphertext, err : rsa.EncryptPKCS1v15(rand.Reader, publicKey, []byte(password)) if err ! nil { fmt.Println("Encryption failed:", err) return "" } return base64.StdEncoding.EncodeToString(ciphertext)}func main() { fmt.Println(Encrypt("密码"))}

本节介绍云容器引擎的最佳实践:合理分配容器资源。 CPU和内存是节点重要的资源，分配不当时可能导致容器频繁重启或者被驱赶，甚至导致节点宕机。特别是内存这类不可压缩的资源。 Kubernetes 将运行的 Pod 分为不同的 QoS 类，QoS 类由 Pod 中容器的资源请求（request）和限制（limit）决定。当 Node 资源不足时，Kubernetes 会根据 QoS 类驱逐可驱逐的 Pod。此外，Pod 或因超过限制（limit）被 kubelet 终止，或因没有限制而导致节点 OOM。 Kubernetes QoS 类有Guaranteed、Burstable、BestEffort。 Guaranteed Guaranteed Pod 具有最严格的资源限制，且最不可能被驱逐。在这些 Pod 未超过其资源的limit，或没有可从 Node 抢占的低优先级 Pod 之前，它们不会被kill。即它们只能使用其指定的资源限制。Pod 被赋予 Guaranteed QoS 类的几个判断： Pod 中的每个容器必须有 CPU 和内存的 request 和 limit 对于 Pod 中的每个容器，CPU 和内存的 limit 必须分别等于 CPU 和内存的 request Burstable Burstable Pod 具有基于请求的资源下限保证，但不需要资源限制。如果未指定资源limit，则默认为节点容量。这允许 Burstable Pod 在资源可用时灵活地增加其资源。在由于节点资源压力导致 Pod 被驱逐的情况下，Burstable Pod 只会在所有 BestEffort Pod 被驱逐后才会被驱逐。Burstable Pod 可以包括没有资源 limit 或 request 的容器，因此可以尝试使用任意数量的节点资源。 Pod 不满足 QoS 类 Guaranteed 的判定依据 Pod 中至少一个容器有CPU或内存的 request 或 limit

本节介绍接入集群如何通过IPv6接入管控实例。 操作步骤 资源准备 管控实例vpc和子网支持IPv6，参考：搭建IPv6私有网络，无需购买云主机。 创建内网ELB，参考：创建负载均衡器，网络类型选择内网。 创建管控实例并启用IPv6 1. 在分布式容器云平台控制台左侧导航栏中选择【分布式集群】>【管控实例】>【实例信息】，点击【创建管控实例】进入订购页面。 2. 在管控实例订购页面，选择在【前置步骤】中创建的支持ipv6的vpc、子网，启用ipv6, 选择创建的ELB 3. 提交订单等待管控实例创建完成 4. 在实例信息页面，启用NAT64功能 5. 查看在【前置步骤】中创建的ELB的详情，查看6443监听器的后端主机组， 确认IPV6健康检查状态正常

ECS/EBM实例要求 ECS/EBM实例需满足以下要求方可制作自定义镜像： 1. 强烈建议使用新订购的实例，以确保包含天翼云最新的补丁修复。 2. 实例计费方式支持包周期或按量付费，从成本角度推荐选用按量付费类型。 3. 创建实例时需绑定弹性IP，确保实例具备外网访问能力。 4. 云主机实例需配置可用的yum源。 自定义镜像操作步骤 以下以基于ECS创建自定义镜像为例说明自定义镜像制作流程： 1. 登录天翼云控制台。 2. 在左侧导航栏选择“弹性云主机”。 3. 在页面顶部选择目标资源所在地域。 4. 单击“创建云主机”按钮，具体操作可参考创建弹性云主机。如需创建物理机镜像，需先创建物理机，流程参考创建物理机。 5. 云主机或物理机创建完成后，登录实例并将自定义脚本上传至root目录。各操作系统对应的脚本下载路径如下： CTyunOS23.01（支持x86和arm64云主机、弹性裸金属）、CTyunOS2.0.1（支持x86和arm64云主机、弹性裸金属）、Centos7.9（仅支持x86云主机、弹性裸金属）: 下载路径： Ubuntu18.04（仅支持x86云主机）、Ubuntu20.04（仅支持x86云主机）、Ubuntu22.04（仅支持x86云主机）： 下载地址： Anolis8.4（仅支持x86云主机）: 下载地址： UnitechOSV20（支持x86和arm64云主机）: 下载地址： KylinV10SP3（支持x86和arm64云主机）: 下载地址： openEuler22.03（支持x86和arm64云主机）: 下载地址： 6. 解压脚本后进入对应目录，按需执行以下命令： 制作云主机镜像：bash startup.sh 制作云主机GPU镜像：bash startup.sh gpu 制作裸金属主机镜像：bash setup.sh baremetal 制作裸金属GPU主机镜像：bash setup.sh baremetal gpu 7. 脚本执行成功后删除脚本文件，并关机。 8. 在左侧导航栏选择“镜像服务”，单击“创建私有镜像”，选择已创建的云主机生成镜像。 注意 基于裸金属主机创建的镜像仅限同可用区（AZ）使用，不跨资源池。例如，若裸金属主机创建于华东1的AZ1，则生成的镜像也仅存在于华东1的AZ1，不会自动同步至该地域的其他可用区。如需将镜像同步至其他可用区，需提交工单处理，且同步后镜像名称保持不变。例如，AZ1中名为“Ctyun”的镜像同步到AZ2后，在AZ2中的镜像名称仍为“Ctyun” 9. 完成制作后，可在私有镜像列表查看镜像。 点击镜像名称可查看详细信息，如下图所示：

方案二：PVC挂载（每个子目录对应独立PVC） 此方案仅适用于海量文件存储，旨在帮助用户复用现有存储资源。在已有存储基础上划分多个子目录，每个子目录可作为独立PVC供工作负载使用。需先创建海量文件存储类，并选择已购买的海量文件作为底层存储分配基础. 在方案2流程选择新建的这个存储类，如下图所示： 当子目录设置为根路径 / 时，系统将自动创建一个以PV名称为命名的子目录（对用户透明）。用户可通过指定PV名称生成对应的PVC以供使用，从而节省资源开销。 若不通过控制台操作，建议参考 使用OceanFS动态存储卷（subPath模式）进行配置。

本节介绍了通过公网访问集群的用户指南。 简介 本文档介绍了如何通过公网访问云容器引擎集群。通过正确配置 Kubernetes API Server 和 Ingress 控制器，您可以安全地从公网访问集群资源。 绑定EIP 登录云容器引擎控制台，单击集群名称进入集群。 在集群信息页中，点击连接信息，点击公网访问，若未绑定eip，点击绑定eip，若未创建eip，则需先创建eip。 绑定完eip后。 在集群信息页中，点击连接信息。 点击公网访问，复制kubeconfig文件内容，将该内容复制到$HOME/.kube/config文件下： 配置 API Server 修改 API Server 配置 编辑 Kubernetes API Server 配置文件，通常位于 /etc/kubernetes/manifests/kubeapiserver.yaml。在 command 部分添加以下参数： plaintext advertiseaddress externalhostname 替换 为您的公网 IP 地址，替换 为您的公网 DNS 名称。 重启 API Server 应用配置更改后，Kubelet 会自动重新启动 API Server。您可以通过以下命令检查 API Server 是否正常运行： plaintext kubectl get pods n kubesystem 确保 kubeapiserver Pod 处于 Running 状态。 配置防火墙规则 确保防火墙允许以下端口的入站流量： 6443：Kubernetes API Server 80：HTTP 443：HTTPS 具体的防火墙配置取决于您的云提供商。 配置 Ingress 控制器

本节介绍了云容器引擎的最佳实践:集群网络地址段规划实践。 在云容器引擎创建集群时，需要根据具体业务需求规划VPC大小和数量、子网大小和数量、容器网段和服务网段。本文介绍集群各类地址作用，以及如何规划地址段。 约束与限制 使用VPN方式访问集群时，需注意VPN网络与集群所在的VPC网段、容器网段和服务网段不能冲突。 集群各网段基本概念 VPC网段 虚拟私有云（Virtual Private Cloud，VPC）是隔离的、私密的网络环境，可以自定义网络地址、路由表、安全组等。同时，虚拟私有云提供丰富的网络连接，可以满足云上虚拟私有云互访、公网访问、通过专线或者VPN与线下IDC互通等网络场景。 子网网段 云资源（例如云服务器、数据库服务等）须部署在子网内，同子网内网络默认互通，同VPC下不同子网之间默认互通。子网网段创建后无法修改，请合理规划网络。 下图所示，VPC网段结构： 容器网段（Pod网段） 订购集群时，可指定容器网段（即Pod网段）。针对选择的网络插件，容器网段有不同限制： 1、Calico IPIP隧道网络： 可指定一个私有地址段作为容器网段，该地址段仅在集群内有效。网段大小影响后续可添加节点数及可创建Pod数上线，建议使用大网段，例如172.16.0.0/16，如下所示： VPC网段 容器网段 Service网段 最大可分配Pod地址数 192.168.0.0/16 172.16.0.0/16 10.96.0.0/16 65536 容器网段不能与节点所在的VPC网段重叠。例如节点使用子网网段192.168.1.0/24，所属VPC网段为192.168.0.0/16，则不能使用与192.168.0.0/16重叠的网段作为容器网段。

2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvcoceanfssubpath 需要添加的子目录填写到这个注解中，以/开头，只允许数字、英文字母，/，，这五种字符。 如果value中只有/，不管是一个/还是多个/，都会用pv的名字替代，作为子目录名字 annotations: ccse.ctyun.cn/subPath: "/abc/edf" spec: accessModes: ReadWriteOnce resources: requests: storage: 100Gi storageClassName: cstorcsioceanfsmassivescsubpath 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "oceanfstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvcoceanfssharepath" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群。进入主菜单“工作负载”——“有状态”，在列表查看。

本节介绍了云容器引擎的最佳实践:有状态工作负载配置存储实践。 对于有状态应用实例需要持久化状态，每个实例有其独特的身份和持久化的数据存储。有状态应用的存储使用跟其他的工作负载存在差异。 使用方法 有状态应用PVC使用方法选择包括:已有存储卷申明（PVC）和存储卷申明模版（VolumeClaimTemplate）。 已有存储卷声明（PVC）方式较少使用，适用于有状态工作负载的多个副本共享同一PVC的场景。但实际需求中，要求每个副本具备独立存储的情况并不常见。 存储卷声明模板（VolumeClaimTemplate）是有状态工作负载特有的配置项。通过在该工作负载中定义模板，K8S会在创建每个副本时自动生成一个与之对应的PVC，命名规则为{存储声明模板名称}{有状态工作负载名称}{序号}。本文将重点阐述此方法。 注意 有状态工作负载删除后，其关联的PVC会保留。若用户确认不再需要，需手动删除这些PVC。（可通过启用K8S特性门控StatefulSetAutoDeletePVC为true，实现有状态工作负载删除后自动清理PVC）。 若不删除PVC，后续在同一命名空间内创建同名有状态工作负载并使用同名存储卷声明模板时，新工作负载将自动复用原有的PVC。 1. 点击“创建存储卷申明模版”. 2. 定义模版的存储申明类型、已有存储类、容量、卷模式、访问模式. 存储申明类型： 天翼云各类型的产品，用户根据需要自行选择对应的产品。 已有存储类： 用户需要提前创建好产品对应的存储类，用于动态分配。 容量： 存储容量大小 卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能 访问模式： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 3. 创建了一个有状态负载test，存储卷申明模版如下： 4. 有状态工作负载成功启动。 5. 查看pod的yaml，可以看到test1的pod，使用了disktest1这个PVC。 6. PVC列表中，两个PVC均被创建出来并且bound。

照通过kubectl命令行使用云盘快照 1、创建快照类（VolumeSnapshotClass） 使用kubectl连接集群，创建示例yaml文件vscexample.yaml： plaintext apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshotClass metadata: name: {名称} annotations: snapshot.storage.kubernetes.io/isdefaultclass: "false" 是否默认存储类 driver: disk.csi.cstor.com parameters: snapshotType: "STANDARD" 快照类型有STANDARD和FAST两种 快照存储库名字，当snapshotType为STANDARD时必填，当为FAST时无需填写 snapshotRepository: {仓库名} deletionPolicy: {删除策略} 执行以下命令，创建VolumeSnapshotClass： plaintext kubectl apply f vscexample.yaml 查看创建的VolumeSnapshotClass： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“快照与备份”，在快照类列表查看。 2、创建快照（VolumeSnapshot） 使用kubectl连接集群，创建示例yaml文件vsexample.yaml： plaintext apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: {名称} namespace: {命名空间} spec: volumeSnapshotClassName: {快照类} source: persistentVolumeClaimName: {PVCname} 执行以下命令，创建VolumeSnapshot： plaintext kubectl apply f vsexample.yaml 查看创建的快照： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“快照与备份”，在快照列表查看。 3、基于快照创建PVC 使用kubectl连接集群，创建示例yaml文件pvcvsexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {名称} namespace: {命名空间} spec: storageClassName: {存储类名称} dataSource: name: {VolumeSnapshot名称} kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io accessModes: {访问模式} resources: requests: storage: {容量} volumeMode: {卷模式} 执行以下命令，创建PVC： plaintext kubectl apply f pvcvsexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“持久卷声明”，在列表查看。