本节介绍网络的用户指南:通过Annotation配置负载均衡类型的服务。 通过在Service的Yaml文件中配置注解Annotation，您可以对天翼云负载均衡、监听转发等进行配置，本文介绍负载均衡类型Service支持配置的Annotation。 注解说明 注解名称 描述 示例 支持的CCM版本 service.beta.kubernetes.io/ctyunloadbalancerid 指定已有负载均衡，取值为负载均衡实例的ID。删除service时该 ELB不会被删除 lb v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerspec 指定新建负载均衡的规格，如elb.s2.small elb.s2.small v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalanceraddresstype 指定新建负载均衡的公网私网类型，取值： intranet：负载均衡地址类型为私网，intranet为默认值 internet：负载均衡地址类型为公网 internet v1.0.1及以上 service.beta.kubernetes.io/ctyunloadbalancerprotocolport 指定负载均衡监听HTTP协议或HTTPS协议，可指定多个监听，多个监听之间以逗号“,”分割 https:443,http:80 v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancersslcert 指定SSL证书，取值为SSL证书ID，可在负载均衡控制台的证书管理页面查看证书ID。 仅监听协议为HTTPS协议时需要指定 cert v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerxforwardedfor 指定负载均衡监听器附加XForwardedFor头字段，通过开启该参数，后端服务可获取客户端源IP。取值为“true”或“false” 仅支持监听协议为HTTP和HTTPS协议 "true" v1.0.4及以上 service.beta.kubernetes.io/ctyunloadbalancerchargetype 指定创建公网负载均衡时，公网的计费类型，取值： bandwidth：按带宽计费 traffic：按流量计费，traffic为默认值 traffic v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerbandwidth 计费类型为“bandwidth”时，可指定带宽的大小，值为数字类型，默认为1 Mbps 5 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancercyclecount 指定负载均衡的计费周期，值为数字类型，表示购买月数，默认为1个月 1 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancereipid 指定新建公网负载均衡时，可指定绑定已有的弹性IP，取值为弹性IP的ID，可在网络控制台的弹性IP详情页面查看ID eip v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerprojectid 指定新建负载均衡所属的企业项目，取值为企业项目ID，可在IAM控制台中企业项目详情查看ID 0 v1.0.5及以上 service.beta.kubernetes.io/ctyunloadbalancerenableipv6 指定新建负载均衡时，可指定开启负载均衡的ipv6 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6bandwidthid 指定新建支持ipv6的公网负载均衡时，需指定IPv6带宽ID，可在网络控制台的IPv6带宽详情页面查看ID。如果没有IPv6带宽，请先创建一个 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerenablelistenernat64 指定支持ipv6的负载均衡时，可指定开启监听器的nat64，支持负载均衡将ipv6流量转发到ipv4的后端 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceripv6address 指定新建支持ipv6的负载均衡时，可指定负载均衡的ipv6地址（该地址为负载均衡所在子网的ipv6地址段中未被分配的ip），未指定则由系统随机分配 v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalanceroverridelisteners 指定已有负载均衡时，可指定是否强制覆盖已有监听 "true" v1.0.7及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckflag 健康检查开关，取值off或on。off：不启用；on：启用 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption 配置全局健康检查的选项，对service下所有端口配置起作用。内容为json类型数据，数据结构见下表“健康检查字段数据结构说明” 注意 使用该字段，需确保service下端口配置的protocol协议一致 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoptions 配置健康检查的选项，支持为service下单个端口或部分端口配置健康检查。内容为数组形式的json数据，数据结构参考表“健康检查字段数据结构说明” 注意 该字段不能与“service.beta.kubernetes.io/ctyunloadbalancerhealthcheckoption”同时使用 v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclflag 指定访问控制的类型，取值： inherit：继承已有ELB配置； all：允许所有IP访问； white：白名单； black：黑名单 white v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclstatus 访问控制开关，值为on或off，只有为on时，黑/白名单才会生效 on v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceraclid 指定访问策略组的ID，可在负载均衡控制台的访问策略组页面查看策略ID ac v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerestablishtimeout 指定建立连接超时时间，只用于TCP监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalanceridletimeout 指定空闲超时时间，只作用于HTTP/HTTPS监听 "30" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerresponsetimeout 指定响应超时时间，只作用于HTTP/HTTPS监听 "5" v1.0.8及以上 service.beta.kubernetes.io/ctyunloadbalancerproxyprotocolflag 指定是否开启后端主机组的Proxy Protocol，ProxyProtocol协议会携带客户端源地址到后端服务器。取值： on：开启 off：关闭 注意 该功能不支持在线平滑开启，切换到ProxyProtocol需要业务停服升级，请谨慎配置。 on v1.1.1及以上 service.beta.kubernetes.io/ctyunloadbalanceripmode 指定Service的External IP模式，值为 vip 或 proxy vip：集群内访问Service不会经过ELB，直接经由ipvs/iptables转发到Service对应的后端Pod proxy：集群内访问Service会先经过ELB，最终再转发到对应后端Pod 注意 该特性要求Kubernetes集群版本大于v1.29 proxy v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalanceriptype 指定Service的External IP地址类型，值为 private 或 public private：设置ELB的私网IP为Service的External IP public：设置ELB的公网IP为Service的External IP public v1.2.0及以上 service.beta.kubernetes.io/ctyunloadbalancerpreservesourceip 指定是否开启客户端源地址保持，值为 true 或 false true：开启 false：关闭 注意 客户端源地址保持要求Service的ExternalTrafficPolicy必须为Local。开启该特性，需确保集群节点的弹性网卡对应的安全组已放通客户端源IP，避免影响网络连通 true v1.5.0及以上

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 计费模式 可以选择按需计费或者包年包月 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 参数 存储类型：参数键为type，支持参数值如下： massive ：容量型 可用区：选择随机，或者指定具体的某个可用区。建议与存储产品确认，哪些可用区有对应的云硬盘类型，再进行选择。 存储标签：创建存储资源时，给存储资源添加对应的标签，注意，该标签不是K8S的label，而是存储侧的资源标签，需要在存储控制台或者云资源视图查看。

通过kubectl命令行使用海量文件静态存储卷 注意 1. 以下配置仅支持CSI版本4.0及其以上，您可以先在插件市场对CSI插件升级，再按照以下配置编写yaml。 2. 以下参数为建议配置，您可在存储产品的支持范围内，根据自身实际情况进行调整。 3. 部分参数由于不常用，示例中以 开头，未放开该参数，如有需求，请您根据实际需求使用。 4. 部分 开头的中文内容为内容解释，并非参数。 1、创建持久卷（PV） 使用kubectl连接集群，创建示例yaml文件pvexample.yaml： plaintext apiVersion: v1 kind: PersistentVolume metadata: name: pvcoceanfstest01 pv的名字，以“pvc”开头，然后记下后缀名，也就是oceanfstest01。 spec: accessModes: ReadWriteOnce capacity: storage: 11Gi 填写存储大小，按照。单位有Mi、Gi、Ti、Pi csi: driver: oceanfs.csi.cstor.com fsType: ext4 volumeAttributes: ccse.ctyun.cn/subPath: /opq/ 子目录，必须以/开头，必须填写子目录的路径 driverType: oceanfs.csi.cstor.com mode: subPath oceanfsUUID: 8c200b3d52f151e9ab409d6bb3e7b65f 填写从存储控制台上取得的海量文件ID protocol: nfs recyclePolicy: DeleteSubPath sharePath: 100.123.136.193:/mnt/sfsmass/dbb34d3272a808e47705f6e16d471949myuk8pv6kkm1pefa/opq/

使用海量文件静态存储卷，即使用预先在海量文件服务控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载海量文件。 该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 sharePath模式是指将完整的海量文件存储作为持久卷使用。当用户挂载持久卷声明时，海量文件的根目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 已在海量文件服务控制台创建文件系统 已建文件系统VPC需要包括容器集群所属VPC，如没有，在文件系统列表页，针对指定实例点击“添加VPC” 使用限制 参见海量文件使用限制 通过控制台使用海量文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 海量文件名称 选择已创建的文件系统。 已有存储类 选择存储类，该功能一般在静态的方式下不怎么使用。 除非用户有一个持久卷申明并且携带了存储类，那么这里才需要添加存储类，使其与持久卷申明匹配。 模式 使用已有海量文件：基于已经存在的海量文件，使用海量文件本身作为一个持久卷。 使用海量文件子目录：基于某个已经存在的海量文件，使用它的子目录作为一个持久卷。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 说明 静态导入场景下，回收策略均为默认Retain，cstorcsi不会删除数据。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

本节介绍网络的用户指南:DNS策略。 DNS策略概述 可以为Pod设置DNS解析策略，目前Kubernetes支持Default、ClusterFirst、ClusterFirstWithHostNet和None四种DNS策略，可通过Pod的dnsPolicy字段指定： ClusterFirst：是Pod的默认DNS策略，任何与集群域后缀不匹配的DNS查询均会转发到上游DNS服务器。上游DNS服务器默认取自节点的resolv.conf，集群管理员可配置了额外的存根域和上游DNS服务； Default：此策略下，名称解析配置将从Pod所在节点继承，自定义存根域和上游域名服务不能够与该策略一起使用； ClusterFirstWithHostNet：使用hostNetwork的Pod需指定为ClusterFirstWithHostNet，否则其默认的ClusterFirst策略会退化为Default； None：使用此策略的Pod，其DNS配置取自Pod的dnsConfig定义。 DNS策略配置示例 根据不同使用场景，DNS策略配置示例如下： 使用容器集群提供的CoreDNS来做域名解析 针对这种场景，可使用ClusterFirst策略，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo dnsPolicy: ClusterFirst Pod层面自定义DNS配置 若需要给工作负载指定DNS配置时，可使用None策略，并配置dnsConfig，示例配置如下： apiVersion: v1 kind: Pod metadata: name: nginxdemo namespace: default spec: containers: image: registryvpcgzsyj.crs.ctyun.cn:30015/library/nginxphoton:v1.8.6 name: demo dnsPolicy: None dnsConfig: nameservers: ["169.254.xx.xx"] searches: default.svc.cluster.local svc.cluster.local cluster.local options: name: ndots value: "2" 其中，dnsConfig中的参数说明如下： 参数 描述 nameservers 将用作Pod的DNS服务IP地址列表，最多可以指定3个地址。当Pod的dnsPolicy设置为None时，列表必须至少包含一个IP地址。列出的DNS的IP列表将合并到基于dnsPolicy生成的域名解析文件的nameserver字段中，并删除重复的地址。 searches Pod中主机名查找的DNS搜索域列表，此属性是可选的。指定后，提供的列表将合并到从所选DNS策略生成的基本搜索域名中，并删除重复的域名。Kubernetes最多允许6个搜索域。 options 可选的对象列表，其中每个对象可以具有name属性（必需）和value属性（可选）。此属性中的内容将合并到从指定的DNS策略生成的选项中，并删除重复的条目。

操作系统 已知缺陷 原因 解决方法 Centos7.9 运行时为containerd时，偶尔可见pod长期处于Terminating状态，无法正常终止 使用的3.10.01160内核版本缺陷所致 echo fs.maydetachmounts1 >> /etc/sysctl.conf sysctl p Centos7.9 os在cpu/内存资源富裕的情况下无法派生线程/协程 低版本内核的os kernel.pidmax使用了较小的默认值32768 echo kernel.pidmax4194304 >> /etc/sysctl.conf sysctl p Ubuntu 18.04 os在cpu/内存资源富裕的情况下无法派生线程/协程 低版本内核的os kernel.pidmax使用了较小的默认值32768 echo kernel.pidmax4194304 >> /etc/sysctl.conf sysctl p

本节介绍网络的用户指南:NGINX Ingress Controller。 NGINX Ingress Controller是一种常见的Ingress Controller实现，它利用NGINX的高级性能和灵活性来处理服务的路由和负载均衡。当一个Ingress资源在Kubernetes集群中被创建或更新时，Ingress Controller会检测到这些变化。然后，它会根据Ingress资源定义的规则，自动生成对应的NGINX配置，以实现请求的路由和负载均衡。 NGINX配置包括如何处理进入的网络请求（例如，基于主机名或URL路径进行路由），以及如何将请求路由到后端的服务实例。NGINX Ingress Controller会定期检查Ingress资源的变化，如果检测到任何更改，它会自动更新NGINX配置以反映这些更改。此外，NGINX Ingress Controller还支持一些高级特性，如SSL终止、WebSocket、HTTP/2和更复杂的负载均衡算法。这些特性都可以通过Kubernetes Ingress资源的注解来配置。 Nginx Ingress Controller通过Pod部署在工作节点，因此引入了相应的组件运行和运维成本，其工作原理如图所示： 注意 1、用户提交Ingress资源后，Nginx Ingress Controller会获取该资源并解析为转发规则，写入Nginx的配置文件（nginx.conf）； 2、触发Nginx进行reload，以加载更新后的配置文件，完成Nginx转发规则的修改和更新； 3、集群外客户端可通过控制节点IP或VIP（若存在）访问Nginx，Nginx组件根据转发规则将其转发至对应的服务Service，最终转发到对应的后端Pod。

步骤二：购买弹性IP 步骤三：购买NAT网关及配置路由 参考：点这里 步骤四：配置SNAT规则 进入上一步创建的NAT网关； 选择“添加SNAT”规则； “源网段类型”选择VPC内子网； 子网选择步骤一中确定的子网网段； 弹性ip选择步骤二中新建的弹性ip； 点击“确定”，完成SNAT规则添加。 步骤五：进入指定pod，测试连通性 在步骤一的pod列表中，选择pod，进行“远程登录”： 在命令窗口，执行“ping www.ctyun.com” 能ping通，说明pod内服务可以访问公网。

操作步骤 1.检查待纳管的云主机是否具备独立数据盘，且首块数据盘未被分区或格式化。独立数据盘非强制要求，但若缺失，容器数据将默认存储于系统盘。 2.若首块数据盘已被分区或格式化，可先备份数据，再使用以下命令擦除磁盘： plaintext wipefs a 3.登录云容器引擎控制台，进入要纳管节点的集。 4.在集群控制台左侧导航栏中选择“节点 ”，切换至“节点”页签并点击“纳管节点”。 5.点击选择“已有的服务器 ”，选择待纳管的云服务器，点击"确定"。 6. 选择“操作系统 ”，填写“登录密码 ”以及“确认密码 ”，再根据需要填写高级配置：节点标签 、节点污点 、部署前/后执行脚本. 7. 单击“下一步 ”，并单击“提交”。 重复纳管 出于数据安全考虑，节点纳管时会跳过已格式化或分区的磁盘。当对主机执行"纳管移除再次纳管"操作时，容器数据将直接存储于系统盘，而非数据盘。 可通过以下步骤使容器数据落于数据盘。 1.登录云主机控制台访问云主机。 2.定位云容器引擎使用的数据盘： 若主机仅有一块数据盘，直接执行步骤3。 若有多块磁盘，容器引擎一般会选择位于系统盘之上（即倒数第二块）的磁盘作为容器数据盘，或通过磁盘类型、容量信息定位磁盘的盘符。 云盘列表中显示的是云盘的名称和id，云盘挂载到os时会自动分配磁盘设备名称，可以使用云盘id前缀查找到云盘的设备名称。 登录到操作系统，可通过如下指令查到云盘在os中的设备名称。 3.检查云盘是否已经被格式化。 可以使用步骤2找到的磁盘设备名称，使用blkid指令检查结果。 plaintext blkid grep nvme1n1 若发现磁盘已经被格式化，则执行wipefs a指令擦除。 4.在云容器引擎控制台执行节点纳管操作。

本节介绍了云容器引擎的最佳实践;Service实现灰度发布和蓝绿发布 实现云容器引擎的灰度发布，常规做法需要在集群中部署如Nginx Ingress或Traefik这样的开源工具，或者依赖服务网格的功能。这些方案在操作上可能较为复杂，对于只需简单灰度发布且不希望引入过多额外插件或复杂流程的用户来说，可以考虑利用Kubernetes自带的特性来达成目标。这样，我们不仅能实现简单的灰度发布和蓝绿发布，还能保持系统的简洁和高效。 原理介绍 用户在进行业务部署时，通常会选择利用Kubernetes中的无状态负载Deployment和有状态负载StatefulSet等对象，这些对象各自负责管理一组Pod。以Deployment为例，示意图如下： 在Kubernetes中，为了使得工作负载能够被外部访问，用户通常会为每个工作负载创建一个对应的Service。这个Service通过selector机制来匹配后端Pod，从而建立起访问路径。无论是集群内部的其他服务还是集群外部的客户端，只需访问这个Service，就能间接访问到后端Pod所提供的服务。若希望将服务对外暴露，用户只需将Service的类型设置为LoadBalancer，此时，一个弹性负载均衡器（ELB）将作为流量入口，负责将外部请求转发到后端Pod。 灰度发布原理 以Deployment为例，按照上述的方式每个Deployment创建一个Service，Service通过selector匹配后端Pod，通过Service最终访问到业务Pod。使不同Deployment的Pod被同一Service的selector选中，即表示同一Service可以访问不同Deployement的Pod。调整不同版本Deployment的副本数，即可调整路由到不同版本负载的流量比例，实现灰度发布。示意图如下：

本节介绍云容器引擎的最佳实践:使用hostAliases配置Pod /etc/hosts。 使用场景 DNS配置不满足要求时，可以通过配置 hostAliases 向pod的“/etc/hosts”文件中添加域名解析条目。 操作步骤 进入云容器引擎集群控制台 选择工作负载>无状态>创建Deployment 点击高级配置，设置主机别名配置 远程登录pod查看配置的 hostAliases 是否正常，执行如下命令：

本节介绍了云容器引擎的计费类常见问题。 容器计费项和计费方式是什么？ 支持包年包月和按需计费2种方式，详情可查：点这里 容器如何定价？ 收费项包括：集群管理费、IaaS资源费等, 详情可查：点这里 容器创建的节点是否支持按需转包周期？ 目前不支持按需与包周期互转。 如何为购买的容器实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长容器实例的有效期，也可以设置到期自动续费的相关操作。 开通的容器实例资源何时生效？ 天翼云容器资源在客户支付成功之后，系统经过初始化完成后即可生效使用。 包周期集群到期可以直接删除吗？ 按天翼云规则，到期实例有15天冻结期，期间用户可以发起续订，集群实例会恢复。超过15天冻结期，实例会注销。 如何退订我的容器集群？ 进入控制台，从集群管理列表，可以发起退订。详细可查看：删除集群

预置角色 集群内RBAC权限 管理员 对集群所有命名空间下 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的读写权限 运维人员 对集群所有命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的只读权限 开发人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限 受限人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 只读权限 自定义 权限由您所选择的 ClusterRole 决定，请在确定所选 ClusterRole 对各类资源的操作权限后再进行授权，以免子账号获得不符合预期的权限

本节介绍云容器引擎的最佳实践:获取容器Core Dump。 应用场景 Core Dump是指当一个程序发生严重错误导致异常终止时，操作系统将该程序当前的内存状态以及其他相关信息保存到一个特殊的文件中，这个文件通常称为 core 文件或核心转储文件。core文件包含了程序在崩溃时的内存映像、CPU 寄存器状态、堆栈信息等，可以用于分析程序异常终止的原因。 在容器环境中，Core Dump的处理与传统的物理机环境略有不同，因为容器本身是在宿主机上运行的，因此需要一些特殊的配置才能捕获容器内发生的核心转储。本节介绍容器中core文件的一般处理流程和相关概念。 将Core Dump文件输出到主机目录 开启节点Core Dump 设置Core Dump文件的输出路径 echo "/tmp/cores/core.%t.%e.%p" > /proc/sys/kernel/corepattern 上述文件路径中： %t：表示coredump的时间。 %e：表示程序文件名。 %p：表示进程ID。 将Core Dump的输出路径修改为/tmp/cores，后续容器中的应用程序Core Dump文件也将输出到容器的/tmp/cores文件，因为在容器中读取的 /proc/sys/kernel/corepattern文件实质上就是主机的 /proc/sys/kernel/corepattern文件。 配置容器Core Dump和验证 通过kubectl或者控制台完成如下配置： apiVersion: v1 kind: Pod metadata: name: corevolume spec: volumes: name: coredumppath hostPath: 通过hostPath将容器Core Dump持久化在主机 path: /home/coredump containers: name: ubuntu image: ubuntu:12.04 command: ["/bin/sleep","3600"] volumeMounts: mountPath: /tmp/cores name: coredumppath 用上述方式创建Pod并进入，触发当前shell终端的段错误。 $ kubectl get pod NAME READY STATUS RESTARTS AGE corevolume 1/1 Running 0 55s $ kubectl exec it corevolume /bin/bash root@corevolume:/ kill s SIGSEGV $$ 在容器实际运行的主机上查看/home/coredump目录会生成core文件。 ls /home/coredump core.1738160312.corevolume.15

其中第一个标签key为ccse，value为plugin，另外一个标签key为cstorcsiprovison，value为yes 注意，此标签为存储侧的标签，并非容器侧的标签，最终只会在存储控制台展示。 tags: "ccse:plugin,cstorcsiprovison:yes" reclaimPolicy: Delete allowVolumeExpansion: true mountOptions: discard 执行以下命令，创建StorageClass plaintext kubectl apply f scexample.yaml 查看创建的StorageClass： 操作步骤: 登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“存储类”，在存储类列表查看。 2、创建持久卷声明（PVC） 使用kubectl连接集群，创建示例yaml文件pvcexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: cstorpvcdisk spec: 访问模式 accessModes: ReadWriteOnce resources: requests: storage: 10Gi storageClassName: cstorcsidisksassc 执行以下命令，创建PVC plaintext kubectl apply f pvcexample.yaml 查看创建的PVC： 操作步骤: 登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“存储”——“持久卷声明”，在列表查看。 3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "teststs" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: "cstorpvcdisk" updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载： 操作步骤: 登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“工作负载”——“有状态”，在列表查看。

类型 字段 说明 PV 访问模式 定义 PV 的访问模式，包括： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 PV 回收策略 PV对象的回收策略表示当PVC释放时如何处理该数据卷。 回收策略包括： Retained（保留）：用户需手动回收存储资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。注意，用户如果手动删除PV，而不是由CSI自动删除，并不会导致后端存储资源被删除，设置为“删除”策略时，强烈建议用户勿手动删除PV。 PV 容量 定义 PV 的容量大小。 PV 卷模式 Kubernetes 支持两种卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能。 PV 挂载选项 可以指定持久卷被挂载到节点上时使用的附加挂载选项。Kubernetes 不对挂载选项执行合法性检查。如果挂载选项是非法的，挂载就会失败。 说明 并非所有持久卷类型都支持挂载选项。 PV 标签 标签（labels）是用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 PVC 访问模式 PVC（PersistentVolumeClaim）可以指定对持久化存储的访问模式需求。 在绑定 PV 时，系统将尝试找到访问模式满足 PVC 需求的PV，否则PVC 将无法绑定到 PV。 PVC 卷模式 Kubernetes 支持两种卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 PVC 表示PVC指定的容量。 说明 当 PVC 与 已有PV 绑定时，PV 的容量必须大于或等于 PVC 所需的容量。否则，PV 将无法满足 PVC 的需求，绑定将失败。 PVC 存储类 可以通过为 storageClassName 属性设置 StorageClass 的名称来请求特定的存储类。 只有所请求的类的 PV 卷，即 storageClassName 值与 PVC 设置相同的 PV 卷， 才能与该PVC绑定。

本节介绍了:CSI的常见问题。 存储FAQCSI 本文主要介绍天翼云存储插件cstorcsi，其安装及使用过程中常见的问题及分析流程。 安装失败 失败原因查看 在“插件”——“插件市场”——选择“cstorcsi”插件安装，完成相关参数配置后点击“安装”；安装详情可以在“插件”——“插件实例”中看到cstorcsi实例，在状态栏查看实例运行状态，如果实例安装失败，可以通过查看状态栏的日志获取部署失败详情。 常见问题 查阅日志报 “no matches for kind “PodSecurityPolicy” in version“policy/v1beta1” 该报错见于在kubernetes v1.25集群上安装cstorcsi v3.1.0版本报错，报错原因是cstorcsi插件安装会部署PodSecurityPolicy资源，但该资源在k8s v1.25中被移除。该问题解决方案为： 1、将cstorcsi升级至3.2.0，按原参数安装即可； 2、如不希望进行组件升级，可以将cstorcsi v3.1.0 value.yaml中，将参数podSecurityPolicy.enabled配置为false，卸载后重新安装即可。 使用cstorcsi创建存储卷错误 通用分析流程 1、在“插件”——“插件实例”查看cstorcsi实例，运行是否异常； 2、进入“工作负载”——“无状态”，切换命名空间为“cstor”，查看名称为“cstorcsiprovisioner”的pod日志，切换容器名称为“csiprovisioner”和“cstorcsiplugin”，查看是否有错误日志输出。 常见问题 1、Can not get AK 该报错是由于cstorcsi安装过程中，未进行AK、SK配置。解决方案为：在”账号中心”——”安全设置”——”用户AccessKey”中查看AK、SK。 卸载cstorcsi后，选择重新安装该插件，在安装配置窗口中根据获得的 AK、SK值，分别填入AuthConfig.AK和AuthConfig.SK字段中，点击安装即可完成插件部署。 2、用户不允许订购按需类订单。 该报错是由于cstorcsi插件开通的云硬盘为按需付费方式，需要账户余额在100元以上才可正常开通。 解决方案：请检查天翼云“账户余额”是否在100元以上。 2、can not support RWX in filesystem mode for disk 当使用cstorcsi安装生成的storageclass，创建持久卷声明（PVC）。正常情况下，创建持久卷声明后，在“存储”——”持久卷”，列表栏会看到相应持久卷（PV）创建，并且状态为“已绑定”。 如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为 can not support RWX in filesystem mode for disk，表示当前创建的持久卷声明，不支持访问模式为多机读写。 目前，cstorcsi插件安装，默认创建的云硬盘类型的storageclass，其访问模式与是否是共享盘有关，只有在使用共享盘的情况下，支持多机读写，其他情况仅支持单机读写。 解决方案：修改持久卷声明访问模式为“单机读写”。 3、failed to create disk volume, message: disk size should be in range [10G ,32T] 目前，当使用cstorcsi插件安装的storageclass，云硬盘类型要求容量为 [10G ,32T]，文件存储要求容量500G以上。如果创建持久卷声明后，未发现相应持久卷创建，查看cstorcsiplugin日志输出为： failed to create disk volume, message: disk size should be in range [10G ,32T]，表示当前创建的存储卷声明，其容量需要调整为合理范围大小。

2、创建持久卷声明（PVC） 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”； 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下： 配置项 说明 名称 PVC的名称。 存储声明类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择云盘。 具体创建页中展示的存储类型由当前资源池支持情况决定。 是否指定存储类 在静态创建的场景下，除非持久卷指定了存储类，否则不需要指定存储类。 是否指定存储卷 在静态创建的场景下，需要指定上一步的存储卷。 持久卷名称 选择上一步创建的PV名称。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。 进入持久卷声明列表页，等待PVC状态为“已绑定” 。 3、创建工作负载 1. 登录“云容器引擎”管理控制台； 2. 在集群列表页点击进入指定集群； 3. 进入主菜单“工作负载”——“有状态”，单击左上角“创建StatefulSet”； 4. 在创建对话框，数据存储栏中，选择添加存储卷，卷类型选择“已有存储卷申明（PVC）”，操作栏选择“选择已有存储申明”；根据自己需要设置挂载路径、子路径和权限， 参数说明： 挂载路径：存储挂载到容器后，容器内部显示的路径地址。不建议使用类似于/usr或者/tmp类似的已有的容器目录路径，可能会造成目录相互遮蔽。 子路径：需要挂载的存储源地址的子目录 权限：读写/只读 示例：将PVC“disk”对应存储的subpath指向的子目录（subpath为空表示使用根目录），挂载到容器里的/test路径上。 5. 所有的信息都配置完成后，单击“提交”，创建成功后，您就可以正常使用数据卷。

本节介绍了自定义资源的用户指南。 基本概念 Kubernetes集群支持通过自定义资源定义（Custom Resource Definition）扩展Kubernetes API，并允许您添加自定义资源（Custom Resources）。您可以查看集群中的所有API组和其包含的资源类型，查看各个资源类型的对象列表并进行管理操作。 操作场景 针对自定义资源定义及自定义资源的管理。 前提条件或限制 暂时不支持创建自定义资源。 操作步骤及说明 登录容器服务管理控制台。 在控制台左侧导航栏中，单击集群。 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情。 在集群管理页面左侧导航栏中，选择工作负载 > 自定义资源。 对象浏览器左侧列出了集群支持的全部API组。您可以点击API组的名称展开查看组内包含的资源类型，也可以通过上方的搜索框，使用关键词搜索全部资源类型浏览资源对象。 在左侧API列表中选择一个资源类型，即可浏览对应的资源对象。您可以对资源对象进行YAML编辑和删除操作。

验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccetmp/test.log，预期结果如下： plaintext Hello World 登录“天翼云对象存储”管理控制台，根据PV名称查看bucket，进入bucket——文件管理，可以看到在容器内创建的文件： 下载文件并查看内容，预期结果与容器内写入数据一致。 以上步骤说明，pod删除重建后，重新挂载对象存储卷，数据仍然存在；从对象存储下载数据并与写入数据一致， 说明对象存储中的数据可持久化保存。

操作步骤：为单个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择 服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户 > 查看 > 权限管理 > 新增权限 为用户授予IAM权限。 4、云容器引擎预定义了系统策略，直接选择并点击下一步及确定。 操作步骤：为多个子账号授权或调整子账号权限。 1、使用云服务账号登录管理控制台。 2、在顶部导航栏选择服务列表>管理与部署>统一身份认证服务，进入统一身份认证服务管理控制台。 3、点击 用户组 > 创建用户组 创建用户组。 4、点击 用户组管理 将需要授权的子用户加到用户组。 5、点击 授权 为用户组授予IAM权限。 6、容器引擎预定义了系统策略，直接选择并点击下一步及确定。 RBAC授权指引 前提条件：已创建容器集群，具体操作请参见 用户指南 > 集群管理 > 新建集群 章节。若已有容器集群，无需重复操作。

字段 描述 使用率 实际使⽤的物理资源⽐例 使用量 实际使⽤的物理资源 总量 总的物理资源 分配率 当前request的使⽤率 分配量 当前request的使⽤量

参数 SFS Turbo标准型 SFS Turbo性能型 最大带宽 1.5GB/s 2GB/s 最高IOPS 5000 30000 时延 1~10ms 1ms 最大容量 500GB~32TB 500GB~32TB 优势 大容量、低时延 大容量、高带宽、低成本 应用场景 适用于大容量、低时延的业务，如代码存储、日志存储、Web服务、虚拟桌面等 适用于海量小文件、随机IO密集型以及时延敏感型业务，如高性能计算、文件共享、内容管理等

配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件和海量文件，这里选择对象存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。

本节介绍了插件概述的用户指南。 云容器引擎提供了多种类型的插件，方便用户选择性地安装，满足集群特定的功能需求。类型包括核心组件、应用管理、日志与监控、存储、网络等等。 插件举例： 插件名称 插件类型 插件简介 ccseschedulerplugins 核心组件 自定义调度插件：基于当前集群节点上cpu和内存真实可用的资源进行调度 cubems 应用管理 cubems可以让部署在CCSE Kubernetes集群中的Java应用接入MSE、ARMS。 ccsemonitor 日志与监控 CCSE监控插件，为 CCSE 提供指标的观测能力 ctglogoperator 日志与监控 天翼云自研基于CCSE的一站式日志插件，为CCSE提供的日志采集、存储、检索能力，具有日志数据集中存储，高效压缩，秒级检索等特性。

本节介绍了安全管理角色的用户指南。 操作场景 基于角色（Role）的访问控制（RBAC）是一种基于组织中用户的角色来调节控制对计算机或网络资源的访问的方法。 RBAC 的 Role 或 ClusterRole 中包含一组代表相关权限的规则。 这些权限是纯粹累加的（不存在拒绝某操作的规则）。 Role 总是用来在某个名字空间内设置访问权限； 在你创建 Role 时，你必须指定该 Role 所属的名字空间。与之相对，ClusterRole 则是一个集群作用域的资源。这两种资源的名字不同（Role 和 ClusterRole）是因为 Kubernetes 对象要么是名字空间作用域的，要么是集群作用域的，不可两者兼具。 前提条件 已创建云容器引擎集群，具体操作请参见创建一个集群。若已有容器集群，无需重复操作。 操作步骤 创建Role或Cluster Role 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要创建Role的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择安全管理 > 角色，进入角色信息页面。 4. 在上⽅选项卡中选择Role或Cluster Role创建对应的角色，本文以Cluster Role为例。 5. 点击创建进入创建YAML页面，Yaml编辑窗口提供⼀个默认的Cluster Role Yaml模板，可参考模板创建需要的Cluster Role。

删除模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，选择具体的模板包。 步骤 3，在模板版本列表中选择具体的模板包版本，并点击“删除”按钮，也可以勾选多个版本，点击“批量删除”按钮 步骤 4，在弹窗中点击“确认”按钮。

Pod主机名设置 如果我们想要固定容器的hostname，那么可以设置Pod主机名 设置了Pod主机名后，这个Pod里的所有容器的hostname都会变成我们设定的这个值 通过在master节点上执行命令kubectl exec hostname可以查看容器的hostname 主机网络 选择使用主机网络，那么pod中运行的应用程序可以直接看到宿主主机的网络接口 使用主机网络，Pod IP和节点IP将会一样 。 如果不加上dnsPolicy:ClusterFirstWithHostNet ，pod默认使用所在宿主主机使用的DNS，这样也会导致容器内不能通过service name 访问k8s集群中其他POD。 一般情况下，请在使用主机网络之前优先考虑使用NodePort。 升级方式与升级策略 快速升级：选择快速升级时，每次全量替换升级Deployment的时候，会删除所有已存在的pod，重新创建新的； 滚动升级：选择滚动升级时，每次全量替换升级Deployment的时候，会采取逐步替换的策略，等新创建出来的Pod处于running状态之后才会销毁旧的Pod，参数详解： maxSurge：升级过程中最多可以比原先设置多出的POD数量，如maxSurage1，replicas5，则表示k8s会先启动1一个新的Pod后才删掉一个旧的POD，整个升级过程中最多会有5+1个POD maxUnavaible: 升级过程中最多有多少个POD处于无法提供服务的状态，当maxSurge不为0时，该值也不能为0，例如：maxUnavaible1，则表示Deployment整个升级过程中最多会有1个POD处于无法服务的状态

本节介绍了模板实例的用户指南。 操作场景 模板实例展示的是用户已经模板的插件，用户可以在此界面中完成模板的更新、升级、删除等操作。 前提条件 在维护模板实例前，您需要存在一个可用集群。 在维护模板实例前，您需要先发布模板。 操作步骤 更新模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“更新”按钮。 步骤 4，在弹窗中编辑“values”内容，点击“确认”按钮完成更新。 升级模板 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板实例”。 步骤 3，在模板实例列表页中选择具体的模板实例，点击“升级”按钮。 步骤 4，在升级界面中“选择Chart版本”，选择是否“使用原来的参数”，在弹窗中编辑“values”内容（可选），点击“确认”按钮完成升级。

本节介绍了云容器引擎概览的入门指引。 操作场景 概览用于查看用户整体的集群和节点情况。集群部分展示资源使用情况、组件状态、节点状态、资源对象数量和异常Pod。 前提条件 登录云容器引擎控制台。你需要开通集群后才能在概览界面看到相应的数据。若没有集群，请参考：订购集群 进行创建。 集群的CPU使用率、内存使用率、磁盘使用率、Pod使用率需安装监控插件才能呈现。若要安装监控插件，请参考：插件市场 安装插件的内容进行安装，也可以在概览界面上进行快捷安装。 操作步骤 通过切换集群可以展示不同集群的资源使用情况、组件状态、节点状态、资源对象数量和异常Pod。

本节介绍了插件市场的用户指南。 操作场景 插件市场展示的是云容器引擎提供的插件，用于丰富集群的能力，满足用户特定的功能需求。 前提条件 在安装插件前，您需要存在一个可用集群。若没有可用集群 ，请参照集群管理>新建集群中内容进行创建。 操作步骤 安装插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要安装的插件，点击“安装”按钮。 步骤 4，在右侧的弹窗中选择“插件版本”，选择“超时时间”，点击“安装”按钮。 卸载插件： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“集群”并选择一个可用的集群。 步骤 2，在左侧二级导航栏中选择“插件”“插件市场”。 步骤 3，在插件列表中选择要卸载的插件，点击“卸载”按钮。 步骤 4，在弹窗中点击“确认”按钮。

一级分类 二级分类 功能点 功能点描述 核心功能 集群 一键快速部署 支持界面化订购，自动开通Kubernetes集群，兼容原生Kubernetes 核心功能 集群 节点管理 支持界面化进行扩缩容，支持节点标签、调度设置 核心功能 集群 命名空间 支持资源配额设置、支持网络隔离设置 核心功能 集群 运行时 支持Docker、Containerd 核心功能 工作负载 生命周期管理 支持应用创建、启停、扩缩容、注销等生命周期操作 核心功能 工作负载 工作负载 支持界面化发布有状态、无状态、守护进程、任务、定时任务等工作负载 核心功能 工作负载 多容器 支持一个Pod中发布多个容器，支持设置特权级容器 核心功能 工作负载 探针 支持界面化自定义策略检测应用的可用性 核心功能 工作负载 滚动升级 支持业务不中断平滑升级 核心功能 工作负载 亲和性/反亲和 支持主机及应用的亲和性与反亲和性调度 核心功能 工作负载 资源管控 支持容器级别的资源需求和限额设置，防止资源的浪费 核心功能 弹性调度 Pod弹性伸缩 支持自动伸缩规则设置，基于CPU/内存等资源自动伸缩应用，支持HPA、CronHPA和基于事件的弹性策略 核心功能 弹性调度 节点弹性伸缩 支持节点弹性伸缩 核心功能 弹性调度 负载感知调度 支持调度Pod时考虑节点的实际负载 核心功能 路由 多协议支持 支持TCP、UDP、HTTP以及HTTPS等协议 核心功能 路由 Service支持 支持NodePort、ClusterIP，LB等对外提供访问、支持无头服务 核心功能 路由 Ingress支持 支持Nginx Ingress 核心功能 路由 灰度/蓝绿发布 支持支持灰度/蓝绿发布，支持应用的多个版本在线运行 核心功能 配置管理 配置项 支持配置项 核心功能 配置管理 Secret 支持保密字典、凭证等 核心功能 网络 网络插件 支持高性能网络插件Calico 核心功能 网络 网络插件 支持自研网络插件CubeCNI实现容器与虚拟机网络直通 核心功能 网络 网络策略 支持容器访问策略和流控限制 核心功能 存储 多类型存储 支持Local、NFS、Ceph常见持久存储类；支持csi驱动程序，集成天翼云的云硬盘、弹性文件、对象存储等云存储 核心功能 存储 持久卷声明 支持界面化创建持久卷声明，支持监控存储使用量 核心功能 存储 持久卷 支持界面化创建持久卷，支持持久卷的动态生成 核心功能 日志管理 日志中心 支持容器日志的采集、存储和检索，支持集成三方开源日志解决方案 核心功能 监控与告警 监控中心 支持集群、节点、容器多级别的监控与告警配置，支持审计日志，支持集成三方开源监控解决方案 核心功能 系统管理 接入平台 作为平台组件对外提供服务，支持订单方式进行集群的开通、扩缩容、删除等 核心功能 系统管理 权限管理 多租户支持，租户资源隔离，用户角色授权，支持集群和命名空间的授权 高级功能 应用 插件市场 支持通过Chart对插件打包发布到插件市场，界面化一键部署监控等插件，通过插件与其他产品集成 高级功能 应用 模板市场 支持通过Chart对应用打包发布到模板市场，界面化安装部署等 高级功能 应用 有状态应用 支持挂载持久化存储，实现有状态应用容器化部署 高级功能 能力开放 OpenAPI 支持开放API，对接持续集成和私有部署系统 高级功能 高可用部署 Kubernetes高可用 支持Kubernetes高可用部署 容器镜像服务 镜像 镜像仓库 支持对接多镜像中心，支持界面化创建仓库 容器镜像服务 镜像 租户隔离 支持公开仓库的可见性及私有仓库的不可见性 容器镜像服务 镜像 镜像管理 支持管理海量镜像，支持多版本镜像 容器镜像服务 镜像 镜像收藏 支持快速检索镜像并收藏 容器安全 授权 权限管理 支持基于k8s RBAC授权 容器安全 配置安全 容器安全策略 支持SecurityContext配置