本节介绍了用户指南;存储概述。 存储概述 云容器引擎的存储功能基于Kubernetes容器存储接口（CSI），与天翼云存储服务（如云硬盘，弹性文件服务、对象存储、并行文件和海量文件等）深度融合，完全兼容Kubernetes原生的存储服务，包括 EmptyDir、HostPath、ConfigMap 和 Secret 等各种存储类型。 天翼云容器引擎集成云存储服务和原生存储服务，为应用程序提供可靠、高性能的存储解决方案。 存储类型概览 由于Container 中的文件在磁盘上是临时存放的，为了解决持久化存储以及同一 Pod 中多个容器共享文件，Kubernetes提出使用数据卷（Volume）作为Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。 云容器引擎从实现方式以及存储介质上对数据卷进行划分，主要有两类： 存储类型 说明 容器存储接口 OutofTree形式存储卷，使用标准的容器存储接口形成自定义存储插件，用户可以通过PVC/PV的形式实现挂载 。 存储介质为天翼云存储，包括云硬盘、弹性文件、对象存储等类型， 一般用于存储可用性要求较高的数据，或部分数据需要共享的场景。 云容器引擎通过 cstorcsi 实现该能力。 Kubernetes原生存储 InTree形式存储卷，通过Kubernetes代码仓库统一构建、编译、发布，比如ConfigMap一般用于给Pod注入配置数据、Secret一般用于给Pod传递敏感信息。 容器存储类型概览如下: 云硬盘 弹性文件 对象存储 并行文件 海量文件 概念 云硬盘（CTEVS，Elastic Volume Service）是一种可弹性扩展的块存储设备，可以为弹性云主机和弹性裸金属服务器提供高性能、高可靠的块存储服务。天翼云硬盘规格丰富，满足不同场景的业务需求，适用于文件系统、数据库、开发测试等场景。 弹性文件服务（CTSFS，Scalable File Service）提供按需扩展的高性能文件存储，可为云上多个弹性云服务器、容器、裸金属服务器提供共享访问，具备高可用性和高数据持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云为客户提供的一种海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 并行文件服务 HPFS（CTHPFS，High Performance File Storage）是由天翼云提供的高性能并行文件存储，具有高性能，高可靠性，高可扩展性的特点，充分满足影视渲染、自动驾驶等计算和数据密集型场景的需求。 海量文件服务OceanFS（）是天翼云推出的全托管、可扩展海量文件系统，满足海量数据、高带宽型应用场景的需求。OceanFS能够弹性扩展至PB规模，具备高可用性和持久性。 数据存储逻辑 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 采用文件存储方式，会以文件和文件夹的层次结构来整理和呈现数据。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 动态存储卷 支持 支持 支持 支持 支持 静态存储卷 支持 支持 支持 支持 支持 支持数据共享 共享盘支持 支持 支持，一般用于共享读场景，不建议用于写场景。 支持 支持 存储容量 10~ 32768GB 500~ 19480GB 不限制存储空间大小，理论上可无限扩容。 512GB~10PB 100GB~4PB 应用场景 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如影视渲染、气象分析、石油勘探、EDA仿真、基因分析、AI训练、自动驾驶等计算和数据密集型场景的需求。 如HPC、媒体处理、文件共享、内容管理和Web服务等多种场景。 产品规格 参见：点这里 参见：点这里 参见：点这里 参见：点这里 参见：点这里 计费说明 参见：点这里 参见：点这里 参见：点这里 参见：点这里 参见：点这里

为帮助您更好地管理Kubernetes集群内的节点，云容器引擎CCE引入节点池概念。节点池是集群中具有相同配置的一组节点，一个节点池包含一个节点或多个节点。 您可以在CCE控制台中创建新的自定义节点池，借助节点池基本功能方便快捷地创建、管理和销毁节点，而不会影响整个集群。新节点池中所有节点的参数和类型都彼此相同，您无法在节点池中配置单个节点，任何配置更改都会影响节点池中的所有节点。 在云容器引擎中，创建集群时配置的节点参数和类型将成为默认节点池“DefaultPool”，该节点池不可编辑、删除或迁移，也不支持扩容、弹性伸缩。 通过节点池功能您还可以实现节点的动态扩缩容： 当集群中出现因资源不足而无法调度的实例（Pod）时，自动触发扩容，为您减少人力成本。 当满足节点空闲等缩容条件时，自动触发缩容，为您节约资源成本。 本章节介绍节点池在云容器引擎（CCE）中的工作原理，以及如何创建和管理节点池。 节点池架构 通常情况下，节点池内的节点均具有如下相同属性： 节点操作系统。 节点Kubernetes组件启动参数。 节点自定义启动脚本。 节点“K8S标签”及“Taints”设置。 此外，CCE将同时围绕节点池扩展以下属性： 节点池级别操作系统。 节点池级别每节点的Pod数上限。 应用场景 当业务需要使用大规模集群时，推荐您使用节点池进行节点管理，以提高大规模集群易用性。 下表介绍了多种大规模集群管理场景，并分别展示节点池在每种场景下发挥的作用： 场景 作用 集群存在较多异构节点（机型配置不同） 通过节点池可规范节点分组管理。 集群需要频繁扩缩容节点 通过节点池可降低操作成本。 集群内应用程序调度规则复杂 通过节点池标签可快速指定业务调度规则。 集群内节点日常维护 通过节点池可便捷操作Kubernetes版本升级、Docker版本升级。 功能点及注意事项 功能点 功能说明 注意事项 创建节点池 新增节点池， 暂不支持包年包月类型。 单个集群不建议超过100个节点池。 删除节点池 删除节点池时会先删除节点池中的节点，原有节点上的工作负载实例会自动迁移至其他节点池的可用节点。 如果工作负载实例具有特定的节点选择器，且如果集群中的其他节点均不符合标准，则工作负载实例可能仍处于无法安排的状态。 节点池开启弹性伸缩 开启弹性伸缩后，节点池将根据集群负载情况自动创建或删除节点池内的节点。 节点池中的节点建议不要放置重要数据，以防止节点被弹性缩容，数据无法恢复。 节点池关闭弹性伸缩 关闭弹性伸缩后，节点池内节点数量不随集群负载情况自动调整。 / 调整节点池大小 支持直接调整节点池内节点个数。若减小节点数量，将从现有节点池内随机缩容节点。 开启弹性伸缩后，不建议手动调整节点池大小。 调整节点池配置 可修改节点池名称、节点个数、K8S标签、Taints及资源标签。 修改K8S标签和Taints会对节点池内节点全部生效，可能会引起Pod重新调度，请谨慎变更。 添加已有节点 可添加不属于集群的节点到节点池。要求如下： 待添加节点需与CCE集群在同一虚拟私有云和子网内。 实例未被其他集群使用且实例与节点池配置相同（机型、计费模式等）。 无特殊情况时，不建议添加已有节点，推荐直接新建节点池。 移出节点池内节点 可以将同一个集群下某个节点池中的节点迁移到默认节点池（defaultpool）中 暂不支持将默认节点池（defaultpool）中的节点迁移到其他节点池中，也不支持将自定义节点池中的节点迁移到其他自定义节点池。 拷贝节点池 可以方便的拷贝现有节点池的配置，从而创建新的节点池。 配置kubernetes参数 通过该功能您可以对核心组件进行深度配置。 本功能仅支持在v1.15及以上版本的集群中对节点池进行配置，V1.15以下版本不显示该功能。 默认节点池DefaultPool不支持修改该类配置。 将工作负载部署到特定节点池 在定义工作负载时，您可以间接的控制将其部署在哪个节点池上。 例如，您可以通过CCE控制台中工作负载页面的“调度策略”设置工作负载与节点的亲和性，强制将该工作负载部署到特定节点池上，从而实现该工作负载仅在该节点池中的节点上运行的目的。如果您需要更好地控制工作负载实例的调度位置，您可以使用调度策略概述章节中关于工作负载与节点的亲和或反亲和策略相关说明。 您也可以为容器指定资源请求，工作负载将仅在满足资源请求的节点上运行。 例如，如果工作负载定义了需要包含四个CPU的容器，则工作负载将不会选择在具有两个CPU的节点上运行。

本文介绍如何集群创建。 集群是计算资源的集合，包含一组节点资源，容器运行在节点上。在创建容器应用前，您需要存在一个可用集群。目前最多可以创建5个集群，请确保至少有一个可用的集群。如集群数量不够，可申请增加配额。 操作前提 能够确保账户中有充足的余额，否则将导致您的业务开通失败； 在【创建集群】之前，请确保已完成VPC、子网的创建及安全组的配置，若未创建可参考上一【环境设置】部分。 操作步骤 1. 登录天翼云； 2. 选择【控制台】>点击切换到具体资源池，如杭州2节点； 3. 在控制台中找到【容器服务】>点击【容器引擎】，进入容器服务界面； 4. 进入【总览】页面>单击【创建集群】按钮，进入集群创建界面； 5. 按照需要完成集群参数填写，集群创建参数详见下表，其中带“”的参数为必填参数。 参数 参数说明 基础配置 集群名称 新建集群的名称 Kubernetes版本 1.15/1.18 地域 根据最初选择的地域决定，集群创建过程中不可选 虚拟私有云 新建集群所在的虚拟私有云。若没有可选虚拟私有云，单击“创建虚拟私有云”进行创建 子网 节点虚拟机运行的子网环境。若没有可选子网，单击“创建子网”进行创建 系列 分为基础版、高级版（基础版集群将创建1个master节点和相应控制节点，worker节点配置由用户自由选择；高级版集群将创建3个master节点和相应控制节点，worker节点配置由用户自由选择。) 容器CIDR 默认是10.223.0.0/16，确定容器网段后，容器实例将在规划的网段内分配IP。不能与集群所选的VPC重复，当vpc和容器网段或者服务网段冲突提示：默认网段与所选虚拟私有云网段有冲突，请重新选择vpc 服务CIDR 默认是10.96.0.0/16，服务网段为kubernetes service ip网段，请根据业务需求选择该网段。不能与集群所选的VPC重复 企业项目 此项与主子账户权限有关，如果有主子账户权限分配要求，请提前规划企业项目 注： 如果您选择了IPv4/IPv6双栈的VPC和子网，那么要同时设置IPv4的容器CIDR和服务CIDR，以及IPv6的容器CIDR和服务CIDR，均不能与集群所选VPC重复。默认情况下，IPv6容器CIDR：fd03::/112；IPv6服务CIDR：fd05::/112。如有需要用户请根据个人需求进行修改。 worker 节点配置 规格 请根据业务需求选择相应的节点规格。 当前使用的是通用型S2类型云主机，可选规格以界面上显示为准 操作系统 请选择节点对应的操作系统 系统盘 默认为普通IO，50GB 数据盘 普通IO、高IO，规格为[50,2048]GB，默认50GB;范围502048GB;整数;填入小数自动四舍五入为整数，输入为空自动设置为50；步长为10 弹性IP 使用已有IP：使用已经创建出的弹性公网IP 创建后设置：不使用弹性公网IP（不使用弹性公网IP不能通过公网发送请求，可创建后绑定） 网络模型 容器隧道网络：基于底层 VPC 网络，构建独立的容器 VXLAN 隧道化的容器网络，与底层网络解耦，支持高扩展性，网络策略，多容器网络平面 worker节点数 默认最小值是1，只允许填入整数；步长为1；设置的节点数不能超过最大节点规模50；输入为空自动设置为1 购买时长 根据需求，设置购买时长 6. 确认右侧订单详情无误并确保已放开安全组6443、9080、9443、2379、2380端口后，单击【创建集群】，进入付费界面，完成费用支付； 7. 集群创建预计需要 610 分钟。请根据界面提示查看集群创建过程。创建完成后，点击【返回集群管理】链接； 8. 在导航栏单击【资源管理】>【集群管理】标签，进入集群列表界面，可查看创建的集群。

资源类型 配置项 配置明细 说明 ECS） ECS名称 ecsbendi 自定义，易理解可识别 ECS） 规格 通用计算增强型 c3.large.2 2vCPUs 4GiB 本示例中选择的规格。实际选择的规格需要结合业务场景选择，请参考弹性云服务器的实例规格。 ECS） 操作系统 Windows 2016 ECS） 系统盘 通用型SSD 40GiB

概述 本文主要介绍在CCE在升级集群时，如何查找插件升级失败的原因，并解决问题。 操作步骤 步骤 1 插件升级失败后，请优先进行重试。若重试不成功，则根据后续步骤排查问题。 步骤 2 在升级界面显示失败后，请退出集群升级页面，前往“插件管理”界面查看插件的详细状态。针对异常的插件，单击插件名称查看详情。 步骤 3 在插件运行实例的详情界面，单击“事件”查看异常实例的信息。 步骤 4 根据具体的异常信息进行相应处理，比如尝试删除未启动的实例让其重启等。 步骤 5 处理成功后，插件状态会变为运行中，需要保证所有插件状态都处于运行中。 步骤 6 此时进入集群升级界面，再次单击“重试”按钮即可。 六、使用CCE需要关注哪些配额限制？ 云容器引擎CCE配额 只限制了集群个数 ，但是使用CCE时也会使用其他云服务，包括：弹性云服务器、云硬盘、虚拟私有云、弹性负载均衡、容器镜像服务等。

本文介绍如何设置镜像缓存。 可以使用镜像缓存来实现加速创建Pod，通过指定镜像缓存ID的方式： 使用方式 配置项 示例值 说明 指定镜像缓存 k8s.ctyun.cn/eciimcid imcdfaexxxxx 明确指定使用某个镜像缓存创建Pod 配置参考如下： plaintext apiVersion: apps/v1 kind: Deployment metadata: name: nginxdeployment labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: annotations: k8s.ctyun.cn/eciimcid: imcdfaexxxxx 指定镜像缓存 labels: app: nginx spec: containers: name: nginx image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.25alpine ports: containerPort: 80 nodeName: vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud

本文介绍如何设置镜像缓存。 可以使用镜像缓存来实现加速创建Pod，通过指定镜像缓存ID的方式： 使用方式 配置项 示例值 说明 指定镜像缓存 k8s.ctyun.cn/eciimcid imcdfaexxxxx 明确指定使用某个镜像缓存创建Pod 配置参考如下： shell apiVersion: apps/v1 kind: Deployment metadata: name: nginxdeployment labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: annotations: k8s.ctyun.cn/eciimcid: imcdfaexxxxx 指定镜像缓存 labels: app: nginx spec: containers: name: nginx image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.25alpine ports: containerPort: 80 nodeName: vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud

资源类型 配置项 配置明细 说明 ECS ECS名称 ecsbendi 自定义，易理解可识别 ECS 规格 通用计算增强型 c3.large.2 2vCPUs 4GiB 本示例中选择的规格。实际选择的规格需要结合业务场景选择，请参考弹性云服务器的实例规格。 ECS 操作系统 Windows 2016 ECS 系统盘 通用型SSD 40GiB

本文介绍如何使用云容器引擎Serverless版。 本文介绍如何通过控制台创建Serverless集群、使用镜像部署应用以及查看容器信息。 前提条件 已开通并授权云容器引擎。 已登录弹性容器实例控制台开通服务。 操作步骤 创建Serverless集群 1.登录云容器引擎控制台。 2.在控制台的左侧导航栏中点击“集群”。 3.在集群列表页面中，单击页面右上角的“创建集群”，进入订购页后单击“Serverless版”。 4.在订购Serverless容器引擎页面中，完成集群的基本配置。部分配置说明如下： 配置项 描述 实例名称 填写集群的实例名称 企业项目 按需选择企业项目 计费模式 默认使用按需计费模式 Kubernetes版本 显示当前Serverless集群支持的Kubernetes版本 部署方式 支持单可用区部署、多可用区部署 可用区 按需选择可用区 API Server访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。同时，您也可以选择是否使用EIP暴露API Server，选择不开放时，则无法通过外网访问集群API Server 虚拟私有云 集群所使用的VPC，支持使用已有的VPC或创建虚拟私有云 所在子网 集群所使用的子网，支持使用已有的子网或创建子网 默认安全组 安全组是一种虚拟防火墙，能够控制实例的出入站流量，Serverless集群会自动生成一条默认的安全组，以确保容器之间能正常通信 启用IPv6 启用IPv6双栈将创建双栈Serverless集群 Service CIDR 设置Service CIDR。Service网段不能与VPC及VPC内已有集群使用的网段重复，并且Service地址段也不能和Pod地址段重复。集群创建成功后不能再修改该网段 自定义证书SAN 按需添加自定义的IP或域名，以实现对客户端的访问控制 集群本地域名 填写集群的本地域名 集群删除保护 设置是否启用集群删除保护，防止通过控制台或者API误删除集群 集群标签 为集群绑定标签，作为云资源的标识 集群描述 按需对集群进行描述说明 时区 集群所要使用的时区 5.集群配置完成后，单击“下一步”。 6.按需进行插件配置，配置完成后，单击“确认配置”。 7.确定产品名称、基础配置以及费用无误后提交订单。 8.集群创建成功后，您可以进入云容器引擎控制台，在集群选项卡中可以看到新创建的集群。点击集群名称进入集群详情界面，可以查看集群相关信息。

操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。 因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于CCE提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照购买混合集群中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 通过控制台创建 云容器引擎提供了多种创建工作负载的方式，您可以通过如下方式进行创建： 1. 基于“我的镜像”创建工作负载，用户首先需要将镜像上传至容器镜像服务。 2. 基于“共享镜像”创建工作负载，即其它租户通过“容器镜像服务”共享给您的镜像。 3. 若您希望通过YAML方式创建工作负载，您可在“创建有状态工作负载”页面单击界面右侧的“YAML创建”，通过yaml的方式创建工作负载。YAML的说明请参见通过kubectl命令行创建。YAML编写完成后，可单击“创建”，直接创建工作负载。 YAML文件是和界面保持同步的，您也可以通过界面和YAML互动完成工作负载的创建。例如： 界面中填写工作负载名称后，YAML文件会自动关联该名称。 界面中添加完镜像后，YAML中也会自动关联该镜像。 控制台界面右侧的“YAML创建”不支持多个YAML混合，请分别创建，否则创建时将会报错。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 有状态负载 StatefulSet”，单击“创建有状态工作负载”。在打开的创建有状态工作负载页面中，参照下表设置工作负载基本信息，其中带“”标志的参数为必填参数。 工作负载基本信息 参数 参数说明 工作负载名称 新建工作负载的名称，命名必须唯一。 请输入4到52个字符的字符串，可以包含小写英文字母、数字和中划线（），并以小写英文字母开头，小写英文字母或数字结尾。 集群名称 新建工作负载所在的集群。 命名空间 在单集群中，不同命名空间中的数据彼此隔离。使应用可以共享同个集群的服务，也能够互不干扰。若您不设置命名空间，系统会默认使用default命名空间。 实例数量 工作负载的实例数量。工作负载可以有一个或多个实例，用户可以设置具体实例个数，默认为2，可自定义设置为1。 每个工作负载实例都由相同的容器部署而成。设置多个实例主要用于实现高可靠性，当某个实例故障时，工作负载还能正常运行。若使用单实例，节点异常或实例异常会导致服务异常。 时区同步 单击开启后，容器将和节点使用相同时区。 须知 时区同步功能开启后，在“数据存储 > 本地磁盘”中，将会自动添加HostPath类型的磁盘，请勿修改删除该磁盘。 工作负载描述 工作负载描述信息。 步骤 2 单击“下一步：容器设置”，添加容器。 1. 单击“添加容器”，选择需要部署的镜像。 − 我的镜像：展示了您创建的所有镜像仓库。 − 第三方镜像：CCE支持拉取第三方镜像仓库（即镜像仓库之外的镜像仓库）的镜像创建工作负载。使用第三方镜像时，请确保工作负载运行的节点可访问公网。第三方镜像的具体使用方法请参见如何使用第三方镜像。 若您的镜像仓库不需要认证，密钥认证请选择“否”，并输入“镜像名称”，单击“确定”。 若您的镜像仓库都必须经过认证（帐号密码）才能访问，您需要先创建密钥再使用第三方镜像，具体操作请参见如何使用第三方镜像。 − 共享镜像：其它租户通过“容器镜像服务”共享给您的镜像将在此处展示，您可以基于共享镜像创建工作负载。 2. 配置镜像基本信息。 工作负载是Kubernetes对一组Pod的抽象模型，用于描述业务的运行载体，一个Pod可以封装1个或多个容器，您可以单击右上方的“添加容器”，添加多个容器镜像并分别进行设置。 镜像参数说明 参数 说明 镜像名称 导入的镜像，您可单击“更换镜像”进行更换。 镜像版本 选择需要部署的镜像版本。 容器名称 容器的名称，可修改。 特权容器 特权容器是指容器里面的程序具有一定的特权。 若选中，容器将获得超级权限，例如可以操作宿主机上面的网络设备、修改内核参数等。 容器规格 CPU 配额： 申请：容器需要使用的最小CPU值，默认0.25Core。 限制：允许容器使用的CPU最大值。建议设容器配额的最高限额，避免容器资源超额导致系统故障。 内存配额： 申请：容器需要使用的内存最小值，默认512MiB。 限制：允许容器使用的内存最大值。如果超过，容器会被终止。 申请和限制的具体请参见设置容器规格。 GPU 配额：当集群中包含GPU节点时，才能设置GPU，无GPU节点不显示此选项。 容器需要使用的GPU百分比。勾选“使用”并设置百分比，例如设置为10%，表示该容器需使用GPU资源的10%。若不勾选“使用”，或设置为0，则无法使用GPU资源。 GPU 显卡：工作负载实例将被调度到GPU显卡类型为指定显卡的节点上。 若勾选“不限制”，容器将会随机使用节点中的任一显卡。您也可以勾选某个显卡，容器将使用特定显卡。 3. 生命周期：用于设置容器启动和运行时需要执行的命令。 − 启动命令：设置容器启动时执行的命令，具体请参见设置容器启动命令。 − 启动后处理：设置容器成功运行后执行的命令，详细配置方法请参见设置容器生命周期。 − 停止前处理：设置容器结束前执行的命令，通常用于删除日志/临时文件等，详细配置方法请参见设置容器生命周期。 4. 健康检查：CCE提供了存活与业务两种探针，用于判断容器和用户业务是否正常运行。详细配置方法请参见设置容器健康检查。 − 工作负载存活探针：检查容器是否正常，不正常则重启实例。 − 工作负载业务探针：检查用户业务是否就绪，不就绪则不转发流量到当前实例。 5. 环境变量：在容器中添加环境变量，一般用于通过环境变量设置参数。 在“环境变量”页签，单击“添加环境变量”，当前支持三种类型： − 手动添加：输入变量名称、变量/变量引用。 − 密钥导入：输入变量名称，选择导入的密钥名称和数据。您需要提前创建密钥，具体请参见创建密钥。 − 配置项导入：输入变量名称，选择导入的配置项名称和数据。您需要提前创建配置项，具体请参见创建配置项。 对于已设置的环境变量，单击环境变量后的“编辑”，可对该环境变量进行编辑。单击环境变量后的“删除”，可删除该环境变量。 6. 数据存储：给容器挂载数据存储，支持本地磁盘和云存储，适用于需持久化存储、高磁盘IO等场景。具体请参见存储管理。 有状态工作负载只能在创建时添加数据存储，创建完成后无法再添加。 7. 安全设置：对容器权限进行设置，保护系统和其他容器不受其影响。 请输入用户ID，容器将以当前用户权限运行。 8. 容器日志：设置容器日志采集策略、配置日志目录。用于收集容器日志便于统一管理和分析。详细配置请参见采集容器标准输出日志、采集容器内路径日志。 步骤 3 单击“下一步：工作负载访问设置”，设置“实例间发现服务”和工作负载访问方式。 设置“实例间发现服务”，如下表： 参数 参数说明 服务名称 输入工作负载所对应的服务名称，用于集群内工作负载间的互相访问。该服务主要用于实例的内部发现，不需要有单独的IP地址，也不需要做负载均衡。 端口名称 端口名称用于给容器端口命名，通常以端口用途命名。 容器端口 输入容器的监听端口。 单击“添加服务”，设置工作负载访问方式。 若工作负载需要和其它服务互访，或需要被公网访问，您需要添加服务，设置工作负载访问方式。 工作负载访问的方式决定了这个工作负载的网络属性，不同访问方式的工作负载可以提供不同网络能力，具体请参见网络概述。 步骤 4 单击“下一步：高级配置”，配置更多高级策略。 升级策略：仅支持“滚动升级”。 滚动升级将逐步用新版本的实例替换旧版本的实例，升级的过程中，业务流量会同时负载均衡分布到新老的实例上，因此业务不会中断。 实例管理策略：支持“有序策略”和“并行策略”两种。 有序策略：默认策略，有状态负载会逐个的、按顺序的进行部署、删除、伸缩实例， 只有前一个实例部署Ready或删除完成后，有状态负载才会操作后一个实例。 并行策略：支持有状态负载并行创建或删除所有的实例，有状态负载发生变更时立刻在实例上生效。 缩容策略：为工作负载删除提供一个时间窗，预留给生命周期中PreStop阶段执行命令。若超过此时间窗，进程仍未停止，该工作负载将被强制删除。 − 缩容时间窗 (s)：请输入时间，该时间为工作负载停止前命令的执行时间窗（09999秒），默认30秒。 − 缩容优先级：可根据业务需要选择“优先减少新实例”或“优先减少老实例”。 调度策略：您可以根据需要自由组合静态的全局调度策略或动态的运行时调度策略来实现自己的需求。具体请参见调度策略概述。 Pod高级设置 − Pod标签：内置app标签在工作负载创建时指定，主要用于设置亲和性与反亲和性调度，暂不支持修改。您可以单击下方的“添加标签”增加标签。 客户端DNS配置：CCE集群内置DNS插件CoreDNS，为集群内的工作负载提供域名解析服务。详细使用方法请参见Kubernetes集群内置DNS配置说明。 − DNS策略： 追加域名解析配置：选择该配置后，将保留默认配置，以下“IP地址”和“搜索域”配置可能不生效。 替换域名解析配置：选择该配置后，将仅使用以下“IP地址”和“搜索域”配置进行域名解析。 继承Pod所在节点域名解析配置：将继承Pod所在节点的域名解析配置。 − IP地址：您可对自定义的域名配置域名服务器，值为一个或一组DNS IP地址，如“1.2.3.4”。 − 搜索域：定义域名的搜索域列表，当访问的域名不能被DNS解析时，会把该域名与搜索域列表中的域依次进行组合，并重新向DNS发起请求，直到域名被正确解析或者尝试完搜索域列表为止。 − 超时时间（s）：查询超时时间，请自定义。 − ndots：表示域名中必须出现的“.”的个数，如果域名中的“.”的个数不小于ndots，则该域名为一个FQDN，操作系统会直接查询；如果域名中的“.”的个数小于ndots，操作系统会在搜索域中进行查询。 自定义指标监控：是指监控系统提供的一种指标收集机制，该机制允许工作负载在部署时自定义需要上报的指标名称以及获取这些指标数据的接入点信息，在应用运行时由监控系统按固定的频率访问接入点进行指标的收集。 性能管理配置：的性能管理服务可协助您快速进行工作负载的问题定位与性能瓶颈分析。 步骤 5 配置完成后，单击“创建”，单击“返回工作负载列表”。在工作负载列表中，当工作负载状态为“运行中”时，表示工作负载创建成功。如果工作负载状态未实时更新，请刷新页面查看。 节点不可用时，pod状态变为“未就绪”，此时需要手工删除有状态工作负载的pod，pod实例才会迁移到正常节点上。 工作负载列表页在超过500条以上时，将采用Kubernetes的分页机制进行分页。Kubernetes的分页机制：仅支持回到第一页和查看下一页，不支持查看上一页，且在分页显示的情况下，资源总数显示的是批量查询出的数目而不是真实总数。 通过kubectl命令行创建 本节以etcd为例来进行说明。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 步骤 1 登录已配置好kubectl命令的弹性云主机。 步骤 2 创建一个名为etcdstatefulset.yaml的文件。 其中，etcdstatefulset.yaml为自定义名称，您可以随意命名。 vi etcdstatefulset.yaml 以下内容仅为示例，若需要了解statefulset的详细内容，请参考kubernetes官方文档。 apiVersion: apps/v1 kind: StatefulSet metadata: name: etcd spec: replicas: 2 selector: matchLabels: app: etcd serviceName: etcdsvc template: metadata: labels: app: etcd spec: containers: env: name: PAASAPPNAME value: tesyhhj name: PAASNAMESPACE value: default name: PAASPROJECTID value: 9632fae707ce4416a0ab1e3e121fe555 image: etcd imagePullPolicy: IfNotPresent name: container0 updateStrategy: type: RollingUpdate vi etcdheadless.yaml apiVersion: v1 kind: Service metadata: labels: app: etcd name: etcdsvc spec: clusterIP: None ports: name: etcdsvc port: 3120 protocol: TCP targetPort: 3120 selector: app: etcd sessionAffinity: None type: ClusterIP 步骤 3 创建工作负载以及对应headless服务。 kubectl create f etcdstatefulset.yaml 回显如下，表示有状态工作负载（stateful）已创建成功。 statefulset.apps/etcd created kubectl create f etcdheadless.yaml 回显如下，表示对应headless服务已创建成功。 service/etcdsvc created 步骤 4 若工作负载需要被访问（集群内访问或节点访问），您需要设置访问方式，具体请参见“网络管理”并创建对应服务。

概 念 介绍 提供了运行实例所需的信息，包括操作系统和运行环境、初始化应用数据等。 分布式持久块存储设备、可弹性扩展的数据块级存储设备，可以用作实例的系统盘和数据盘使用。 虚拟私有云（Virtual Private Cloud），为云主机、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。 防火墙是保障轻量型云主机网络安全的重要手段，用户可以通过配置防火墙规则，允许或禁止公网或私网对轻量型云主机的访问。 弹性 IP（Elastic IP Address，简称EIP）指公网 IP 地址，将弹性 IP 地址和子网中关联的各项云资源绑定和解绑，可以实现 VPC 中的云资源通过固定的公网 IP 地址与互联网互通。

步骤三：创建工作负载 示例yaml文件podpvcdisk.yaml： shell apiVersion: apps/v1 kind: StatefulSet metadata: name: nginxpvcdisk labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginxpvcdisk serviceName: "" template: metadata: labels: app: nginxpvcdisk spec: containers: image: "registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim" imagePullPolicy: "IfNotPresent" name: "nginx" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" volumeMounts: mountPath: "/mnt/data" name: "volume1" volumes: name: "volume1" persistentVolumeClaim: claimName: "testpvc" 执行以下命令创建工作负载： shell kubectl apply f podpvcdisk.yaml 查看pv和pvc绑定状态： shell kubectl get pv kubectl get pvc 可以看到已经自动创建出了pv，并且pvc已绑定pv： 步骤四：验证数据持久化 1. 登录弹性容器服务管理控制台。 2. 在容器组列表页点击刚才创建的实例。 3. 点击“远程连接”页签，进入到容器内。 4. 向/mnt/data 目录下写一个文件，执行： shell echo "Hello World" > /mnt/data/test.log 5. 查看/mnt/data 目录下文件，执行： shell cat /mnt/data/test.log 预期结果如下： 6. 退出“远程连接”，使用kubectl删除pod，会触发pod自动重建，等待Pod重新运行正常。 shell kubectl delete po nginxpvcdisk0 7. 对新建Pod，登录弹性容器服务管理控制台，继续执行“远程连接”，进入到容器内查看数据。执行： shell cat /mnt/data/test.log 预期结果如下： 8. 以上步骤说明，pod删除重建后，重新挂载云盘，数据仍然存在，说明云硬盘中的数据可持久化保存。

本文介绍如何通过CSI插件为CCSE容器挂载天翼云弹性文件服务作为数据卷。 基础信息 云容器引擎（简称CCSE）提供高度可扩展的、高性能的Kubernetes集群、一站式容器服务；获得信通院可信云《全栈容器云解决方案》认证，其整合了镜像、监控、日志、负载均衡、灰度/蓝绿、多种弹性策略、高效调度、集群插件、模板市场等基础能力，帮助企业快速构建和运行可弹性扩展的应用。本文介绍如何通过CSI插件为CCSE容器挂载天翼云弹性文件服务作为数据卷。 注意事项 CCSE引擎挂载弹性文件系统依赖cstorcsi插件，该插件在创建云容器引擎完成后通过插件市场进行配置。 云容器引擎和弹性文件系统须属于同一个VPC和子网下。 操作步骤 步骤一：创建云容器引擎CCSE 从天翼云官网创建一个云容器引擎CCSE，详细步骤参见云容器引擎CCSE订购集群。 步骤二：安装cstorcsi插件 1. 进入购买的CCSE集群，在“插件>插件市场”中选择“cstorcsi”插件进行安装。 2. 安装时需要在yaml文件中填入用户天翼云的AK、SK信息，并点击底部的“安装”按钮： 注意 安装过程中需提供用户AK/SK，获取方式参考

本文介绍了容器镜像按需加速的用户指南。 传统容器运行需要将全量镜像数据下载后再解包，然而容器启动可能仅使用其中部分的内容，导致容器启动耗时长。通过容器镜像服务企业版的按需加载功能，您可以在业务部署中使用加速镜像版本，实现镜像数据免全量下载和在线解压，大幅提升应用分发效率，享受极致的弹性体验。本文介绍如何按需加载容器镜像。 前置条件 已开通企业版镜像服务 已开通云容器引擎集群 背景信息 通过按需加速功能，您可以在部署业务工作负载时使用加速镜像，实现镜像数据免全量下载和在线解压，大幅度提升应用分发效率，缩短容器启动时间，减少容器镜像所消耗的存储空间。加速效果与镜像大小以及网络等因素有关。 注意 在创建容器实例时，选用Containerd作为容器运行时的集群支持使用镜像加速，而对于选用Docker作为运行时的实例则不支持使用。 转换加速镜像 通过在镜像仓库或者在命名空间级别启用自动转换加速镜像，在上传镜像后会自动转换成加速镜像。镜像转换时间取决于镜像大小，对原始镜像不做任何变更改动。 转换后的加速镜像与原始镜像所在的命名空间及镜像仓库保持一致，仅镜像版本（即镜像的Tag）比原始镜像多增加了“accelerated”后缀。 注意 1.在已有命名空间或镜像仓库中开启镜像加速自动转换，所覆盖的命名空间或镜像仓库下的存量镜像则不会自动转换； 2.加速镜像会增加对象存储Bucket的使用量； 3.因加速镜像转换需要一定耗时，建议提前上传镜像，预留足够的转化时长，以免影响业务的发布时间，例如，转换 40GiB 的镜像大约耗时 30 分钟； 4.随着镜像容量增加，除了增加转换时长，同样也会增加转换失败的风险，建议转的镜像容量控制在60GiB以内。 1. 登录容器镜像控制台。 2. 在顶部菜单栏，选择所需资源池。 3. 在实例页面中选择指定的企业版实例。 4. 在命名空间中开启镜像加速：在企业版实例管理页面的左侧菜单上选择 "容器镜像" "命名空间"。在命名空间创建时，打开开启镜像加速开关，其余信息点填写完成后点击创建按钮。对于现存的命名空间，在命名空间列表中的开启镜像加速开关列中，打开开关。 5. 在镜像仓库中开启镜像加速：在企业版实例管理页面的左侧菜单上选择 "容器镜像" "镜像仓库"。在未开启镜像加速的命名空间下创建镜像仓库时，打开开启镜像加速开关，其余信息点填写完成后点击创建。对于现存的镜像仓库，在镜像仓库列表中，选择未开启镜像加速的命名空间下的镜像仓库，点击编辑，在编辑页面中打开开启镜像加速开关，然后点击更新按钮。 6. 在启用镜像加速的命名空间或者镜像仓库中上传镜像，稍等片刻后，在镜像仓库的版本列表页中查看到已经转换完成的带“accelerated”后缀的加速镜像，转换时间受镜像自身大小影响。

本文介绍了容器镜像按需加速的用户指南。 传统容器运行需要将全量镜像数据下载后再解包，然而容器启动可能仅使用其中部分的内容，导致容器启动耗时长。通过容器镜像服务企业版的按需加载功能，您可以在业务部署中使用加速镜像版本，实现镜像数据免全量下载和在线解压，大幅提升应用分发效率，享受极致的弹性体验。本文介绍如何按需加载容器镜像。 前置条件 已开通企业版镜像服务 已开通云容器引擎集群 背景信息 通过按需加速功能，您可以在部署业务工作负载时使用加速镜像，实现镜像数据免全量下载和在线解压，大幅度提升应用分发效率，缩短容器启动时间，减少容器镜像所消耗的存储空间。加速效果与镜像大小以及网络等因素有关。 注意 在创建容器实例时，选用Containerd作为容器运行时的集群支持使用镜像加速，而对于选用Docker作为运行时的实例则不支持使用。 转换加速镜像 通过在镜像仓库或者在命名空间级别启用自动转换加速镜像，在上传镜像后会自动转换成加速镜像。镜像转换时间取决于镜像大小，对原始镜像不做任何变更改动。 转换后的加速镜像与原始镜像所在的命名空间及镜像仓库保持一致，仅镜像版本（即镜像的Tag）比原始镜像多增加了“accelerated”后缀。 注意 1.在已有命名空间或镜像仓库中开启镜像加速自动转换，所覆盖的命名空间或镜像仓库下的存量镜像则不会自动转换； 2.加速镜像会增加对象存储Bucket的使用量； 3.因加速镜像转换需要一定耗时，建议提前上传镜像，预留足够的转化时长，以免影响业务的发布时间，例如，转换 40GiB 的镜像大约耗时 30 分钟； 4.随着镜像容量增加，除了增加转换时长，同样也会增加转换失败的风险，建议转的镜像容量控制在60GiB以内。 1. 登录容器镜像控制台。 2. 在顶部菜单栏，选择所需资源池。 3. 在实例页面中选择指定的企业版实例。 4. 在命名空间中开启镜像加速：在企业版实例管理页面的左侧菜单上选择 "容器镜像" "命名空间"。在命名空间创建时，打开开启镜像加速开关，其余信息点填写完成后点击创建按钮。对于现存的命名空间，在命名空间列表中的开启镜像加速开关列中，打开开关。 5. 在镜像仓库中开启镜像加速：在企业版实例管理页面的左侧菜单上选择 "容器镜像" "镜像仓库"。在未开启镜像加速的命名空间下创建镜像仓库时，打开开启镜像加速开关，其余信息点填写完成后点击创建。对于现存的镜像仓库，在镜像仓库列表中，选择未开启镜像加速的命名空间下的镜像仓库，点击编辑，在编辑页面中打开开启镜像加速开关，然后点击更新按钮。 6. 在启用镜像加速的命名空间或者镜像仓库中上传镜像，稍等片刻后，在镜像仓库的版本列表页中查看到已经转换完成的带“accelerated”后缀的加速镜像，转换时间受镜像自身大小影响。

本节介绍集群联邦概述。 集群联邦 集群联邦基于多云容器编排能力，旨在管理跨云、跨地域场景下的多集群应用，为您提供多集群统一管理、应用部署、服务发现、弹性伸缩、故障迁移等能力。 功能优势 完全兼容Kubernetes原生API，支持从单集群到多集群零改造升级，无缝集成现有Kubernetes工具链生态。 丰富的多集群调度策略：集群亲和性调度、多集群拆分/再平衡调度，多维度的高可用部署，包括多Region、多AZ、多集群、多云供应商 。提供自动化的多集群故障优雅迁移能力，对故障集群实例进行集中式或分散式的迁移，保证服务实例不跌零 多集群流量分发：多集群Service实现跨集群的服务发现和访问。多集群Ingress提供跨集群的负载均衡和流量路由机制，支持自动切流，可自动摘除故障集群上的流量，保障服务的可用性 。 多集群弹性伸缩：基于工作负载的系统指标变动、自定义指标变动或固定的时间周期，实行多集群统一的负载伸缩策略，提升工作负载的可用性和稳定性 。 全域容器智能分析：实时监控应用及资源，采集各项指标及事件等数据以分析应用健康状态，提供多集群统一的全栈监控视图，对业务提供端到端追踪和可视化，提供集群健康诊断能力，缩短问题分析定位时间 。

云服务名称 区域 支持IAM 支持企业项目 支持IAM 支持企业项目 系统策略 分布式消息服务Kafka 全局 是 是 是 是 有 分布式消息服务RabbitMQ 全局 是 是 是 是 有 分布式消息服务RocketMQ 全局 是 是 是 是 有 微服务云应用平台 全局 是 是 是 是 有 云容器引擎 全局 是 是 是 是 有 弹性容器实例 全局 是 是 是 是 有 函数计算 全局 是 是 是 是 有 云日志服务LTS 全局 是 是 是 是 有 容器镜像服务 全局 是 是 是 是 有 分布式消息服务MQTT 全局 是 是 是 是 有 应用服务网格 全局 是 是 是 是 有 微服务引擎 全局 是 是 是 是 有

本文介绍如何创建虚拟节点。 1. 在弹性容器实例控制台左侧导航栏中选择“虚拟节点”，进入虚拟节点列表页。 2. 点击“创建虚拟节点”，进入虚拟节点订购页。 3. 完成相关参数配置，单击确定。 参数 描述 虚拟私有云、子网、安全组 VNode所属的虚拟私有云、子网、安全组 可用区 VNode所属的可用区 KubeConfig VNode要连接的Kubernetes集群的kubeconfig 标签 VNode绑定的标签信息 污点 VNode绑定的污点信息

本节介绍了POD联网使用案例的用户指南。 本文介绍如何在容器集群创建的pod中，实现访问公网。 准备工作 已创建云服务引擎集群； 已在容器集群中创建pod，该pod需要进行公网访问。 操作步骤 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段； 步骤二：购买弹性IP; 步骤三：购买NAT网关及配置路由； 步骤四：配置SNAT规则； 步骤五：pod内测试连通性。 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段 1、首先确定容器集群部署所用网络插件类型，步骤如下 登录天翼云“云容器引擎”管理控制台； 选择指定资源池，进去集群列表； 点击进入指定集群； 在“集群信息”“基本信息”中查看网络插件； 2、确定访问公网的pod所属vpc子网网段 以无状态部署为例： “工作负载”“无状态”，选择命名空间，进入指定deployment； 进入deployment实例详情，查看pod列表； 如果网络插件是calico，那么记录实例所在节点ip： 如果网络插件是cubecni，那么记录pod ip： 在“虚拟私有云”“子网” 中，查看上述记录ip所属ip网段；

云容器引擎通过将Kubernetes网络和VPC深度集成，提供了稳定高性能的容器网络，能够满足多种复杂场景下工作负载间的互相访问。 约束与限制 每个命名空间下，创建的服务数量不能超过6000个。此处的服务对应kubernetes的service资源，即工作负载所添加的服务。 容器开启hostPort或hostNetwork网络模式后，若需对外提供服务，则需要给容器所在节点开启对应端口的安全组(containerPort)。 Service基本概念 Kubernetes中每一个工作负载会有一个或多个实例（Pod），每个实例（Pod）的IP地址由网络插件动态随机分配（Pod重启后IP地址会改变）。为屏蔽这些后端实例的动态变化和对多实例的负载均衡，引入了Service这个资源对象。 Service是一种资源，提供了我们访问单个或多个容器应用的能力。每个服务在其生命周期内，都拥有一个固定的IP地址和端口。每个服务对应了后台的一个或多个Pod，通过这种方式，客户端就不需要关心Pod所在的位置，方便后端进行方便的Pod扩容、缩容等操作。 用户在Kubernetes中可以部署各种容器，其中一部分是通过HTTP、HTTPS协议对外提供七层网络服务，另一部分是通过TCP、UDP协议提供四层网络服务。而Kubernetes定义的Service资源就是用来管理集群中四层网络的服务访问。 根据创建Service的type类型不同，可分成如下模式： ClusterIP ：默认类型，为服务分配集群虚拟IP，此时集群内部的pod可以通过服务名称寻址到服务的集群虚拟IP地址，集群外无效。 NodePort ：在每个节点上为服务分配静态端口号，此时如果在集群外部访问任何一个节点的IP地址加指定的端口号，kubeproxy会将流量转发到服务的集群虚拟IP，再由虚拟IP寻址到Pod。 LoadBalancer ：通过云服务供应商提供的load balancer向外部暴露服务，由指定的load balancer负责对NodePort与ClusterIP服务的路由。 ClusterIP和NodePort类型的Service，在不同云服务商或是自建集群中的行为表现通常情况下相同。而LoadBalancer类型的Service，由于使用了云服务商的负载均衡进行服务暴露，云服务商会围绕其负载均衡的能力提供不同的额外功能。例如，控制负载均衡的网络类型，后端绑定的权重调节等，详情请参见本章相关文档。 服务访问方式 在CCE中，支持以下类型的互联互通： 集群内访问（ClusterIP ） 工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问。集群内部域名格式为“ . .svc.cluster.local”，例如“nginx.default.svc.cluster.local”。详细请参见集群内访问(ClusterIP)。 节点访问（NodePort ） 节点访问 ( NodePort）是指在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求 : ，可以从集群的外部访问一个NodePort服务。详细请参见节点访问(NodePort)。 负载均衡 ( LoadBalancer ) 通过弹性负载均衡从公网访问工作负载，与弹性IP方式相比提供了高可靠的保障，一般用于系统中需要暴露到公网的服务。访问方式由公网弹性负载均衡ELB服务地址以及设置的访问端口组成，例如“10.117.117.117:80”。详细请参见负载均衡(LoadBalancer)。 七层负载均衡（Ingress） 通常情况下，service和pod的IP仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到service在Node上暴露的NodePort上，然后再由kubeproxy通过边缘路由器 (edge router) 将其转发给相关的Pod或者丢弃，而Ingress就是为进入集群的请求提供路由规则的集合。 Ingress可以给service提供集群外部访问的URL、负载均衡、SSL终止、HTTP路由等。为了配置这些Ingress规则，集群管理员需要部署一个Ingress controller，它监听Ingress和service的变化，并根据规则配置负载均衡并提供访问入口。 Ingress的组成部分： Nginx：实现负载均衡到pod的集合。 Ingress Controller：从集群api获取services对应pod的ip到nginx配置文件中。 Ingress：为nginx创建虚拟主机。 Ingress的创建与管理请参见Ingress概述。 网络策略（NetworkPolicy） 网络策略（NetworkPolicy）是一种关于pod间及pod与其他网络端点间所允许的通信规则的规范。 NetworkPolicy资源使用标签选择pod，并定义选定pod所允许的通信规则，详细请参见NetworkPolicy。 网络底层基础设施 VPC 虚拟私有云（Virtual Private Cloud，以下简称VPC），是基于创建的自定义私有网络，不同的专有网络之间彻底逻辑隔离。可以为云服务器、云数据库和负载均衡等构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云上资源的安全性，简化用户的网络部署。 您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间弹性云主机的访问规则，加强弹性云主机的安全保护。 ELB 弹性负载均衡（Elastic Load Balance，简称ELB）是将访问流量根据转发策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 弹性负载均衡支持经典型、共享型两种负载均衡： − 经典型负载均衡：适用于访问量较小，应用模型简单的web业务。 − 共享型负载均衡：适用于访问量较大的web业务，提供基于域名和URL的路由均衡能力，实现更加灵活的业务转发。

本节介绍了有状态服务的用户指南。 基本概念 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysqlHA等。 操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。 因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于云容器引擎提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照集群开通中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建StatefulSet与创建Deployment的过程类似，但主要有以下几个方面的差异，需要注意： 数据卷 除了Deployment能够使用的六种类型的数据卷之外，StatefulSet还多了新建PVC这种类型的数据卷挂载，而且这种类型的数据卷仅StatefulSet能够使用。一般情况下，如果我们使用StatefulSet来做数据的持久化，即可使用新建PVC这种数据卷。 使用这种数据卷挂载的时候，我们需要提前创建好存储类，然后点击上面的新建pvc。 新建pvc时的参数需要留意，只有同时满足下述条件，新建PVC才能成功绑定到我们提前创建的持久存储卷上： 名称可以任意填写 StorageClass；名称要选择我们提前创建好的持久存储类。 所需容器：不能超过我们提前创建好的持久存储卷的容量。 访问模式：要和我们提前创建的持久存储卷的访问模式一致。

参数名称 是否必填 参数说明 沙箱类型 是 智能体引擎支持基础沙箱、代码沙箱、浏览器沙箱、AIO沙箱和自定义沙箱5种沙箱类型。 模板名称 是 沙箱模板名称用户內唯一。 模板名称规则 ： 以字母开头，可包含字母、数字、下划线和连字符，且长度不超过32个字符。 描述 否 沙箱模板的描述。 镜像来源 是 镜像来源有2种，默认镜像和自定义镜像。默认镜像为智能体引擎服务提供的内置镜像；自定义镜像需要您依次选择 容器镜像实例 、 容器镜像仓库 和 容器镜像版本 。 规格方案 是 沙箱CPU和内存规格，目前支持多种规格。 临时磁盘大小 是 沙箱使用的临时磁盘大小，目前只支持512MB规格。 环境变量 否 沙箱中的环境变量以键值对的方式存储。 环境变量名规则 ：以字母开头，只能包含字母、数字和下划线，长度3256个字符，且不能以AGE开头。 执行超时时间 是 沙箱实例在创建后可运行的最长时间，超时将自动销毁。规格有多种，最短1分钟，最长为6小时，也可以创建永久常驻的沙箱实例。 访问凭证 否 访问沙箱实例入站凭证，目前支持API Key、Basic Auth和JWT3种类型。 执行角色 否 沙箱中需要访问天翼云资源，该角色生成的临时AK和临时SK会设置到环境变量中。 AGECTYUNACCESSKEY：如果沙箱模板中配置了执行角色，选择的角色的临时AK会放在该环境变量。 AGECTYUNSECRETKEY：如果沙箱模板配置了执行角色，选择的角色的临时SK会放在该环境变量。 网络配置 是 沙箱中访问公网和VPC。 访问公网 ：允许沙箱访问公网服务。 访问VPC ：允许沙箱访问您VPC下的天翼云资源。访问VPC需要选择VPC和子网，并且支持配置黑白名单。 ZOS挂载 否 沙箱中挂载天翼云对象存储ZOS，最多支持5个挂载点。 ZOS挂载点 ：对象存储Bucket名称。 Bucket子目录 ：设置Bucket中的子目录，必须为绝对路径。设置为/表示挂载Bucket的根目录。 沙箱本地目录 ：设置沙箱运行环境中的本地目录。 沙箱本地目录权限 ：选择Bucket挂载到沙箱运行环境中的本地目录后，该目录的访问权限。支持设置为只读或读写权限。 NAS挂载 否 沙箱中挂载天翼云弹性文件服务SFS，最多支持5个挂载点，必须开启网络配置中的VPC访问，且弹性文件服务SFS和网络配置同VPC。 弹性文件服务 ：选择已创建的SFS文件系统实例。 VPCE挂载地址 ：选择SFS文件系统实例下的VPCE挂载地址。 远端目录 ：远端SFS中的目录是指位于SFS文件系统中的绝对目录，以/开头。 沙箱本地目录 ：设置沙箱运行环境中的本地目录。

参数名称 是否必填 参数说明 沙箱类型 是 智能体引擎支持基础沙箱、代码沙箱、浏览器沙箱、AIO沙箱和自定义沙箱5种沙箱类型。 模板名称 是 沙箱模板名称用户內唯一。 模板名称规则 ： 以字母开头，可包含字母、数字、下划线和连字符，且长度不超过32个字符。 描述 否 沙箱模板的描述。 镜像来源 是 镜像来源有2种，默认镜像和自定义镜像。默认镜像为智能体引擎服务提供的内置镜像；自定义镜像需要您依次选择 容器镜像实例 、 容器镜像仓库 和 容器镜像版本 。 规格方案 是 沙箱CPU和内存规格，目前支持多种规格。 临时磁盘大小 是 沙箱使用的临时磁盘大小，目前只支持512MB规格。 环境变量 否 沙箱中的环境变量以键值对的方式存储。 环境变量名规则 ：以字母开头，只能包含字母、数字和下划线，长度3256个字符，且不能以AGE开头。 执行超时时间 是 沙箱实例在创建后可运行的最长时间，超时将自动销毁。规格有多种，最短1分钟，最长为6小时，也可以创建永久常驻的沙箱实例。 访问凭证 否 访问沙箱实例入站凭证，目前支持API Key、Basic Auth和JWT3种类型。 执行角色 否 沙箱中需要访问天翼云资源，该角色生成的临时AK和临时SK会设置到环境变量中。 AGECTYUNACCESSKEY：如果沙箱模板中配置了执行角色，选择的角色的临时AK会放在该环境变量。 AGECTYUNSECRETKEY：如果沙箱模板配置了执行角色，选择的角色的临时SK会放在该环境变量。 网络配置 是 沙箱中访问公网和VPC。 访问公网 ：允许沙箱访问公网服务。 访问VPC ：允许沙箱访问您VPC下的天翼云资源。访问VPC需要选择VPC和子网，并且支持配置黑白名单。 ZOS挂载 否 沙箱中挂载天翼云对象存储ZOS，最多支持5个挂载点。 ZOS挂载点 ：对象存储Bucket名称。 Bucket子目录 ：设置Bucket中的子目录，必须为绝对路径。设置为/表示挂载Bucket的根目录。 沙箱本地目录 ：设置沙箱运行环境中的本地目录。 沙箱本地目录权限 ：选择Bucket挂载到沙箱运行环境中的本地目录后，该目录的访问权限。支持设置为只读或读写权限。 NAS挂载 否 沙箱中挂载天翼云弹性文件服务SFS，最多支持5个挂载点，必须开启网络配置中的VPC访问，且弹性文件服务SFS和网络配置同VPC。 弹性文件服务 ：选择已创建的SFS文件系统实例。 VPCE挂载地址 ：选择SFS文件系统实例下的VPCE挂载地址。 远端目录 ：远端SFS中的目录是指位于SFS文件系统中的绝对目录，以/开头。 沙箱本地目录 ：设置沙箱运行环境中的本地目录。

本章主要介绍使用API网关开放云容器引擎CCE实施步骤。 准备CCE工作负载信息 1、创建CCE集群。 a. 登录云容器引擎控制台，在“集群管理”页面购买CCE Standard集群或CCE Turbo集群。此处选择CCE Standard集群，容器网络模型为“VPC网络”。 b. 集群创建完成后，记录容器网段。 c. 在APIG专享版实例的“路由”中添加容器网段。 1. 登录API网关控制台，在左侧导航栏中“实例管理”。 2. 单击对应实例名称，进入实例信息页面。 3. 在“路由”区域添加容器网段。 2、创建工作负载。 a. 在云容器引擎控制台的“集群管理”页面，单击已创建的集群名称，进入集群详情。 b. 在左侧导航栏中选择“工作负载”。 c. 单击“创建负载”。此处选择“无状态负载 Deployment”负载类型。 通过创建负载通道开放CCE工作负载 1、创建负载通道。 a. 进入API网关控制台，在左侧导航栏上方选择实例。 b. 在左侧导航栏中选择“API管理 > API策略”。 c. 在“负载通道”页签中单击“创建负载通道”。 1. 基本信息配置 参数 配置说明 :: 通道名称 填写负载通道名称，根据规划自定义。建议您按照一定的命名规则填写负载通道名称，方便您快速识别和查找。此处填写“VPCdemo”。 端口 填写已创建工作负载的容器端口，指工作负载中pod里业务直接对外开放的接口。此处填写“80”，80端口默认为http协议端口。 分发算法 此处选择“加权轮询”。通过分发算法确定请求被发送到哪台主机。结合弹性服务器权重值，将请求轮流转发到每一台服务器。 通道类型 此处选择“微服务”。 2、微服务配置。 参数 配置说明 :: 微服务类型 默认选择“云容器引擎CCE”。 集群 选择已创建的集群。 命名空间 选择已创建集群中的命名空间，此处选择“default”。 工作负载类型 此处选择“无状态负载 Deployment”，与已创建的工作负载类型一致。 服务标识名 此处选择已创建的工作负载中的Pod标签“app”和“deploymentdemo”，指定工作负载。 服务标识值 此处选择已创建的工作负载中的Pod标签“app”和“deploymentdemo”，指定工作负载。 3、服务器分组配置。 参数 配置说明 :: 服务器分组名称 此处填写“servergroupv1”。 权重分配 此处填写“1”。 后端服务端口 此处填写“80”，与已创建工作负载中的容器端口一致。 描述 此处填写“Pod标签version值为v1的服务器分组”。 标签 此处选择已创建的工作负载中的Pod标签“versionv1”。 4、健康检查配置。 参数 配置说明 :: 协议 默认为“TCP协议”。 检查端口 填写为通道中后端服务器端口。 正常阈值 默认为“2”。判定VPC通道中主机正常的依据：连续检查x成功，x为您设置的正常阈值。 异常阈值 默认为“5”。判定VPC通道中主机异常的依据为：连续检查x失败，x为您设置的异常阈值。 超时时间 默认为“5”。检查期间，无响应的时间。 间隔时间 默认为“10”。连续两次检查的间隔时间。 5、单击“完成”。 在负载通道列表中，单击负载通道名称可查看创建的负载通道详情。

本文介绍弹性文件服务与其他服务之间的关系。 弹性文件服务与其他云服务的关系如图所示： 弹性文件服务与其他云服务详细关系如下： 服务名称 弹性文件服务与其他服务之间的关系 相关内容 弹性云主机/物理机 文件系统不可独立使用，须挂载至同一VPC下的弹性云主机、物理机等计算服务后进行访问和读写。 挂载文件系统 容器 弹性文件服务可为容器应用提供共享存储，可以满足用户容器高可用和容器数据持久化存储及备份需求。 容器挂载文件系统 虚拟私有云 虚拟私有云VPC为弹性文件服务构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云中资源的安全性，简化用户的网络部署。计算服务无法访问不在同一VPC下的文件系统，使用弹性文件服务时需将文件系统和计算服务归属于同一VPC下。 创建文件系统 云监控 当用户开通了弹性文件服务后，无需额外安装其他插件，即可在云监控查看对应服务的性能指标，包括读带宽、写带宽和读写带宽等。 数据监控

一级功能 二级功能 功能说明 离线训练 训练框架管理 兼容Tensorflow、Pytorch、Horovod、Mindspore等主流训练框架。 离线训练 数据集管理 提供数据集仓库，支持数据集导入导出、数据加速和数据集指标看板。 离线训练 智能调度 提供多种调度策略，支持拓扑感知、故障感知、优先级队列等调度策略。 离线训练 断点续训 任务分钟级别故障检测和任务重调度，支持优雅容错和断点续训。 离线训练 模型管理 支持模型输出到制品仓库、模型多版本管理。 离线训练 运维管理 支持集群、节点、卡、任务维度监控&日志，软硬件故障检测，AIOps智能恢复。 在线推理 推理框架管理 支持分布式vLLM、SGLang、国产MindIE和单机Ollama。 在线推理 AI网关 AI推理应用的接入层必要组件，通过开启多模型流量智能调度和管理，确保对外服务的稳定性以及灵活性。 在线推理 模型加速 支持模型权重加载加速、镜像卷加速、PD分离架构加速。 在线推理 KVCache缓存 支持KVCache缓存加速、KVCache offload、多级缓存、分布式KVCache。 在线推理 弹性扩缩容 支持LWS推理业务扩缩容、HPA、VPA、Cron HPA、ECI弹性推理。 在线推理 全链路可观测 支持推理框架指标监控、资源利用率监控、业务流量监控、推理全链路透明埋点，业务故障可观测。

参数 是否必填 参数类型 说明 示例 下级对象 clientToken 是 String 客户端存根，用于保证订单幂等性, 长度 1 64 79fa97e3c48bxxxx9f466a13d8163678 regionID 是 String 区域ID 81f7728662dd11ec810800155d307d5b targetGroupID 是 String 后端服务组ID tgxxx description 否 String 支持拉丁字母、中文、数字, 特殊字符：~!@$%^&()+ <>?:'{},./;'[,]·！@￥%……&（） —— +{},《》？：“”【】、；‘'，。、，不能以 http: / https: 开头，长度 0 128 desc instanceType 是 String 实例类型。取值范围：VM、BM、ECI、IP、IDC VM instanceID 是 String 实例ID，非IDC类型时必传，IP类型传网卡id xxxx protocolPort 是 Integer 协议端口。取值范围：165535 2000 weight 否 Integer 权重。取值范围：1256，默认为100 256 instanceVpc 否 String 当 instanceType 为 IDC 时，必须传 vpcxxxx instanceIP 否 String 后端服务IP，当 instanceType 为 IDC 时，必须传，当 instanceType 为IP类型且指定网卡IP 时，传入指定的IP 192.2.22.2

本文主要介绍登录节点。 约束与限制 SSH方式登录时要求该节点（弹性云主机 ECS）已绑定弹性公网IP。 只有运行中的弹性云主机才允许用户登录。 Linux操作系统用户名为root。 登录方式概述 登录节点（弹性云主机ECS）的方式有如下两种： 管理控制台远程登录（VNC方式） 未绑定弹性公网IP的弹性云主机可通过管理控制台提供的远程登录方式直接登录。 详细操作请参考：Linux云主机远程登录（VNC方式）。 SSH方式登录 仅适用于Linux弹性云主机。您可以使用远程登录工具（例如PuTTY、Xshell、SecureCRT等）登录弹性云主机。如果普通远程连接软件无法使用，您可以使用云主机ECS管理控制台的管理终端连接实例，查看云主机操作界面当时的状态。 说明 SSH方式登录包括SSH密钥和SSH密码两种方式。 本地使用Windows操作系统登录Linux节点时，输入的镜像用户名（Autologin username）为：root。 CCE控制台不提供针对节点的操作系统升级，也不建议您通过yum方式进行升级，如果您在节点上通过yum update升级了操作系统，会导致容器网络的组件不可用。

本文介绍云容器引擎的功能特性。 集群管理 支持1.15/1.18版本的Kubernetes 。 支持设置Master节点数量1个（基础版）或3个（高级版）。 支持50个Worker节点的集群规模。 支持绑定弹性IP，使用云主机、云硬盘、VPC作为集群的基础计算、存储、网络资源。 支持通过不同企业项目纳管集群。 支持挂载普通IO、高IO类型数据盘。 支持通过前端web界面及后台kubectl操控集群。 支持管理命名空间，可创建/删除命名空间。 节点管理 支持查看节点基本信息，节点事件记录，并进行节点重启等基本操作。 支持查看节点资源的使用情况，包括CPU、内存、网络速率、硬盘使用量等指标。 工作负载管理 支持创建与管理无状态应用（Deployment）、有状态应用（StatefulSet）。 支持最大100个实例数，支持同时多容器创建，支持用户自定义容器规格、容器镜像、环境变量等，支持容器生命周期处理，支持用户进行健康检查、本地存储卷HostPath，LocalVolume的容器数据存储挂载、容器日志挂载等设置。支持与节点、应用的亲和性、反亲和性调度策略。支持手动与自动触发应用伸缩，支持Pod级别的水平伸缩告警策略，可设置CPU使用率及物理内存使用率两种指标。支持迁移时间窗设置，支持通过YAML文件进行直接编辑应用。 支持负载应用的升级、版本回退功能。 支持查看应用资源的使用情况，包括CPU、内存、网络速率等指标，支持进行事件查看。 支持管理应用标签及注解，可自定义标签的key与value。 支持容器组管理，可查看容器组详细信息，并提供容器终端可实现对容器内部进行操控。

项目影响 交投集团现已在全市建设“交投能源”充电站数十个，充电车位400多个。市民通过小程序接入充电，平台访问快速，用户感知良好。 项目平台采用云原生架构，使用了天翼云众多高阶产品，包括云容器引擎、消息队列、云数据库等，为新能源充电桩上云场景树立了一个标杆。 云容器引擎整体方案介绍 业务痛点 客户期望使用xc架构主机构建容器集群，基于天翼云海光、鲲鹏主机开通容器。 业务缺乏云原生架构弹性扩展和智能运维能力。 小程序访问具有明显波峰波谷特征，需实现应用弹性扩展，又能节省不必要的成本。 技术方案 云容器引擎产品的架构图如下： 提升业务稳定性：选择天翼云容器引擎部署业务应用，经过电信上云容器大规模场景实践验及证优化，业务无需过多改造，只需注册到容器集群，不仅提升了稳定性，还节省了大量运维人力成本。 快速弹性应对突发流量：容器可以快速弹性扩展，一次性扩容多台云主机，业务负载能水平、定时伸缩。 简化用云体验：容器整合了天翼云IaaS和PaaS多种能力，如集成了应用性能监控、云日志服务，可以快速定位性能问题，更好地保证业务的连续性

本文主要介绍弹性伸缩概述。 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。 背景介绍 随着Kubernetes已经成为云原生应用编排、管理的事实标准，越来越多的应用选择向Kubernetes迁移，用户也越来越关心在Kubernetes上应用如何快速扩容面对业务高峰，以及如何在业务低谷时快速缩容节约资源与成本。 在Kubernetes的集群中，“弹性伸缩”一般涉及到扩缩容Pod个数以及Node个数。Pod代表应用的实例数（每个Pod包含一个或多个容器），当业务高峰的时候需要扩容应用的实例个数。所有的Pod都是运行在某一个节点（虚机或裸机）上，当集群中没有足够多的节点来调度新扩容的Pod，那么就需要为集群增加节点，从而保证业务能够正常提供服务。 弹性伸缩在CCE上的使用场景非常广泛，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 CCE弹性伸缩 CCE的弹性伸缩能力分为如下两个维度： 工作负载弹性伸缩 ： 即调度层弹性，主要是负责修改负载的调度容量变化。例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。 节点弹性伸缩 ： 即资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECS等资源的方式进行调度容量的补充。 两个维度的弹性组件与能力可以分开使用，也可以结合在一起使用，并且两者之间可以通过调度层面的容量状态进行解耦。

本文介绍如何将Pod调度到x86架构的虚拟节点上。 在Kubernetes集群（已有VNode）中，可以通过以下两种方式将Pod调度到VNode上，以ECI来运行。 1. 配置nodeSelector和tolerations VNode默认配置了Label和Taint，因此可以通过配置nodeSelector和tolerations，将Pod调度到VNode，以ECI来运行。 2. 指定nodeName 通过指定nodeName，可以将Pod调度到指定VNode，以ECI来运行。 方式一：配置nodeSelector和tolerations VNode默认配置了如下的Label和Taint： shell ... labels: k8s.ctyun.cn/vnode: "true" ... taints: effect: NoSchedule key: k8s.ctyun.cn/vnode value: "true" 参照如下yaml文件配置nodeSelector和tolerations，将Pod调度到VNode上： shell apiVersion: apps/v1 kind: Deployment metadata: name: vnodenginxdeployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: nodeSelector: 配置特定的nodeSelector k8s.ctyun.cn/vnode: "true" tolerations: 配置特定的tolerations key: k8s.ctyun.cn/vnode operator: "Equal" value: "true" effect: "NoSchedule" containers: name: nginx image: nginx:1.25alpine ports: containerPort: 80 方式二：指定nodeName 1. 获取集群中VNode的名称。 shell kubectl get nodes 默认情况下，集群VNode名称格式为[VNode ID] + [资源池] ，示例：vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud。 2. 参照如下yaml文件配置nodeName。 shell apiVersion: apps/v1 kind: Deployment metadata: name: vnodenginxdeployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: name: nginx image: nginx:1.25alpine ports: containerPort: 80 nodeName: vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud