一站式整合天翼云云产品 无缝集成云容器引擎，微服务引擎、应用性能监控和云日志服务等云产品能力，轻松一站式管理业务应用，提供更好用的工具链，应用异常采集，关联调用链和日志，帮助快速定位应用故障。

本节介绍了用户指南；存储概述。 存储概述 云容器引擎的存储功能基于Kubernetes容器存储接口（CSI），与天翼云存储服务（如云硬盘，弹性文件服务、对象存储、并行文件和海量文件等）深度融合，完全兼容Kubernetes原生的存储服务，包括 EmptyDir、HostPath、ConfigMap 和 Secret 等各种存储类型。 天翼云容器引擎集成云存储服务和原生存储服务，为应用程序提供可靠、高性能的存储解决方案。 存储类型概览 由于Container 中的文件在磁盘上是临时存放的，为了解决持久化存储以及同一 Pod 中多个容器共享文件，Kubernetes提出使用数据卷（Volume）作为Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。 云容器引擎从实现方式以及存储介质上对数据卷进行划分，主要有两类： 存储类型 说明 容器存储接口 OutofTree形式存储卷，使用标准的容器存储接口形成自定义存储插件，用户可以通过PVC/PV的形式实现挂载 。 存储介质为天翼云存储，包括云硬盘、弹性文件、对象存储等类型， 一般用于存储可用性要求较高的数据，或部分数据需要共享的场景。 云容器引擎通过 cstorcsi 实现该能力。 Kubernetes原生存储 InTree形式存储卷，通过Kubernetes代码仓库统一构建、编译、发布，比如ConfigMap一般用于给Pod注入配置数据、Secret一般用于给Pod传递敏感信息。 容器存储类型概览如下: 云硬盘 弹性文件 对象存储 并行文件 海量文件 概念 云硬盘（CTEVS，Elastic Volume Service）是一种可弹性扩展的块存储设备，可以为弹性云主机和弹性裸金属服务器提供高性能、高可靠的块存储服务。天翼云硬盘规格丰富，满足不同场景的业务需求，适用于文件系统、数据库、开发测试等场景。 弹性文件服务（CTSFS，Scalable File Service）提供按需扩展的高性能文件存储，可为云上多个弹性云服务器、容器、裸金属服务器提供共享访问，具备高可用性和高数据持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云为客户提供的一种海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 并行文件服务 HPFS（CTHPFS，High Performance File Storage）是由天翼云提供的高性能并行文件存储，具有高性能，高可靠性，高可扩展性的特点，充分满足影视渲染、自动驾驶等计算和数据密集型场景的需求。 海量文件服务OceanFS（）是天翼云推出的全托管、可扩展海量文件系统，满足海量数据、高带宽型应用场景的需求。OceanFS能够弹性扩展至PB规模，具备高可用性和持久性。 数据存储逻辑 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 采用文件存储方式，会以文件和文件夹的层次结构来整理和呈现数据。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 动态存储卷 支持 支持 支持 支持 支持 静态存储卷 支持 支持 支持 支持 支持 支持数据共享 共享盘支持 支持 支持，一般用于共享读场景，不建议用于写场景。 支持 支持 存储容量 10~ 32768GB 500~ 19480GB 512GB~10PB 100GB~4PB 应用场景 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如影视渲染、气象分析、石油勘探、EDA仿真、基因分析、AI训练、自动驾驶等计算和数据密集型场景的需求。 如HPC、媒体处理、文件共享、内容管理和Web服务等多种场景。 产品规格 参见：点这里 参见：点这里 参见：点这里 参见：点这里 参见：点这里 计费说明 参见：点这里 参见：点这里 参见：点这里 参见：点这里 参见：点这里

本节介绍了故障诊断的用户指南，云容器引擎提供一键故障诊断能力，包括Service诊断、节点诊断、Pod诊断、Ingress诊断，辅助定位集群中出现的异常问题。 前提条件 已创建容器集群，具体操作请参见 用户指南 > 集群 > 新建集群 。 确保集群运行状态处于运行中。 故障诊断功能介绍 云容器引擎提供的故障诊断功能如下表所示： 诊断项 说明 Service诊断 诊断Service相关问题，例如Service后端就绪Pod、异常事件信息等。 节点诊断 诊断节点相关问题，例如K8s节点NotReady等。 Pod诊断 诊断K8s Pod状态异常相关的问题，例如Pod启动失败、Pod频繁重启等 。 Ingress诊断 诊断Ingress相关流量配置问题。 配置故障诊断 注意 使用故障诊断功能时，系统将在您的集群节点上执行数据采集程序并收集检查结果。采集的信息包括系统版本、负载、Docker、kubelet等运行状态以及系统日志中的关键错误信息。数据采集程序不会采集您的业务信息及敏感数据。 配置Service、节点、Pod、Ingress等诊断操作类似。下文以配置节点诊断为例，介绍如何配置故障诊断功能。 1. 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2. 在集群列表中点击需要配置故障诊断的集群，进入集群管理页面。 3. 在集群管理页面导航栏中选择运维管理 > 故障诊断，进入故障诊断页面。 4. 在故障诊断页面，点击节点诊断Tab页面，在选择节点面板，选择需要诊断的节点名称，点击确定按钮发起诊断。 在诊断列表页面可查看诊断进展。诊断完成后，诊断页面将显示诊断结果。

本节介绍了：基础资源监控的用户指南。 应用场景 云容器引擎监控体系提供基础资源监控能力，通过安装ccsemonitor插件可以无侵入地采集集群基础资源指标。可以通过监控面板查看节点、工作负载、Pod的CPU、内存、网络、磁盘等基础资源的使用情况和健康状态，确保集群稳定运行。 前提条件 已创建集群，具体操作请参见 用户指南 > 集群 > 新建集群 章节。若已有集群，无需重复操作。 集群已安装ccsemonitor插件，可参考 用户指南 > 插件 章节。 通过Grafana仪表盘查看集群监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 运维管理 > 监控 查看Grafana仪表盘，可以查看集群监控概览、核心组件监控、节点监控、应用监控、网络监控等监控面板。 查看节点的监控信息 登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 在集群列表中点击需要查看监控的集群，进入集群管理页面。 左侧菜单选择 节点 > 节点 进入节点列表页，点击要查看监控的节点进入节点详情页，在节点详情页可以查看节点的监控信息

云应用引擎 CAE(Cloud App Engine) 是一款全托管的容器化应用平台,专为微服务架构设计。平台提供完整的应用生命周期管理能力,支持微服务应用的自动化部署、服务治理和智能运维。通过简化容器化改造流程,CAE 显著提升业务交付效率,保障系统的高可用性和稳定性。

本文介绍云容器引擎的功能特性。 集群管理 支持1.15/1.18版本的Kubernetes 。 支持设置Master节点数量1个（基础版）或3个（高级版）。 支持50个Worker节点的集群规模。 支持绑定弹性IP，使用云主机、云硬盘、VPC作为集群的基础计算、存储、网络资源。 支持通过不同企业项目纳管集群。 支持挂载普通IO、高IO类型数据盘。 支持通过前端web界面及后台kubectl操控集群。 支持管理命名空间，可创建/删除命名空间。 节点管理 支持查看节点基本信息，节点事件记录，并进行节点重启等基本操作。 支持查看节点资源的使用情况，包括CPU、内存、网络速率、硬盘使用量等指标。 工作负载管理 支持创建与管理无状态应用（Deployment）、有状态应用（StatefulSet）。 支持最大100个实例数，支持同时多容器创建，支持用户自定义容器规格、容器镜像、环境变量等，支持容器生命周期处理，支持用户进行健康检查、本地存储卷HostPath，LocalVolume的容器数据存储挂载、容器日志挂载等设置。支持与节点、应用的亲和性、反亲和性调度策略。支持手动与自动触发应用伸缩，支持Pod级别的水平伸缩告警策略，可设置CPU使用率及物理内存使用率两种指标。支持迁移时间窗设置，支持通过YAML文件进行直接编辑应用。 支持负载应用的升级、版本回退功能。 支持查看应用资源的使用情况，包括CPU、内存、网络速率等指标，支持进行事件查看。 支持管理应用标签及注解，可自定义标签的key与value。 支持容器组管理，可查看容器组详细信息，并提供容器终端可实现对容器内部进行操控。

本节介绍了云容器引擎概览的入门指引。 操作场景 概览用于查看用户整体的集群和节点情况。集群部分展示资源使用情况、组件状态、节点状态、资源对象数量和异常Pod。 前提条件 登录云容器引擎控制台。你需要开通集群后才能在概览界面看到相应的数据。若没有集群，请参考：订购集群 进行创建。 集群的CPU使用率、内存使用率、磁盘使用率、Pod使用率需安装监控插件才能呈现。若要安装监控插件，请参考：插件市场 安装插件的内容进行安装，也可以在概览界面上进行快捷安装。 操作步骤 通过切换集群可以展示不同集群的资源使用情况、组件状态、节点状态、资源对象数量和异常Pod。

本文主要介绍 镜像管理类问题 如何安装容器引擎？ 容器引擎几乎支持在所有操作系统上安装，用户可以根据需要选择要安装的容器引擎版本。 说明 容器镜像服务支持使用容器引擎1.11.2 及以上版本上传镜像。 安装容器引擎需要连接互联网，内网服务器需要绑定弹性IP后才能访问。 另外，在Linux 操作系统下，可以使用如下命令快速安装容器引擎。 curl fsSL get.docker.com o getdocker.sh sh getdocker.sh 如何制作容器镜像？ 自行制作容器镜像，主要有两种方法： 制作快照方式获得镜像（偶尔制作的镜像）：在基础镜像上（比如Ubuntu），先登录镜像系统并安装容器引擎软件，然后整体制作快照。 Dockerfile方式构建镜像（经常更新的镜像）：将软件安装的流程写成Dockerfile，使用docker build构建成容器镜像。 方法一：制作快照方式获得镜像 如果后续镜像没有变化，可采用方法一制作镜像。 具体操作如下： 找一台主机，安装容器引擎软件。 启动一个空白的基础容器，并进入容器。 例如：启动一个CentOS的容器。 docker run it centos 执行安装任务。 yum install XXX git clone cd bwa;make 说明 请预先安装好Git，并检查本机是否有ssh key设置。 输入exit退出容器。 制作快照。 docker commit m "xx" a "test" containerid test/image:tag a：提交的镜像作者。 containerid：步骤2中的容器id。可以使用docker ps a查询得到容器id。 m：提交时的说明文字。 test/image:tag：仓库名/镜像名:TAG名。 执行docker images可以查看到制作完成的容器镜像。

本节主要介绍前提条件 注册天翼云帐号，并登录成功。 获取AK/SK，请参考AK/SK获取方法。 说明 如果使用微服务引擎专业版，需要配置AK/SK。 如果使用微服务引擎专享版，不需要配置AK/SK。 创建一个虚拟私有网络VPC，请参考创建虚拟私有云和子网。 创建一个CCE集群，集群中至少包含一个ECS节点(为方便后续步骤的操作，节点 规格最好选择4vCPUs、8GB内存)并且绑定弹性IP。集群绑定弹性IP，请参考云容器引擎 > 购买容器集群。 本例将绑定GitHub源码仓库，实现源码构建、归档、应用创建， 需要先到GitHub官网注册帐号。 在ServiceStage创建仓库授权，授权访问GitHub仓库，请参考微服务云应用平台 > 仓库授权。

本文主要介绍 示例：某部门权限设计及配置示例：某部门权限设计及配置。 概述 随着容器技术的快速发展，原有的分布式任务调度模式正在被基于Kubernetes的技术架构所取代。云容器引擎（Cloud Container Engine，简称CCE）是高度可扩展的、高性能的企业级Kubernetes集群，支持社区原生应用和工具。借助云容器引擎，您可以在云上轻松部署、管理和扩展容器化应用程序，快速高效的将微服务部署在云端。 为方便企业中的管理人员对集群中的资源权限进行管理，CCE后台提供了多种维度的细粒度权限策略和管理方式。CCE的权限管理包括“集群权限”和“命名空间权限”两种能力，分别从集群和命名空间两个层面对用户组或用户进行细粒度授权，具体解释如下： 集群权限： 是基于IAM系统策略的授权，可以让用户组拥有“集群管理”、“节点管理”、“节点池管理”、“模板市场”、“插件管理”权限。 命名空间权限： 是基于Kubernetes RBAC能力的授权，可以让用户或用户组拥有Kubernetes资源的权限，如“工作负载”、“网络管理”、“存储管理”、“命名空间”等的权限。 基于IAM系统策略的“集群权限”与基于Kubernetes RBAC能力的“命名空间权限”，两者是完全独立的，互不影响，但要配合使用。同时，为用户组设置的权限将作用于用户组下的全部用户。当给用户或用户组添加多个权限时，多个权限会同时生效（取并集）。

云应用引擎CAE（Cloud App Engine）是一个容器应用全托管平台，提供微服务应用托管和治理运维能力；帮助用户简化微服务应用容器化改造流程，提高业务效率和系统可靠性。作为Serverless架构的重要组成部分，云应用引擎负责微服务类复杂应用的管理；它允许用户将应用托管至平台进行运维部署，对于处理复杂的业务逻辑尤为重要。它不仅提高了开发效率，降低了运维复杂度，还能通过事件驱动和可自动化拓展，提升了复杂应用的可用性和弹性。 产品架构 底层基于Kubernetes，实现了Serverless架构与微服务架构的完美结合。 支持Spring Cloud多种微服务框架、多种部署方式（ZIP包、镜像）和多种技术栈语言（Java、PHP、Python等）。 产品功能 功能 说明 应用全生命周期管理 提供从创建到运行的应用全生命周期管理服务 无侵入应用监控 提供无侵入的应用监控和告警能力，支持任意语言和任意框架。 无侵入微服务治理 支持Spring Cloud零代码改造迁移至云应用引擎。提供服务注册与发现、环境隔离、配置管理、限流降级、应用无损上下线、服务鉴权、全链路灰度等能力。 一键启停开发测试环境 中大型企业包含多套环境，测试环境如果长期保有应用实例，会导致闲置浪费高。云应用引擎提供逻辑隔离运行环境，通过一键启停开发测试环境能力，有效节省硬件成本。

本文介绍云容器引擎Serverless版的产品优势。 开箱即用 一键创建 Kubernetes 集群、直接部署应用程序，无需管理Kubernetes节点和服务器。 原生兼容 提供完善的Kubernetes兼容能力，支持原生Kubernetes应用和生态，可以轻松迁移已有的Kubernetes应用程序。 安全隔离 Pod基于弹性容器实例ECI服务运行，实现了安全隔离的容器运行环境，避免了容器实例间相互影响的问题。 降低成本 提供按需创建、按量计费的模式，避免了不必要的资源浪费和成本费用，同时Serverless也大大降低了运维成本。 服务集成 支持与天翼云基础服务无缝集成，可以使用一体化控制台高效操作。

步骤二：数据迁移 在这个阶段，您将把镜像和相关依赖服务的数据迁移到天翼云对应云产品中。可基于天翼云上提供的专业云迁移、云备份等迁移工具，或基于云产品提供的专门迁移指引进行迁移。例如： 三方云镜像仓库迁移参考：第三方镜像仓库导入 三方云MySQL迁移请参考：其他云MySQL迁移到RDS For MySQL 三方云PostgreSQL迁移请参考：其他云PostgreSQL迁移到RDS For PostgreSQL 其他类型存储迁移，请参考天翼云上对应云产品提供的迁移指引； 步骤三：天翼云集群创建与纳管 在这个阶段，您将评估目标集群所需规格信息并创建对应的天翼云CCE集群；然后将该目标集群关联到分布式容器云平台CCE One注册集群； 云容器引擎允许用户对集群资源进行个性化选取，以精准匹配其多样化的业务诉求。如下所示的表中，列举了集群的指标参数，并提供了参考规划选择；用户应依据自身业务的确切需求，对相关设置做出合理调配，其间，我们建议尽可能保持与原集群性能配置的一致性水平。 主要指标参数 指标参数说明 本示例规划 kubernetes版本 1.27.8 1.29.3 1.29.3 网络插件 cubecni：cubecni 是云容器引擎自研的网络插件，支持基于 Kubernetes 标准的网络策略来定义容器间的访问策略 calico：使用社区 calico CNI 插件的IP模式 cubecni apiserver访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。规格选择请见：[了解ELB实例规格](

本节介绍了云容器引擎的最佳实践：通过kubectl连接多集群。 当用户在云容器引擎中拥有多个Kubernetes（K8s）集群实例时，如何在一个主机终端通过kubectl连接访问多个集群，请参考如下指引。 前提条件： 拥有多个集群实例，且当前用户在某一主机网络能够连接多个集群的主机。 原理： 在某一主机上，配置多个集群实例的kubectl访问凭证，通过kubectl命令切换使用不同集群的上下文。 获取多个集群的kubectl访问凭证： 打开云容器引擎的集群信息连接信息tab页面，可查看到当前集群的访问凭证，点击复制按钮： apiVersion: v1 clusters: cluster: server: name: kubernetes contexts: context: cluster: kubernetes user: "16261" name: 1626117120288662000021 currentcontext: 1626217120288662000021 kind: Config preferences: {} users: name: "16261" user: clientcertificatedata: LS0tLS1CRUdJTiBDR1... clientkeydata: LS0tLS1CRUdJTiBSU0Eg1... clusters：描述集群的信息，我们需要取集群的访问地址，用于配置多个集群cluster列表。 users：描述访问集群访问用户的信息，我们需要取clientcertificatedata和clientkeydata这两个证书文件内容，用于配置多个集群的user列表。 contexts：描述集群配置的上下文，每个上下文关联了user和对应的cluster，用kubectl命令切换上下文，便可指定使用指定的user去访问对应的集群。 注意 一个集群可能有内网访问地址和公网访问地址，有两个上下文，可配置成两个cluster及对应的usercontext，通过切换上下文选择使用不同的地址访问集群。

产品优势 保持对存储服务器的实际管控权，不独占硬件，完全接管服务器，可部署其他应用。 对资源池进行升级扩容，可以任意选择任意规格和型号的服务器，无供应商锁定问题。 兼容 Kubernetes CSI，支持为容器提供存储资源，部署成本降低，同时支持弹性扩展能力。 建议搭配产品 物理机、专属云（存储独享型） 场景架构图

步骤二：数据迁移 本步骤中，您将对集群依赖服务的数据服务，例如镜像及云存储、云数据库、分布式缓存、分布式消息等，进行跨资源池迁移。 容器镜像跨资源池同步参考：同账号跨实例同步。 云数据库迁移，可使用 数据传输服务DTS。天翼云DTS是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输，致力于解决远距离、毫秒级异步数据传输难题。 其他云上数据迁移需求，请参考对应云产品提供的迁移服务及指引。 步骤三：目标集群创建与纳管 在这个阶段，您将评估目标集群所需规格信息并创建对应的天翼云CCE集群；然后将该目标集群关联到分布式容器云平台CCE One注册集群。 云容器引擎允许用户对集群资源进行个性化选取，以精准匹配其多样化的业务诉求。如下所示的表中，列举了集群的指标参数，并提供了参考规划选择；用户应依据自身业务的确切需求，对相关设置做出合理调配，其间，我们建议尽可能保持与原集群性能配置的一致性水平。 主要指标参数 指标参数说明 本示例规划 kubernetes版本 1.27.8 1.29.3 1.29.3 网络插件 cubecni：cubecni 是云容器引擎自研的网络插件，支持基于 Kubernetes 标准的网络策略来定义容器间的访问策略。 calico：使用社区 calico CNI 插件的IP模式。 cubecni apiserver访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。规格选择请见：[了解ELB实例规格](

本文主要介绍快速体验微服务引擎 概述 微服务引擎(CSE)是一个应用托管和微服务管理平台，依托微服务云应用平台(ServiceStage)服务，可以帮助企业简化部署、监控、运维和治理等应用生命周期管理工作。面向企业提供微服务、移动和Web类应用开发的全栈解决方案。 应用是一个功能相对完备的业务系统，由一个或多个特性相关的组件组成。应用组件是组成应用的某个业务特性的实现，以代码或者软件包为载体，可独立部署运行。 针对应用的组件提供启停、升级、回退、伸缩、查看日志、查看事件、设置访问方式、设置阈值告警等运维操作。 本例将基于ServiceComb(SpringMVC)框架，快速创建微服务应用，供您体验微服务引擎CSE的各项基础功能。 前提条件 注册天翼云帐号，并登录成功。 获取AK/SK，请参考AK/SK获取方法。 说明 如果使用微服务引擎专业版，需要配置AK/SK。 如果使用微服务引擎专享版，不需要配置AK/SK。 创建一个虚拟私有网络VPC，请参考创建虚拟私有云和子网。 创建一个CCE集群，集群中至少包含一个ECS节点(为方便后续步骤的操作，节点 规格最好选择4vCPUs、8GB内存)并且绑定弹性IP。集群绑定弹性IP，请参考云容器引擎 > 购买容器集群。 本例将绑定GitHub源码仓库，实现源码构建、归档、应用创建， 需要先到GitHub官网注册帐号。 在ServiceStage创建仓库授权，授权访问GitHub仓库，请参考微服务云应用平台 > 仓库授权。

本节介绍了用户指南： 对象存储概述。 云容器引擎支持使用天翼云对象存储作为存储卷。当前cstorcsi插件支持使用对象存储动态存储卷和静态存储卷，通过将对象存储挂载到容器指定目录下，以实现数据持久化需求。 天翼云对象存储为客户提供海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 使用限制 服务开通 使用前请在云容器引擎集群所在资源池，相应开通对象存储服务，参照指引：点这里 开通地域选择参见：点这里 存储类型 当前cstorcsi仅支持标准、低频两种存储类型 数据加密 暂不支持加密 其他 对象存储产品本身使用限制参见：点这里 产品规格 cstorcsi支持标准存储、低频存储 两种存储类型，这些存储类型具有不同的特点和适用场景，详见：对象存储性能说明 注意 当CSI版本为4.0.0及其以上版本时，删除不为空的对象存储pvc时，将保留对象存储bucket但删除对应的pvc和pv，您可以通过对象存储控制台删除对应的bucket。

本节介绍了云容器引擎的最佳实践：存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。

步骤二：数据迁移 在这个阶段，您将把镜像和相关依赖服务的数据迁移到云端。可基于天翼云上提供的专业云迁移、云备份等迁移工具，或基于云产品提供的专门迁移指引进行迁移。例如： 自建镜像仓库迁移请参考：迁移自建Harbor至容器镜像服务企业版 自建数据库如mysql迁移请参考：本地MySql迁移到RDS For MySQL 自建PostgreSQL迁移请参考：本地PostgreSQL迁移到RDS For PostgreSQL 自建Redis迁移请参考：自建Redis迁移到DCS 其他类型存储迁移，请参考天翼云上对应云产品提供的迁移指引； 步骤三：云上集群创建与纳管 在这个阶段，您将评估目标集群所需规格信息并创建对应的天翼云CCE集群；然后将该目标集群关联到分布式容器云平台CCE One注册集群； 云容器引擎允许用户对集群资源进行个性化选取，以精准匹配其多样化的业务诉求。如下所示的表中，列举了集群的指标参数，并提供了参考规划选择；用户应依据自身业务的确切需求，对相关设置做出合理调配，其间，我们建议尽可能保持与原集群性能配置的一致性水平。 主要指标参数 指标参数说明 本示例规划 kubernetes版本 1.27.8 1.29.3 1.29.3 网络插件 cubecni：cubecni 是云容器引擎自研的网络插件，支持基于 Kubernetes 标准的网络策略来定义容器间的访问策略 calico：使用社区 calico CNI 插件的IP模式 cubecni apiserver访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。规格选择请见：[了解ELB实例规格](

3、创建工作负载 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，单击左上角“创建SatefulSet”； 在创建对话框，数据卷栏中，选择添加数据卷，卷类型选择“使用已有PVC”，操作栏选择“添加已有PVC”； 在实例内容器栏，为容器设置挂载点。选择添加挂载点，选择数据卷为上一步创建，根据需要配置容器路径和权限； 所有的信息都配置完成后，单击 “提交” 。 创建成功后，您就可以正常使用数据卷。 通过kubectl命令行使用LocalPV动态存储卷 1、创建存储类（StorageClass） 使用kubectl连接集群，创建示例yaml文件scexample.yaml： plaintext apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: cstorcsilocallvmsc provisioner: local.csi.cstor.com parameters: 产品类型 type: lvm 所需挂载文件系统，当前支持ext4和xfs csi.storage.k8s.io/fstype: xfs 基础存储 baseStor: vg2 reclaimPolicy: Delete allowVolumeExpansion: true mountOptions: discard 执行以下命令，创建StorageClass plaintext kubectl apply f scexample.yaml 查看创建的StorageClass： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，在存储类列表查看。

本文介绍分布式容器云平台的入门指引。 分布式容器云平台旨在帮助用户解决跨区域、跨地域和跨云容器集群的管理难题，为用户提供一致的管理体验，提升用户的管理效率，降低运维成本，提高系统的稳定性和可靠性。 天翼云集群注册 支持一件关联专有版、托管版、智算版及Serverless版等天翼云云容器引擎集群，并且支持跨资源池关联。 三方云集群注册 纳管三方公有云上的 Kubernetes 集群，如阿里云(ACK)、腾讯云(TKE)、GCP (GKE)、AWS(EKS)等。 本地集群注册 纳管本地满足CNCF标准的IDC自建或私有云上的 Kubernetes 集群。

本节介绍了云容器引擎的最佳实践：服务发布。 灰度发布和蓝绿发布 当对服务进行版本更新升级时，需要使用到滚动升级、分批暂停发布、蓝绿发布以及灰度发布等发布方式。本文将介绍在云容器引擎集群中如何通过Nginx Ingress Controller来实现应用服务的灰度发布。 背景信息 灰度及蓝绿发布是为新版本创建一个与老版本完全一致的生产环境，在不影响老版本的前提下，按照一定的规则把部分流量切换到新版本，当新版本试运行一段时间没有问题后，将用户的全量流量从老版本迁移至新版本。 其中AB测试就是一种灰度发布方式，一部分用户继续使用老版本的服务，将一部分用户的流量切换到新版本，如果新版本运行稳定，则逐步将所有用户迁移到新版本。 云容器引擎控制台灰度发布功能的用法如下。 canary注解方式：使用canary Annotation配置蓝绿发布与灰度发布，canary Annotation是社区官方实现的灰度发布方式。 应用场景 基于客户端请求的流量切分场景：假设当前线上环境，您已经有一套服务Service A对外提供7层服务，此时上线了一些新的特性，需要发布上线一个新的版本Service A'。但又不想直接替换Service A服务，而是希望将请求头中包含foobar或者Cookie中包含foobar的客户端请求转发到Service A'服务中。待运行一段时间稳定后，可将所有的流量从Service A切换到Service A'服务中，再平滑地将Service A服务下线。 基于服务权重的流量切分场景：假设当前线上环境，您已经有一套服务Service B对外提供7层服务，此时修复了一些问题，需要发布上线一个新的版本Service B'。但又不想将所有客户端流量切换到新版本Service B'中，而是希望将20%的流量切换到新版本Service B'中。待运行一段时间稳定后，再将所有的流量从Service B切换到Service B'服务中，再平滑地将Service B服务下线。 针对以上多种不同的应用发布需求，天翼云容器云服务引擎Ingress Controller支持了多种流量切分方式：基于Request Header的流量切分，适用于灰度发布以及AB测试场景。基于Cookie的流量切分，适用于灰度发布以及AB测试场景。基于Query Param的流量切分，适用于灰度发布以及AB测试场景。基于服务权重的流量切分，适用于蓝绿发布场景。

本节介绍了容器云服务引擎CCSE的最佳实践，以弹性伸缩举例。 容器水平伸缩 容器云服务引擎CCSE支持在控制台界面上快速创建支持HPA的应用，实现容器资源的弹性伸缩。您也可通过定义HPA（Horizontal Pod Autoscaling）的YAML来进行配置。 背景信息 从v1.18开始，K8s v2beta2 API允许通过HPA的behavior字段配置扩缩行为。 在behavior字段中的scaleUp和scaleDown分别指定扩容和缩容行为。当您在使用HPA时，希望只进行扩容或者只进行缩容的Pod伸缩，则可以通过开启指标伸缩，单击禁止缩容或者禁止扩容来实现。默认值：均不禁止。禁止扩容：selectPolicy的值Disabled会关闭给定方向的扩容。因此使用以下策略，将会阻止扩容。 behavior: scaleUp: selectPolicy:Disabled 禁用缩容：selectPolicy的值Disabled会关闭给定方向的缩容。因此使用以下策略，将会阻止缩容。 behavior: scaleDown: selectPolicy:Disabled 通过容器服务控制台创建HPA应用 天翼云容器云服务引擎已经集成了HPA，您可以简便地通过容器服务控制台进行创建。您可以在创建应用的时候创建HPA，也可以在已有应用的基础上开启HPA。 方式一：在创建应用过程中，开启HPA 登录容器云服务引擎CCSE管理控制台。 在控制台左侧导航栏中，单击集群。 在集群列表页面中，单击目标集群名称。 在集群管理页左侧导航栏中，选择工作负载 > 无状态。 点击左上角的新增按钮。 填写基本信息，在实例数量中选择自动伸缩，设置伸缩的条件和配置。 Resource规则，支持CPU和内存，支持百分比和平均值等计值方式。 Pod规则，支持Pod指标对象，支持平均值的计值方式，支持指定指标。 Object规则，支持Service指标对象，支持阈值的计值方式，支持指定指标。 单击左下角的提交，一个支持HPA的Deployment就已经创建完毕。 结果验证：单击工作负载 > 无状态中单击应用名称，您可在部署的详情中查看伸缩组信息。在实际使用环境中，应用会根据CPU负载进行伸缩。您也可在测试环境中验证弹性伸缩，通过给Pod进行CPU压测，可以发现Pod即可完成水平的扩展。

开箱即用 无缝对接云容器引擎，一键安装部署即可监控容器集群。 提供开箱即用的监控大盘、告警规则。 低成本 免费提供容器集群基础指标监控。 提供全托管服务，无需额外购置资源，有效降低监控成本，维护成本近乎为零。 开源兼容 无缝支持标准开源 Prometheus 的配置文件格式（prometheus.yml），可灵活适配 Kubernetes 环境中的自定义监控规则（如ServiceMonitor）及基于注解（Annotation）的默认采集配置。 支持用户自定义维度的数据模型构建、通过 HTTP API 进行数据交互，以及使用 PromQL 实现复杂的指标查询与分析。 无上限数据规模 依托云存储能力，实现数据存储无上限，突破本地容量限制。云端分布式存储确保数据可靠性。 通过聚合实例实现对多套云容器集群的统一监控，用户可以实现跨容器集群的聚合查询。

步骤三：目标集群创建与纳管 在这个阶段，您将评估目标集群所需规格信息并创建对应的天翼云CCE集群；然后将该目标集群关联到分布式容器云平台CCE One注册集群； 云容器引擎允许用户对集群资源进行个性化选取，以精准匹配其多样化的业务诉求。如下所示的表中，列举了集群的指标参数，并提供了参考规划选择；用户应依据自身业务的确切需求，对相关设置做出合理调配，其间，我们建议尽可能保持与原集群性能配置的一致性水平。 主要指标参数 指标参数说明 本示例规划 kubernetes版本 1.27.8 1.29.3 1.29.3 网络插件 cubecni：cubecni 是云容器引擎自研的网络插件，支持基于 Kubernetes 标准的网络策略来定义容器间的访问策略 calico：使用社区 calico CNI 插件的IP模式 cubecni apiserver访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。规格选择请见：了解ELB实例规格 标准型I 控制节点数 1：单控制节点，无高可用能力，不建议在生产环境使用 3：基本的高可用能力 5：更多冗余的高可用能力 3 节点规格 分为控制节点规格和工作节点规格，如何选择可以参考：集群规格推荐规划 通用型4C8G 工作节点操作系统 公有镜像：ctyunos23.01 私有镜像：用户自定义镜像 ctyunos23.01 在目标CCE集群创建好后，需要进入天翼云分布式容器云平台CCE One控制台，将目标CCE集群关联到CCE One的注册集群以便支持后期的纳管与联邦调度能力；

本文为您介绍什么是专属云（计算独享型）。 专属云（CTDeC，Dedicated Cloud）是从公有云上物理隔离的专属虚拟化资源池，用户独享专用的服务器集群，并可在控制中心统一管理。 专属云分为专属云计算独享型（简称计算专属云）和专属云存储独享型（简称存储专属云）： 计算专属云实现计算资源的物理独享，存储和网络资源逻辑独享。 存储专属云实现计算和存储资源的物理独享，网络资源逻辑独享。 计算专属云是指在中国电信已经建设的公有云资源池上隔离出来的专属虚拟计算资源池，支持用户申请独占的物理设备，独享物理隔离的计算资源。用户通过独立的租户在该资源池内申请宿主机资源后，可以在其上发放弹性云服务器，用户可对专属计算资源统一管理。 产品架构 专属云（计算独享型）服务的产品架构如下图所示： 计算专属云实现计算资源的物理独享与存储资源的逻辑独享。 存储专属云实现计算资源与存储资源的物理独享。 计算专属云与存储专属云实现网络资源逻辑独享。 计算专属云、存储专属云与公有云使用统一的控制中心。控制中心采用多租户模式，分权分域地管理用户资源。 计算专属云可支持宿主机HA功能，前提条件为已预留HA设备。通过宿主机HA功能，云主机恢复成功率达到99.5%以上，云主机平均恢复时长可控制在90s以内，能够显著增强系统的稳定性。建议计算专属云中均预留HA设备以保证业务的正常运行。更多HA问题可查看 常见问题。

本章节介绍微服务云应用平台应用场景 容器托管解决方案 支持以容器的形式托管应用，无缝对接云容器引擎，您无需理解容器服务底层细节，可以通过控制台发布容器服务，并完成应用在容器里的全生命周期管理，包括发布、回滚、监控，服务启停，扩缩容等，有效降低运维人力成本。 微服务解决方案 兼容SpringCloud、Dubbo等微服务框架，0代码侵入就能完成 Dubbo 和Spring Cloud 应用上云，提供应用无损上下线、金丝雀发布，以及流量控制等多种服务治理特性，让企业构建微服务应用时更多的关注业务本身。

步骤三：云上集群创建与纳管 在这个阶段，您将评估目标集群所需规格信息并创建对应的天翼云CCE集群；然后将该目标集群关联到分布式容器云平台CCE One注册集群。 云容器引擎允许用户对集群资源进行个性化选取，以精准匹配其多样化的业务诉求。如下所示的表中，列举了集群的指标参数，并提供了参考规划选择；用户应依据自身业务的确切需求，对相关设置做出合理调配，其间，我们建议尽可能保持与原集群性能配置的一致性水平。 主要指标参数 指标参数说明 本示例规划 kubernetes版本 1.27.8 1.29.3 1.29.3 网络插件 cubecni：cubecni 是云容器引擎自研的网络插件，支持基于 Kubernetes 标准的网络策略来定义容器间的访问策略 calico：使用社区 calico CNI 插件的IP模式 cubecni apiserver访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。规格选择请见：了解ELB实例规格 标准型I 控制节点数 1：单控制节点，无高可用能力，不建议在生产环境使用 3：基本的高可用能力 5：更多冗余的高可用能力 3 节点规格 分为控制节点规格和工作节点规格，如何选择可以参考：集群规格推荐规划 通用型4C8G 工作节点操作系统 公有镜像：ctyunos23.01 私有镜像：用户自定义镜像 ctyunos23.01 在目标CCE集群创建好后，需要进入天翼云分布式容器云平台CCE One控制台，将目标CCE集群关联到CCE One的注册集群以便支持后期的纳管与联邦调度能力；

本章节介绍自定义授权服务 前提条件 1. 已开通云容器引擎，至少有一个云容器引擎集群实例。产品入口：云容器引擎。 2. 开通天翼云服务网格实例。 操作步骤 创建测试命名空间 kubectl create ns foo 打开sidecar自动注入 kubectl label ns foo istioinjectionenabled 部署sleep和httpbin应用 apiVersion: v1 kind: ServiceAccount metadata: name: sleep apiVersion: v1 kind: Service metadata: name: sleep labels: app: sleep service: sleep spec: ports: port: 80 name: http selector: app: sleep apiVersion: apps/v1 kind: Deployment metadata: name: sleep spec: replicas: 1 selector: matchLabels: app: sleep template: metadata: labels: app: sleep spec: terminationGracePeriodSeconds: 0 serviceAccountName: sleep containers: name: sleep image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/curl command: ["/bin/sleep", "infinity"] imagePullPolicy: IfNotPresent volumeMounts: mountPath: /etc/sleep/tls name: secretvolume volumes: name: secretvolume secret: secretName: sleepsecret optional: true 部署外部授权服务 apiVersion: v1 kind: Service metadata: name: extauthz labels: app: extauthz spec: ports: name: http port: 8000 targetPort: 8000 name: grpc port: 9000 targetPort: 9000 selector: app: extauthz apiVersion: apps/v1 kind: Deployment metadata: name: extauthz spec: replicas: 1 selector: matchLabels: app: extauthz template: metadata: labels: app: extauthz spec: containers: image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/extauthz:1.16.2 imagePullPolicy: IfNotPresent name: extauthz ports: containerPort: 8000 containerPort: 9000 apiVersion: v1 kind: ServiceAccount metadata: name: httpbin apiVersion: v1 kind: Service metadata: name: httpbin labels: app: httpbin service: httpbin spec: ports: name: http port: 8000 targetPort: 80 selector: app: httpbin apiVersion: apps/v1 kind: Deployment metadata: name: httpbin spec: replicas: 1 selector: matchLabels: app: httpbin version: v1 template: metadata: labels: app: httpbin version: v1 spec: serviceAccountName: httpbin containers: image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/httpbin imagePullPolicy: IfNotPresent name: httpbin ports: containerPort: 80

自定义容器引擎空间大小 数据盘根据容器存储Rootfs不同具有两种划分方式（以100G大小为例）：DeviceMapper类型和 OverlayFS类型 。 您可以登录到节点通过docker info命令查看存储引擎类型，如下所示。 docker infoContainers: 20 Running: 17 Paused: 0 Stopped: 3 Images: 16 Server Version: 18.09.0 Storage Driver: devicemapper Device Mapper类型存储Rootfs其中默认占90%的容器引擎和容器镜像空间又可分为以下两个部分： 其中/var/lib/docker用于Docker工作目录，默认占比20%，其空间大小 数据盘空间 90% 20% thinpool用于存储容器镜像数据、镜像元数据以及容器使用的磁盘空间，默认占比为80%，其空间大小 数据盘空间 90% 80% thinpool是动态挂载，在节点上使用df h命令无法查看到，使用lsblk命令可以查看到。 OverlayFS类型存储Rootfs 相比Device Mapper存储引擎，没有单独划分thinpool，容器引擎和容器镜像空间（默认占90%）都在/var/lib/docker目录下。 容器存储Rootfs情况如下： CCE集群：EulerOS 2.5操作系统使用Device Mapper，Ubuntu 18.04和EulerOS 2.9使用OverlayFS。CentOS 7.6 在1.19.16以下版本集群中使用Device Mapper，1.19.16及以上版本集群使用OverlayFS。EulerOS 2.8系统在集群版本v1.19.16r2前使用Device Mapper, v1.19.16r2及之后版本使用OverlayFS。

本文介绍如何创建容器应用。 应用指运行在CCE上的一组实例。创建一个完整的容器应用，可以通过“选择开源镜像”、“上传并选择私有镜像”两种方式实现，后续还将支持通过“应用模板”进行应用创建。本节指导用户通过容器镜像创建无状态类型的容器应用。 操作前提 已创建集群并添加节点。 若用户需要使用私有镜像作为镜像源，需要提前制作好私有镜像并将其上传到仓库中。 操作步骤 1.选择资源池，如【杭州2】，进入云容器引擎平台页面； 2.单击左侧导航栏的【工作负载】>【无状态】，进入无状态应用列表； 3.在【无状态】页下，单击【创建应用】按钮，进入应用创建页面； 4.按照页面提示填写，包含基本信息、容器设置、添加服务、高级配置几步。 1）基本信息填写：按照下表，输入相应参数，其它保持默认： 参数 说明 应用名称 nginx 部署集群 选择所创建的集群 实例数量 1 命名空间 default 2）单击【下一步】，进入容器设置页面>单击【选择镜像】按钮，弹出镜像选择框>在【天翼云官方镜像】页签中选择nginx的镜像，勾选后单击【确定】>选择镜像版本latest，容器名称及规格保持默认，其余配置可跳过>点击【下一步】，进入【添加服务】设置页面； 3）单击【添加服务】，参照下表，输入应用访问配置参数。本例中，将 nginx 应用设置为被集群内访问，参数具体填写内容如下表展示： 参数 说明 服务名称 输入应用发布的可被同个集群内的其他应用访问的名称，设置为：nginx 访问方式 集群内访问 容器端口 容器中应用启动监听的端口，nginx 镜像请设置为：81 访问端口 设置为8080 协议 TCP 4）单击【下一步】，高级设置可按需配置>单击【提交】,等待应用创建完成； 5）应用创建完成后，在应用管理列表中可查看到运行中的应用。 本章节以“天翼云官方镜像”的方式创建应用为例，来创建一个 nginx 容器应用。nginx 是一款轻量级的 Web 服务器，您可通过云容器引擎 CCE 快速创建 nginx 容器应用，搭建 nginx web 服务器。 说明： 节点和应用运行过程中会产生费用，建议您参照本章节创建应用后，删除应用和节点，避免费用产生。本章节执行完成后，可成功访问 nginx 的网页，如下图：