本文介绍计费类常见问题。 云容器引擎服务是如何进行收费的？ 云容器引擎服务目前仅采取包年包月的计费方式，支持用户进行13个月的时长选择，目前容器引擎服务不收取任何集群管理费用，仅对创建过程中的计算资源、如云主机、数据盘、弹性IP进行收费。 说明 ：具体的收费方式可参考【计费说明】部分。

本节介绍了云容器引擎的价格。 云容器引擎资费 一套云容器引擎集群资费包括：集群管理、计算资源、存储资源、负载均衡资源等。 一、以专有版容器集群为例： 必选项： 集群管理费0元、Master节点、Master节点系统盘、节点池节点、节点池系统盘、节点池节点数据盘、负载均衡ELB（用于内网 API Server绑定使用）。 可选项 ：NAT网关（用于Pod访问外网）、EIP（用于外网 API server绑定使用）、Ingress的ELB及EIP、云日志服务、容器镜像服务企业版等。 二、以托管pro版（管理50节点）为例： 必选项： 集群管理费1263元、节点池节点、节点池系统盘、节点池节点数据盘、负载均衡ELB（用于内网 API Server绑定使用）。 可选项 ：NAT网关（用于Pod访问外网）、EIP（用于外网 API server绑定使用）、Ingress的ELB及EIP、云日志服务、容器镜像服务企业版等。 容器集群管理费： 版本 计费项 计费方式 包月标准价格（元/月） 按需标准价格（元/小时） 专有版 集群管理 按需/包周期 0 0 托管版（单实例） 管理10节点 按需/包周期 0 0 托管版（高可用） 管理50节点 按需/包周期 1263 2.91 托管版（高可用） 管理200节点 按需/包周期 2400 5.64 托管版（高可用） 管理1000节点 按需/包周期 4671 11.07 托管版（高可用） 管理2000节点 按需/包周期 9780.9 20.93 容器集群管理费包一年预付费享受8.3折，包两年预付费享受7折，包三年预付费享受5折。 说明 托管版（单实例）建议个人学习用途，不承诺sla，不建议生产系统使用。

本节主要介绍镜像创建无状态工作负载（Nginx） 。 您可以使用容器镜像快速创建一个可公网访问的单实例工作负载。本章节将指导您基于云容器引擎CCE快速部署Nginx容器应用，并管理该容器应用的全生命周期，以期让您具备将云容器引擎应用到实际项目中的能力。 前提条件 您需要创建一个至少包含一个4核8G节点的集群，且该节点已绑定弹性IP，并确保其可联网下载容器镜像。 集群是运行工作负载的逻辑分组，包含一组云主机资源，每台云主机即集群中的一个节点。 创建集群的方法，请参见 集群。 Nginx应用概述 Nginx是一款轻量级的Web服务器，您可通过CCE快速搭建nginx web服务器。 本章节将以创建Nginx应用为例，来创建一个工作负载，预计需要5分钟。 本章节执行完成后，可成功访问Nginx的网页，如下图。 图 本例结果 操作步骤 步骤 1 登录CCE控制台。 步骤 2 单击集群进入集群控制台。 步骤 3 在左侧菜单栏选择“工作负载”，单击右上角“创建负载”。 步骤 4 填写以下参数，其它保持默认。 基本信息 负载类型：选择无状态负载。 负载名称：nginx。 命名空间：default。 实例数量：请设置为1。 容器配置 在基本信息中，“镜像名称”输入框中输入“nginx:latest”。 服务配置 单击服务配置下的加号，创建服务（Service），用于从外部访问负载。本例将创建一个负载均衡类型的Service，请在右侧弹窗中配置如下参数。 Service名称：输入应用发布的可被外部访问的名称，设置为：nginx。 访问类型：选择“负载均衡 ( LoadBalancer )”。 服务亲和：保持默认。 负载均衡器：如果已有负载均衡（ELB）实例，可以选择已有ELB，如果没有可选择“自动创建”，创建一个公网类型负载均衡器。 端口配置： 对外协议：TCP。 服务端口：设置为9888，该端口号将映射到容器端口。 容器端口：容器中应用启动监听的端口，nginx镜像请设置为80，其他应用容器端口和应用本身的端口一致。 步骤 5 单击右下角“创建工作负载”。 等待工作负载创建成功。 创建成功后在无状态负载下会显示一个运行中的工作负载。

本文介绍如何设置容器组。 容器组是Kubernetes部署应用或服务的最小的基本单位。一个容器组可以封装多个应用容器(也可以只有一个容器）、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 用户创建完应用，查看【容器组列表】。 容器组列表页中内容包括：实例名称、状态、实例IP、所在节点、就绪容器（已就绪/全部）、创建时间、操作（编辑YAML、监控、删除）。编辑YAML界面： 点击具体容器组，可进入容器组详情页，在此可查看到容器组详情，且可根据需求，对容器、监控、容器终端、日志、事件进行查看和监控。

本节介绍了容器镜像服务的续订说明。 到期前续费 手动续订：对于包年/包月订购的容器镜像服务，用户在资源到期前进行续费操作，可以延长原有资源到期时间，避免资源到期后冻结或超过保留期后被系统回收。详细操作请参考：费用中心续订管理手动续订 自动续订：自动续订仅针对采用包月、包年计费模式的资源。详细操作请参考：费用中心续订管理自动续订 到期处理 到期后，容器镜像服务进入保留期，您将不能正常访问及使用天翼云容器镜像服务企业版，但对于您存储在镜像服务中的数据予以保留。 若您在到期后15天内续费，自资源续订解冻开始，计算新的服务有效期，按照新的服务有效期计算费用。 若到期15天后您仍未续费，镜像服务中的数据将被删除(用户对象存储桶中的数据不会删除)。 充值 为防止相关资源不被停止或者释放，请及时进行充值，为避免帐号将进入欠费状态，需要在约定时间内支付欠款。

关联云产品 云容器引擎、容器镜像服务、应用性能监控、云日志服务 关系型数据库Mysql版、分布式缓存Redis版 NAT网关、弹性负载均衡、云硬盘、弹性文件、对象存储 业务效果 通过将客户小程序、SaaS平台前后端服务迁移使用天翼云容器，通过Kubernetes集群部署和扩展业务，最终项目资源利用率提升30%，版本发布周期缩短近20%，集群运行0故障，支撑业务快速发展。

本节介绍对象存储用户指南。 概述 ​分布式容器云平台提供cstorcsi插件，基于Kubernetes容器存储接口，深度融合天翼云存储服务对象存储，并完全兼容Kubernetes原生的存储服务。 对象存储概述 分布式容器云平台支持使用天翼云对象存储作为存储卷。天翼云对象存储为客户提供海量、弹性、高性价比的存储产品，通过S3协议和标准的服务接口，提供非结构化数据的存储服务。 使用限制 服务开通 使用前请在所在资源池，开通对象存储服务。 存储类型 当前分布式云容器平台非天翼云集群的注册集群仅支持对象存储、本地存储两种类型。 挂载类型 当前分布式容器云平台支持使用对象存储内网、外网地址挂载，请根据注册集群访问网络类型选择对应地址。 前提条件 插件安装需要配置用户AK、SK，安装前请先到天翼云门户 用户 > 查看 > 安全设置 > AccessKey 中获取；首次可通过 创建AccessKey获取。 对象存储默认为按需付费方式，天翼云账户余额需在100元以上。 节点标签：需打上topology.kubernetes.io/zone标签。 节点需安装s3fs工具用于挂载对象存储，建议版本为v1.89。 使用对象存储 插件安装 1. 登录到 分布式容器云平台 ，进入集群管理栏，打开指定注册集群详情页面，点击左侧导航栏，选择 插件市场，找到cstorcsi插件。 2. 在弹出的安装界面，配置用户AK、SK ，填写注册集群的 kubeletDir，点击安装。

本小节介绍容器安全卫士服务等级协议，请点击查看。 天翼云容器安全卫士服务等级协议

本节介绍智算容器产品定义。 产品定义 云容器引擎（智算版）是利用云原生架构和技术，在云容器引擎上快速定制化构建AI生产系统，提供智算场景下的调度策略（共享GPU调度、批作业调度、拓扑感知调度）、GPU/RDMA异构资源管理和GPU资源监控基础能力，为用户提供AI数据集管理，AI模型开发、训练、评测，以及模型推理等服务。 产品架构 智算版作为云容器引擎的新规格和增值服务，基于云容器引擎提供管理和运行AI任务的能力，功能结构如下： 智算容器对底层IaaS各类异构资源做统一管理，通过拓扑感知，智能调度算法，实现AI任务调度、AI任务流编排，支持AI模型开发、训练、推理等，可快速构建AI生产环境，降低AI使用门槛。

本文主要介绍 镜像管理类问题 如何安装容器引擎？ 容器引擎几乎支持在所有操作系统上安装，用户可以根据需要选择要安装的容器引擎版本。 说明 容器镜像服务支持使用容器引擎1.11.2 及以上版本上传镜像。 安装容器引擎需要连接互联网，内网服务器需要绑定弹性IP后才能访问。 另外，在Linux 操作系统下，可以使用如下命令快速安装容器引擎。 curl fsSL get.docker.com o getdocker.sh sh getdocker.sh 如何制作容器镜像？ 自行制作容器镜像，主要有两种方法： 制作快照方式获得镜像（偶尔制作的镜像）：在基础镜像上（比如Ubuntu），先登录镜像系统并安装容器引擎软件，然后整体制作快照。 Dockerfile方式构建镜像（经常更新的镜像）：将软件安装的流程写成Dockerfile，使用docker build构建成容器镜像。 方法一：制作快照方式获得镜像 如果后续镜像没有变化，可采用方法一制作镜像。 具体操作如下： 找一台主机，安装容器引擎软件。 启动一个空白的基础容器，并进入容器。 例如：启动一个CentOS的容器。 docker run it centos 执行安装任务。 yum install XXX git clone cd bwa;make 说明 请预先安装好Git，并检查本机是否有ssh key设置。 输入exit退出容器。 制作快照。 docker commit m "xx" a "test" containerid test/image:tag a：提交的镜像作者。 containerid：步骤2中的容器id。可以使用docker ps a查询得到容器id。 m：提交时的说明文字。 test/image:tag：仓库名/镜像名:TAG名。 执行docker images可以查看到制作完成的容器镜像。

本文主要介绍云日志服务与其他服务的关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为您需要接入的弹性云主机或容器集群提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 通过云日志服务，您可采集弹性云主机上的应用日志。云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境。更多信息请参见弹性云主机。 云容器引擎 云容器引擎提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，帮助用户在云上轻松部署、管理和扩展容器化应用。更多信息请参见云容器引擎产品介绍。 VPC终端节点 VPC终端节点（CTVPCEP，VPC EndPoint）可以在VPC内提供便捷、安全、私密的通道与云日志服务进行连接，用于进行日志数据上报。该服务使用天翼云内部网络，无需弹性公网IP，为您提供性能更加强大、更加灵活的网络。更多信息请参见VPC终端节点产品介绍。

本文介绍如何集群创建。 集群是计算资源的集合，包含一组节点资源，容器运行在节点上。在创建容器应用前，您需要存在一个可用集群。目前最多可以创建5个集群，请确保至少有一个可用的集群。如集群数量不够，可申请增加配额。 操作前提 能够确保账户中有充足的余额，否则将导致您的业务开通失败； 在【创建集群】之前，请确保已完成VPC、子网的创建及安全组的配置，若未创建可参考上一【环境设置】部分。 操作步骤 1. 登录天翼云； 2. 选择【控制台】>点击切换到具体资源池，如杭州2节点； 3. 在控制台中找到【容器服务】>点击【容器引擎】，进入容器服务界面； 4. 进入【总览】页面>单击【创建集群】按钮，进入集群创建界面； 5. 按照需要完成集群参数填写，集群创建参数详见下表，其中带“”的参数为必填参数。 参数 参数说明 基础配置 集群名称 新建集群的名称 Kubernetes版本 1.15/1.18 地域 根据最初选择的地域决定，集群创建过程中不可选 虚拟私有云 新建集群所在的虚拟私有云。若没有可选虚拟私有云，单击“创建虚拟私有云”进行创建 子网 节点虚拟机运行的子网环境。若没有可选子网，单击“创建子网”进行创建 系列 分为基础版、高级版（基础版集群将创建1个master节点和相应控制节点，worker节点配置由用户自由选择；高级版集群将创建3个master节点和相应控制节点，worker节点配置由用户自由选择。) 容器CIDR 默认是10.223.0.0/16，确定容器网段后，容器实例将在规划的网段内分配IP。不能与集群所选的VPC重复，当vpc和容器网段或者服务网段冲突提示：默认网段与所选虚拟私有云网段有冲突，请重新选择vpc 服务CIDR 默认是10.96.0.0/16，服务网段为kubernetes service ip网段，请根据业务需求选择该网段。不能与集群所选的VPC重复 企业项目 此项与主子账户权限有关，如果有主子账户权限分配要求，请提前规划企业项目 注： 如果您选择了IPv4/IPv6双栈的VPC和子网，那么要同时设置IPv4的容器CIDR和服务CIDR，以及IPv6的容器CIDR和服务CIDR，均不能与集群所选VPC重复。默认情况下，IPv6容器CIDR：fd03::/112；IPv6服务CIDR：fd05::/112。如有需要用户请根据个人需求进行修改。 worker 节点配置 规格 请根据业务需求选择相应的节点规格。 当前使用的是通用型S2类型云主机，可选规格以界面上显示为准 操作系统 请选择节点对应的操作系统 系统盘 默认为普通IO，50GB 数据盘 普通IO、高IO，规格为[50,2048]GB，默认50GB;范围502048GB;整数;填入小数自动四舍五入为整数，输入为空自动设置为50；步长为10 弹性IP 使用已有IP：使用已经创建出的弹性公网IP 创建后设置：不使用弹性公网IP（不使用弹性公网IP不能通过公网发送请求，可创建后绑定） 网络模型 容器隧道网络：基于底层 VPC 网络，构建独立的容器 VXLAN 隧道化的容器网络，与底层网络解耦，支持高扩展性，网络策略，多容器网络平面 worker节点数 默认最小值是1，只允许填入整数；步长为1；设置的节点数不能超过最大节点规模50；输入为空自动设置为1 购买时长 根据需求，设置购买时长 6. 确认右侧订单详情无误并确保已放开安全组6443、9080、9443、2379、2380端口后，单击【创建集群】，进入付费界面，完成费用支付； 7. 集群创建预计需要 610 分钟。请根据界面提示查看集群创建过程。创建完成后，点击【返回集群管理】链接； 8. 在导航栏单击【资源管理】>【集群管理】标签，进入集群列表界面，可查看创建的集群。

本文介绍云容器引擎的应用场景。 互联网应用上云场景 互联网应用上云已成为大部分企业及用户的需求，上云过程中计算、存储、网络等资源的分配及集群等组件的部署搭建，无疑提升了企业的信息化建设成本，耗时费力。用户需要在控制成本的前提下，实现互联网应用的快速上云，并保证业务可用性。天翼云云容器引擎为用户提供了健全的Iaas层能力，省去底层设施规划设计的烦恼，并提供了一键式快速部署业务的能力，容器镜像贯穿从开发到运维各环节，统一环境配置，用户可按需部署，提升了业务交付速率，降低业务部署运维成本。 应用 政务、教育、金融、电子商务、视频网站等互联网业务 场景特点 公司自行进行云上平台搭建，过程复杂，需要从零做起，自行维护搭建集群，难以满足未来业务的延展性，有较高的运维成本，并且时间周期长，效率低下。 使用场景 政务、教育、金融、电子商务、视频网站等互联网上云业务：云容器引擎平台提供一键化集群创建、应用部署功能。支持多资源多策略的管理和配置，简化了用户的上云操作，提升了用户业务上云的部署效率。 企业架构转型场景 伴随着互联网技术的不断发展，各大企业的系统越来越复杂，传统的系统架构越来越不能满足业务的需求，且结构复杂，业务间耦合度程度高。取而代之的是微服务架构，微服务是将复杂的应用切分为若干服务，每个服务均可以独立开发、部署和伸缩；微服务和容器组合使用，可进一步简化微服务的交付，提升应用的可靠性和可伸缩性。云容器引擎服务帮助用户实现将单一的业务架构解耦拆分为多个容器服务的微服务架构，每个应用可以独立部署、伸缩和更新，通过微服务和容器结合使用，进一步简化微服务的交付，使系统更灵活，轻松应对市场变化。

本文介绍可观测性相关操作。 容器引擎服务目前提供了总体资源的基础监控能力。用户可通过点击控制导航栏处的【总览】，进入总览界面，查看汇总的资源信息。也可单独查看各个应用、容器的相关信息。 操作步骤 总览界面查看使用CCE的相关信息，需首先选择当前集群，将展现选择集群的以下信息： 节点、应用、容器组、服务、ingress的数量统计数量； 监控管理：提供集群监控信息，包括网络速率，及磁盘、cpu、内存类型的资源利用率； 组件状态监控：提供API server、Controller Managers、Scheduler组件状态监控； 用户也可以通过点击【资源管理】>【集群管理】等入口，获得各应用状态及监控信息，同时可查看集群及容器日志： 监控：无状态应用及容器组运行情况，包括正常与异常两种状态; 应用资源使用量监控：记录当前的资源使用量，包括CPU使用量、内存使用量； 应用事件：记录应用事件，包括发生次数、事件、类型、消息内容等； 容器组日志：提供容器内部的日志信息； 容器事件：记录容器事件，包括发生次数、事件、类型、消息内容等； 集群日志：提供集群创建过程中的日志信息； 集群监控：提供cpu、内存、磁盘使用率指标及网络上下行速率监控指标查看； 节点监控：提供cpu、内存、磁盘使用率指标及网络上下行速率监控指标查看； 节点事件：记录容器事件，包括发生次数、事件、类型、消息内容等。

本文介绍ECI实例如何设置探针进行健康检查。 ECI实例支持为容器配置多种类型的探针，对容器进行健康检查。不同类型的探针如下： 应用存活探针：检查容器是否正常运行。如果检查成功，则表示容器正常运行。如果检查失败，系统会根据配置的容器重启策略进行相应的处理。如果未配置该探针，则默认容器一直正常运行。 应用业务探针：检查容器是否已经就绪，可以为请求提供服务。如果检查成功，则表示容器已经准备就绪，可以接收业务请求。如果检查失败，则表示容器没有准备就绪，系统将停止向该容器发送任何请求，直至重新检查成功。 配置说明 1.在弹性容器实例控制台左侧导航栏中选择“容器组”，进入容器组列表页。 2.点击“创建弹性容器组”，进入弹性容器实例订购页。 3.在容器设置的高级设置中为每个容器设置探针。支持在容器启动后特定时间开始探测，支持设定探测超时的时间。检查方式支持命令行、Http请求、TCPSocket等多种探测手段。

高级配置——日志收集管理 应用部署到k8s集群时，可以开通云日志服务，把业务文件日志、容器标准输出stdout、stderr日志输出到云日志服务，方便无限制行数地查看日志和自聚合分析日志。目前，云日志服务支持的采集日志类型为标准输出、文件日志，文件日志的采集路径支持配置为具体文件、文件夹。配置为具体文件时，系统只会采集该文件的日志；配置为文件夹时，系统会采集该文件夹下所有文件的日志。添加采集规则需要选择日志项目和日志单元，若不存在日志项目和日志单元可以点击选择框后面的创建按钮进行创建。 需要注意的是，正常使用日志收集管理功能需要两个前提： 1. 需要开通云日志服务； 2. 需要在开通的云容器引擎实例中成功安装日志插件； 高级配置——配置管理 将创建好的K8s配置项或者K8s保密字典以文件的形式挂载到容器的指定目录，从而向容器中注入配置信息。 配置管理参数名称 配置管理参数含义 配置类型 目前支持K8s配置项和K8s保密字典。 挂载类型 支持挂载到文件。 挂载源 需要挂载到应用容器文件系统中的配置项名称。 挂载主目录 设置容器的挂载主目录。路径必须以正斜线（/）开头。 文件挂载方式 保留原文件。保留原目录下的文件，相同文件名将保留本次挂载文件，隐藏原目录重名文件。 挂载配置 要挂载的key：需要挂载到应用容器文件系统中的配置项指定的Key。 挂载文件路径：相对挂载主目录的子路径。

如果您精通K8s，且需要在应用容器启动前或者关闭前执行相关操作，例如运行前部署资源或者停止前优雅下线应用，可以设置应用生命周期管理。本文主要介绍如何在CAE应用中配置PostStart、PreStop和TerminationGracePeriodSeconds。 功能介绍 Pod hook（容器钩子）是由Kubernetes管理的kubelet组件发起的机制，用于在容器的生命周期的关键阶段执行自定义任务。这些阶段包括容器进程启动前（preStart）和终止前（preStop）。钩子的引入使Kubernetes能够更加灵活和精细地管理容器的生命周期。 启动后处理（PostStart设置）：是容器生命周期中的一种钩子，该钩子在容器被创建后立刻触发，通知容器它已经被创建。该钩子不需要向其所对应的hook handler传入任何参数。如果该钩子对应的hook handler执行失败，则该容器会被关闭，并根据该容器的重启策略决定是否重启该容器。 停止前处理（PreStop设置）：是容器生命周期中的一种钩子，该钩子在容器终止前触发，通常用于执行清理操作或优雅地关闭服务。其对应的hook handler必须在Kubernetes向容器发送终止信号（如 SIGTERM）之前完成。无论hook handler的执行结果如何，一旦其完成，Kubernetes将向容器发送SIGTERM信号以终止容器，并根据配置等待一段时间后强制删除容器。 优雅下线超时设置（TerminationGracePeriodSeconds）：其主要作用是为容器的优雅终止提供时间保障，确保应用能够在被强制停止之前完成必要的清理和关闭操作。这不仅有助于提升系统的稳定性和可靠性，还能避免因强制终止导致的数据丢失、请求失败和服务不可用等问题。结合 PreStop钩子可以实现完整的优雅下线流程。

如果您精通K8s，且需要在应用容器启动前或者关闭前执行相关操作，例如运行前部署资源或者停止前优雅下线应用，可以设置应用生命周期管理。本文主要介绍如何在CAE应用中配置PostStart、PreStop和TerminationGracePeriodSeconds。 功能介绍 Pod hook（容器钩子）是由Kubernetes管理的kubelet组件发起的机制，用于在容器的生命周期的关键阶段执行自定义任务。这些阶段包括容器进程启动前（preStart）和终止前（preStop）。钩子的引入使Kubernetes能够更加灵活和精细地管理容器的生命周期。 启动后处理（PostStart设置）：是容器生命周期中的一种钩子，该钩子在容器被创建后立刻触发，通知容器它已经被创建。该钩子不需要向其所对应的hook handler传入任何参数。如果该钩子对应的hook handler执行失败，则该容器会被关闭，并根据该容器的重启策略决定是否重启该容器。 停止前处理（PreStop设置）：是容器生命周期中的一种钩子，该钩子在容器终止前触发，通常用于执行清理操作或优雅地关闭服务。其对应的hook handler必须在Kubernetes向容器发送终止信号（如 SIGTERM）之前完成。无论hook handler的执行结果如何，一旦其完成，Kubernetes将向容器发送SIGTERM信号以终止容器，并根据配置等待一段时间后强制删除容器。 优雅下线超时设置（TerminationGracePeriodSeconds）：其主要作用是为容器的优雅终止提供时间保障，确保应用能够在被强制停止之前完成必要的清理和关闭操作。这不仅有助于提升系统的稳定性和可靠性，还能避免因强制终止导致的数据丢失、请求失败和服务不可用等问题。结合 PreStop钩子可以实现完整的优雅下线流程。

本节介绍了云容器引擎的最佳实践：某量子云平台迁移项目。 项目概述 某量子云平台对外提供量子计算机实验/实操服务，其应用架构由他云迁移到天翼云，通过天翼云实现应用组件化和容器化，通过K8S统一部署和管理业务。 该平台包括官网、博客网站、web管理后台等系统。 容器支撑方案 迁移使用的容器架构图如下： 研发迭代更高效：使用crs镜像服务一键部署应用 便于扩容快弹性高：使用HPA弹缩pod 解决内外网互连互通：使用Nginx+Spring GateWay实现内外网流量隔离和路由转发 底层资源占用少：使用csi插件动态挂载sfs存储 助力运维更便捷：使用云日志插件采集容器日志 最终效果 2023年6月迁移至天翼云试运行，12月已付费容器并运营至今，现业务稳定运行。

在使用云应用引擎 CAE 之前，需了解该产品所涉及的概念。本文介绍与 CAE 产品相关的专有名词与基本概念。 命名空间 逻辑隔离的运行环境。 包含 K8s 的命名空间和微服务的命名空间两层含义。从应用的服务调用的视角隔离不同的运行环境。例如开发环境、测试环境、生产环境。 应用 应用是 CAE 管理的基本单位。 一个应用内通常包含一个或多个实例。CAE 提供了完整的应用生命周期管理机制，可以完成应用从发布到运行过程的全面管理，包括应用创建、部署、启动、回滚、扩缩容等操作。 应用实例 应用运行的最小单位。 应用通常在一个或多个实例上运行，应用可以拥有多个部署版本，不同实例上运行着不同版本的应用程序。 微服务应用 提供服务注册发现和服务治理的能力，例如使用 Spring Cloud以及 K8s Service 框架来开发和通信的应用。 启动命令 设置容器启动和运行时所需要的命令。 启动容器就是启动主进程。在制作镜像时请在 Dockerfile 文件中设置 ENTRYPOINT 或 CMD。例如在 Dockerfile 中设置了 ENTRYPOINT ["top", "b"]，则在容器启动时执行该命令。 容器 镜像运行时的实体。 可以对容器进行创建、启动、停止、删除和暂停等操作。镜像和容器的关系，类似面向对象程序设计中的类和实例的关系，镜像是静态的概念，而容器是动态的概念。实例与容器是一对一的关系。

操作场景 CCE支持配置工作负载日志策略，便于日志的统一收集、管理和分析，以及按周期防爆处理。 本章节向您介绍如何采集容器标准输出日志。如果您需要通过配置日志策略的方式采集容器内路径日志，请参见采集容器内路径日志。 操作步骤 步骤 1 在创建工作负载时，添加容器后，展开“容器日志”。 步骤 2 保留默认配置，完成工作负载的创建。 步骤 3 查看日志。 工作负载创建完成后，访问nginx。进入工作负载详情页，单击右上角的“日志”按钮可查看日志详情。日志约需要等待5分钟查看。 说明：云容器引擎服务对接了应用运维管理服务AOM提供日志查看、检索功能。

本节主要描述在使用云容器引擎前，需理解该产品所涉及的概念，以便于您更好地理解容器产品。 关键词 说明 集群 集群指容器运行所需要的云资源组合，关联了若干服务器节点、负载均衡、专有网络等云资源。 专有版集群：需要创建1个Master（非高可用），或者3/5个Master（高可用）节点，以及若干Worker节点，可对集群基础设施进行更细粒度的控制，需要自行规划、维护、升级服务器集群。 托管版集群：只需创建Worker节点，Master节点由CCSE创建并托管，具备操作简单、低成本无需运维等特点。 节点 一台服务器（可以是虚拟机实例或者物理服务器）已经安装了Docker Engine，可以用于部署和管理容器。容器的Agent程序会被安装到节点上并注册到一个集群上。 专有网络VPC 专有网络VPC是您自己独有的云上私有网络。您可以完全掌控自己的专有网络，例如选择IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用天翼云资源如云服务器、云数据库和负载均衡等。 安全组 安全组是一种虚拟防火墙，具备状态检测和数据包过滤能力，用于在云端划分安全域。安全组是一个逻辑上的分组，由同一地域内具有相同安全保护需求并相互信任的实例组成。 应用目录 应用目录功能集成了Helm，提供了Helm的相关功能，并进行了相关功能扩展，例如提供图形化界面。 编排模板 编排模板是一种保存Kubernetes YAML格式编排文件的方式。 Kubernetes Kubernetes是一个开源平台，具有可移植性和可扩展性，用于管理容器化的工作负载和服务，简化了声明式配置和自动化。 容器（Container） 打包应用及其运行依赖环境的技术，一个节点可运行多个容器。 镜像（Image） 容器镜像是容器应用打包的标准格式，封装了应用程序及其所有软件依赖的二进制数据。 镜像仓库（Image Registry） 容器镜像仓库是一种存储库，用于存储Kubernetes和基于容器应用开发的容器镜像。 管理节点（Master Node） 管理节点是Kubernetes集群的管理者，运行着的服务包括kubeapiserver、kubescheduler、kubecontrollermanager、etcd组件，和容器网络相关的组件。 工作节点（Worker Node） 工作节点是Kubernetes集群中承担工作负载的节点，可以是虚拟机也可以是物理机。工作节点承担实际的Pod调度以及与管理节点的通信等。一个工作节点上的服务包括Docker运行时环境、kubelet、KubeProxy以及其它一些可选的组件。 命名空间（Namespace） 命名空间为Kubernetes集群提供虚拟的隔离作用。Kubernetes集群初始有3个命名空间，分别是默认命名空间default、系统命名空间kubesystem和kubepublic，除此以外，管理员可以创建新的命名空间以满足需求。 容器组（Pod） Pod是Kubernetes部署应用或服务的最小的基本单位。一个Pod封装多个应用容器（也可以只有一个容器）、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 副本控制器（ReplicationController，RC） RC确保任何时候Kubernetes集群中有指定数量的Pod副本在运行。通过监控运行中的Pod来保证集群中运行指定数目的Pod副本。指定的数目可以是多个也可以是1个；少于指定数目，RC就会启动运行新的Pod副本；多于指定数目，RC就会终止多余的Pod副本。 副本集（ReplicaSet，RS） ReplicaSet（RS）是RC的升级版本，唯一区别是对选择器的支持，RS能支持更多种类的匹配模式。副本集对象一般不单独使用，而是作为Deployment的理想状态参数使用。 工作负载（Workload） 工作负载是在Kubernetes上运行的应用程序。 标签（Label） Labels的实质是附着在资源对象上的一系列Key/Value键值对，用于指定对用户有意义的对象的属性，标签对内核系统是没有直接意义的。标签可以在创建一个对象的时候直接赋予，也可以在后期随时修改，每一个对象可以拥有多个标签，但key值必须唯一。 服务（Service） Service是Kubernetes的基本操作单元，是真实应用服务的抽象，每一个服务后面都有很多对应的容器来提供支持，通过KubeProxy的ports和服务selector决定服务请求传递给后端的容器，对外表现为一个单一访问接口。 路由（Ingress） Ingress是授权入站连接到达集群服务的规则集合。您可以通过Ingress配置提供外部可访问的URL、负载均衡、SSL、基于名称的虚拟主机等。通过POST Ingress资源到API Server的方式来请求Ingress。Ingress Controller负责实现Ingress，通常使用负载均衡器，它还可以配置边界路由和其他前端，这有助于以高可用的方式处理流量。 配置项（ConfigMap） 配置项可用于存储细粒度信息如单个属性，或粗粒度信息如整个配置文件或JSON对象。您可以使用配置项保存不需要加密的配置信息和配置文件。 保密字典（Secret） 保密字典用于存储在Kubernetes集群中使用一些敏感的配置，例如密码、证书等信息。 卷（Volume） 和Docker的存储卷有些类似，Docker的存储卷作用范围为一个容器，而Kubernetes的存储卷的生命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。 存储卷（Persistent Volume，PV） PV是集群内的存储资源，类似节点是集群资源一样。PV独立于Pod的生命周期，可根据不同的StorageClass类型创建不同类型的PV。 存储卷声明（Persistent VolumeClaim，PVC） PVC是资源的使用者。类似Pod消耗节点资源一样，而PVC消耗PV资源。 存储类（StorageClass） 存储类可以实现动态供应存储卷。通过动态存储卷，Kubernetes将能够按照用户的需要，自动创建其所需的存储。 弹性伸缩（Autoscaling） 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 可观测性（Observability） Kubernetes可观测性体系包含监控和日志两部分，监控可以帮助开发者查看系统的运行状态，而日志可以协助问题的排查和诊断。 Helm Helm是Kubernetes包管理平台。Helm将一个应用的相关资源组织成为Charts，然后通过Charts管理程序包。 节点亲和性（nodeAffinity） 节点亲和性指通过Worker节点的Label标签控制Pod部署在特定的节点上。 污点（Taints） 污点和节点亲和性相反，它使节点能够排斥一类特定的Pod。 容忍（Tolerations） 应用于Pod上，允许（但并不要求）Pod调度到带有与之匹配的污点的节点上。 应用亲和性（podAffinity） 应用亲和性决定应用Pod可以和特定Pod部署在同一拓扑域。例如，对于相互通信的服务，可通过应用亲和性调度，将其部署到同一拓扑域（例如同一个主机）中，以减少它们之间的网络延迟。 应用反亲和性（podAntiAffinity） 应用反亲和性决定应用Pod不与特性Pod部署在同一拓扑域。例如，将一个服务的Pod分散部署到不同的拓扑域（例如不同主机）中，以提高服务本身的稳定性。 服务网格（Istio） Istio是一个提供连接、保护、控制以及观测服务的开放平台，兼容社区Istio开源服务网格，用于简化服务的治理，包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力。

本节介绍了容器镜像版本不可变的用户指南。 概述 容器镜像服务支持开启镜像版本不可变功能，保证相同版本的镜像仅被成功推送一次，可有效避免因误操作引起的版本覆盖问题。现支持命名空间级别的配置，并可自定义需要开启镜像版本不可变功能的镜像仓库和版本。 操作步骤 创建版本不可变规则 1. 进入容器镜像服务控制台。 2. 点击已开通实例名称，左侧导航栏点击"容器镜像" "版本不可变" ，点击页面中的添加规则按钮。 3. 填写规则生效的仓库和Tag，以及需要保留最近推送的Tag数目。仓库和Tag的匹配规则如下： 参数 说明 key 精确匹配名称为key的仓库或Tag key 匹配前缀为key的仓库或Tag 匹配所有仓库或Tag {key1,key2,key3} 匹配多个仓库或Tag 管理版本不可变规则 1. 进入容器镜像服务控制台 。 2. 点击已开通实例名称，左侧导航栏点击"容器镜像" "版本不可变" ，可查看已有的版本不可变规则列表。 3. 点击编辑按钮可以调整已有的版本不可变规则内容。 4. 点击禁用按钮可以禁用已有的版本不可变规则。 5. 点击删除按钮可以删除已有的版本不可变规则。

专属云中的云容器引擎 场景特点：专属云容器引擎在天翼公有云中为企业用户提供物理隔离的资源和服务专属云空间。租户独占计算资源和存储资源，并使用天翼云高可靠的云网络，满足租户应用系统的高可靠、高性能和高安全等要求，支撑企业关键应用，减轻企业运维负担 场景优势： 专属隔离 租户在专属云中独享计算资源、存储资源和容器集群，与公有云其它租户的资源物理隔离，满足特殊行业核心数据隔离合规等要求 安全可靠 资源独占零抖动，服务专享高安全，可支持云上云下双中心、多点容灾备份 灵活组合 专属云中的云容器引擎支持与数据库、应用平台等服务实例对接，可灵活搭配公有云服务，实现资源弹性扩容

本节介绍了容器镜像服务的退订说明。 容器镜像服务支持从订单管理中心发起实例退订，不支持从控制台发起退订。 退订说明详见：点这里

本文主要介绍容器镜像迁移。 应用现状 随着容器化技术的发展，越来越多的企业使用容器代替了虚拟机完成应用的运行部署。目前许多企业选择自建Kubernetes集群，但是自建集群往往有着沉重的运维负担，需要运维人员自己配置管理系统和监控解决方案。企业自运维大批镜像资源，意味着要付出高昂的运维、人力、管理成本，且效率不高。 容器镜像服务支持Linux等多架构容器镜像托管。企业可以将镜像仓库迁移到容器镜像服务，节省运维成本。 如何把已有的镜像仓库平滑地迁移到容器镜像服务？这里将介绍2种常见的方案，用户可以根据自己的实际使用场景来选择。 迁移方案 随着 方案类型 适用场景 注意事项 使用docker命令迁移镜像至SWR 待迁移的镜像数量较少 依赖磁盘存储，需要及时进行本地镜像的清理，而且落盘形成多余的时间开销，难以胜任生产场景中大量镜像的迁移。 依赖docker 程序，docker daemon 对 pull/push 的并发数进行了严格的限制，没法进行高并发同步 一些功能只能经过HTTP api 进行操作，单纯使用 docker cli 没法做到，使脚本变得复杂 使用imagesyncer迁移镜像至SWR 待迁移的镜像数量庞大 支持多对多镜像仓库同步 支持基于Docker Registry V2 搭建的 docker 镜像仓库服务 (如 Docker Hub、 Quay、 Harbor等) 同步只通过内存和网络，不依赖磁盘存储，同步速度快 增量同步, 经过对同步过的镜像 blob 信息落盘，不重复同步已同步的镜像 并发同步，能够经过配置文件调整并发数Ÿ 自动重试失败的同步任务，能够解决大部分镜像同步中的网络抖动问题 不依赖docker 以及其余程序

本节主要介绍CCE集群的网络地址段规划实践。 在CCE中创建集群时，您需要根据具体的业务需求规划VPC的数量、子网的数量、容器网段划分和服务网段连通方式。 本文将介绍VPC环境下CCE集群里各种地址的作用，以及地址段该如何规划。 约束与限制 通过搭建VPN方式访问CCE集群，需要注意VPN网络和集群所在的VPC网段、容器使用网段不能冲突。 集群各网段基本概念 VPC网段/子网网段 虚拟私有云（Virtual Private Cloud，简称VPC）是您在天翼云上申请的为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境。您可以自由配置VPC内的IP地址段、子网、安全组等子服务，也可以申请弹性带宽和弹性公网IP搭建业务系统。 子网是用来管理弹性云服务器网络平面的一个网络，可以提供IP地址管理、DNS服务，子网内的弹性云服务器IP地址都属于该子网。 默认情况下，同一个VPC的所有子网内的弹性云服务器均可以进行通信，不同VPC的弹性云服务器不能进行通信。不同VPC的弹性云服务器可通过创建对等连接通信。 在CCE中创建集群时，需要选择VPC和子网，集群的控制节点（k8s控制面）将在所选择的子网中创建。 容器网段（pod网段） Pod是Kubernetes内的概念，每个Pod具有一个IP地址。 在CCE中创建集群时，可以指定Pod的地址段（即容器网段），容器网段不能和子网网段重叠。例如子网网段用的是 192.168.0.0/16，集群的容器网段就不能使用192.168.0.0/18，192.168.1.0/18等，因为这些地址都涵盖在 192.168.0.0/16 里了。

本文介绍了触发器的用户指南。 概述 触发器功能支持镜像版本更新时自动更新使用该镜像的云容器引擎工作负载，从而简化工作负载的发布流程。 前置条件 已开通容器镜像服务企业版实例 已开通云容器引擎集群 创建触发器 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击 "容器镜像" "镜像仓库"，选择需要创建触发器的镜像仓库。 4. 在触发器标签页点击创建触发器按钮。 5. 在创建页面填写触发器相关的参数进行创建 参数 说明 触发器名称 触发器的名称。 Tag匹配条件 通过正则表达式设置规则匹配的镜像版本。使用方式示例如下： 匹配全部: . 匹配多个版本: v1v2v3 匹配前缀: v1. 集群 触发器关联的云容器引擎集群。 命名空间 触发器关联的命名空间。 工作负载类型 触发器关联的工作负载类型，包括：无状态，有状态，守护进程和定时任务。 工作负载 触发器关联的工作负载。 容器 触发器关联的容器。 镜像更新方式 触发器更新容器镜像的方式，包括通过Tag更新和通过Digest更新。当容器的镜像拉取策略为 IfNotPresent 时，由于云容器引擎节点本地存在镜像缓存，此时推送相同Tag的镜像将无法通过Tag触发容器拉取新镜像，因此推荐通过Digest更新。 当容器的镜像拉取策略为 Always 时，推荐通过Tag更新。 6. 创建完成后，可在列表页面查看创建的触发器。 7. 操作栏的编辑按钮可以修改触发器。禁用/启用按钮可以修改触发器的启用状态。删除按钮可以删除触发器。查看触发记录按钮可以查看触发器的触发记录。每当新推送的镜像命中触发器的Tag匹配条件时，则会新增一条触发记录，并且云容器引擎工作负载的镜像会自动更新。

添加公网ELB访问 在云应用引擎部署应用后，默认无法从公网访问应用。为解决上述问题，您可以为应用绑定公网ELB，实现通过一个固定的公网IP访问应用，并实现应用实例间的负载均衡。 1. 在应用访问设置区域中，选择基于ELB访问。 2. 单击添加公网ELB访问。 3. 为应用绑定公网ELB实例：您可以新建ELB实例或绑定已有ELB实例。 4. 参考以下说明，至少配置一个监听。如果您需要添加多条监听，请单击添加下一条监听 配置项 说明 示例值 HTTP协议 HTTP端口：提供公网访问应用的ELB端口，取值范围为[1,65535]。 容器端口：进程监听端口，由程序定义。 HTTP端口 ：80 容器端口 ：8080（Web服务的默认端口） HTTPS协议 HTTPS端口：提供公网访问应用的ELB端口，取值范围为[1,65535]。 SSL证书：SSL协议证书，在下拉列表中选择已创建的SSL证书。 容器端口：进程监听端口，由程序定义。 HTTPS端口 ：443 SSL证书：在下拉列表中选择已创建的SSL证书。 容器端口 ：8080（Web服务的默认端口） TCP协议 CLB端口：提供公网访问应用的ELB端口，取值范围为[1,65535]。 容器端口：进程监听端口，由程序定义。 ELB端口 ：21 容器端口 ：8080（Web服务的默认端口） UDP协议 CLB端口：提供公网访问应用的ELB端口，取值范围为[1,65535]。 容器端口：进程监听端口，由程序定义。 ELB端口 ：49152 容器端口 ：8080（Web服务的默认端口） 5. 完成配置后，单击确定。 6. 等待ELB绑定完成，在公网访问地址区域，可以查看应用的IP地址和端口。

集群网络选择 云容器引擎支持calico IPIP隧道网络和cubecni VPC网络。不同网络插件存在性能和功能差异，请根据业务需求合理选择，详见集群网络概述。 VPC选择：由于VPC间相互隔离，如果容器应用需访问RDS数据库等云服务实例，建议把这些云服务实例创建在同一VPC。对于已创建好处于不同VPC的云服务实例，可以通过对等连接配置两VPC互通。 容器网段选择：容器网络网段大小直接影响可创建的节点和Pod数，所以不能设置太小。使用calico IPIP隧道网络的集群，如果容器网段掩码是/16，这有256256个地址，默认情况下每个节点从容器网段一次分配的IP网段为24，此时可创建节点数为256。使用cubecni VPC网络的集群，容器网段为VPC子网，容器网段被节点共享，每个节点会预申请10个子网IP。容器网段大小与节点数无直接关系，但影响可创建Pod数。若子网掩码是/19，则有8192个子网地址供Pod使用。 服务网段选择：服务网段决定集群中Service数上限，请根据实际需求配置Service网段。由于Service网段创建后无法修改，请勿设置过小的Service网段。 详见集群网络地址段规划实践。 服务转发模式 Kubernetes集群的kubeproxy组件，负责Service与后端Pod间的负载均衡转发，该组件有两种服务转发模式： 1. iptables：适用于Service数量较少或客户端会出现大量并发短连接场景。当Service数超过1000时，iptables模式可能引入部分网络延迟； 2. IPVS：相比iptables模式，其吞吐更高速度更快，适用于集群规模较大或Service数较多的场景。

本节介绍了容器镜像收藏的用户指南。 概述 镜像收藏功能旨在帮助用户管理和快速使用常用的容器镜像仓库。通过该功能，您可以将常用的镜像仓库添加到收藏列表。收藏后的镜像仓库将会在镜像收藏页面集中展示，并且在您使用云容器引擎发布负载时，能够快速从中选取所需的镜像，提升操作效率。 操作说明 您可以通过以下两种方式收藏镜像仓库： 收藏实例内的镜像仓库： 您可以收藏拥有的容器镜像服务实例下的任何镜像仓库。 收藏开源镜像中心的镜像： 您可以收藏来自开源镜像中心的任何公共镜像仓库。 收藏后的镜像仓库，都可以在镜像收藏页面进行管理和查看。 收藏/取消收藏镜像仓库 1. 登录容器镜像服务控制台。 2. 在实例列表中，选择您要操作的实例，并进入实例详情页面。 3. 导航至"容器镜像" "镜像仓库" 页面。 4. 在镜像仓库列表中，找到您想要收藏或取消收藏的仓库，点击操作列的收藏按钮。 1. 点击 "收藏" 按钮，即可将该镜像仓库添加到您的收藏列表。 2. 若该镜像仓库已收藏，点击即可将其从收藏列表中移除。 收藏/取消收藏开源镜像仓库 1. 登录容器镜像服务控制台。 2. 导航至"开源镜像中心"页面。 3. 在开源镜像列表中，找到您想要收藏或取消收藏的镜像仓库，点击操作列的 "收藏" 按钮。 1. 操作方式与收藏实例内镜像仓库相同。

应用发布成功后，请求对应接口不通？ 1. 登录微服务云应用控制台，这里以容器应用实例为例，左侧菜单栏选择“应用运维>容器应用实例>应用发布>应用实例”，选择对应的应用实例，进入总览页。 2. 在pod列表中查看应用日志，根据日志信息排查问题。 MSAP支持的服务连接管理类型？ 目前仅支持添加容器镜像服务CRS类型如下图所示。后续如有新增支持类型，会在文档中详细阐述。 应用启动报错，为什么pod状态仍然展示运行中？ 用发布到了云容器引擎中后则认为已经发布成功，要是需要应用启动成功才认为是成功可以配置健康检查来解决此问题。 1. 登录微服务云应用控制台，左侧菜单栏选择“应用运维>容器应用实例>应用发布>应用实例”，选择对应的应用实例，进入总览页。 2. 点击“新增版本“，选中“应用生命周期管理”，配置健康检查。 3. 配置应用能访问通的一个地址，配置之后应用能正常对外提供服务，pod状态才会展示运行中。 已发布应用，监控数据都是空的？ 监控数据数据为空或者都展示为0，说明没有请求进入到应用里面，没有监控数据进行上报。可以对应用发起请求再观察监控数据。 1. 登录微服务云应用控制台，这里以容器应用实例为例，左侧菜单栏选择“应用运维>容器应用实例>应用发布>应用实例”，选择对应的应用实例，进入总览页。 2. 在“容器组（Pod）”栏，点击“终端”，在终端中对应用发起请求。