本节主要介绍CCE集群的网络地址段规划实践。 在CCE中创建集群时，您需要根据具体的业务需求规划VPC的数量、子网的数量、容器网段划分和服务网段连通方式。 本文将介绍VPC环境下CCE集群里各种地址的作用，以及地址段该如何规划。 约束与限制 通过搭建VPN方式访问CCE集群，需要注意VPN网络和集群所在的VPC网段、容器使用网段不能冲突。 集群各网段基本概念 VPC网段/子网网段 虚拟私有云（Virtual Private Cloud，简称VPC）是您在天翼云上申请的为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境。您可以自由配置VPC内的IP地址段、子网、安全组等子服务，也可以申请弹性带宽和弹性公网IP搭建业务系统。 子网是用来管理弹性云服务器网络平面的一个网络，可以提供IP地址管理、DNS服务，子网内的弹性云服务器IP地址都属于该子网。 默认情况下，同一个VPC的所有子网内的弹性云服务器均可以进行通信，不同VPC的弹性云服务器不能进行通信。不同VPC的弹性云服务器可通过创建对等连接通信。 在CCE中创建集群时，需要选择VPC和子网，集群的控制节点（k8s控制面）将在所选择的子网中创建。 容器网段（pod网段） Pod是Kubernetes内的概念，每个Pod具有一个IP地址。 在CCE中创建集群时，可以指定Pod的地址段（即容器网段），容器网段不能和子网网段重叠。例如子网网段用的是 192.168.0.0/16，集群的容器网段就不能使用192.168.0.0/18，192.168.1.0/18等，因为这些地址都涵盖在 192.168.0.0/16 里了。

本节介绍集群联邦概述。 集群联邦 集群联邦基于多云容器编排能力，旨在管理跨云、跨地域场景下的多集群应用，为您提供多集群统一管理、应用部署、服务发现、弹性伸缩、故障迁移等能力。 功能优势 完全兼容Kubernetes原生API，支持从单集群到多集群零改造升级，无缝集成现有Kubernetes工具链生态。 丰富的多集群调度策略：集群亲和性调度、多集群拆分/再平衡调度，多维度的高可用部署，包括多Region、多AZ、多集群、多云供应商 。提供自动化的多集群故障优雅迁移能力，对故障集群实例进行集中式或分散式的迁移，保证服务实例不跌零 多集群流量分发：多集群Service实现跨集群的服务发现和访问。多集群Ingress提供跨集群的负载均衡和流量路由机制，支持自动切流，可自动摘除故障集群上的流量，保障服务的可用性 。 多集群弹性伸缩：基于工作负载的系统指标变动、自定义指标变动或固定的时间周期，实行多集群统一的负载伸缩策略，提升工作负载的可用性和稳定性 。 全域容器智能分析：实时监控应用及资源，采集各项指标及事件等数据以分析应用健康状态，提供多集群统一的全栈监控视图，对业务提供端到端追踪和可视化，提供集群健康诊断能力，缩短问题分析定位时间 。

本章主要介绍使用API网关开放云容器引擎CCE实施步骤。 准备CCE工作负载信息 1、创建CCE集群。 a. 登录云容器引擎控制台，在“集群管理”页面购买CCE Standard集群或CCE Turbo集群。此处选择CCE Standard集群，容器网络模型为“VPC网络”。 b. 集群创建完成后，记录容器网段。 c. 在APIG专享版实例的“路由”中添加容器网段。 1. 登录API网关控制台，在左侧导航栏中“实例管理”。 2. 单击对应实例名称，进入实例信息页面。 3. 在“路由”区域添加容器网段。 2、创建工作负载。 a. 在云容器引擎控制台的“集群管理”页面，单击已创建的集群名称，进入集群详情。 b. 在左侧导航栏中选择“工作负载”。 c. 单击“创建负载”。此处选择“无状态负载 Deployment”负载类型。 通过创建负载通道开放CCE工作负载 1、创建负载通道。 a. 进入API网关控制台，在左侧导航栏上方选择实例。 b. 在左侧导航栏中选择“API管理 > API策略”。 c. 在“负载通道”页签中单击“创建负载通道”。 1. 基本信息配置 参数 配置说明 :: 通道名称 填写负载通道名称，根据规划自定义。建议您按照一定的命名规则填写负载通道名称，方便您快速识别和查找。此处填写“VPCdemo”。 端口 填写已创建工作负载的容器端口，指工作负载中pod里业务直接对外开放的接口。此处填写“80”，80端口默认为http协议端口。 分发算法 此处选择“加权轮询”。通过分发算法确定请求被发送到哪台主机。结合弹性服务器权重值，将请求轮流转发到每一台服务器。 通道类型 此处选择“微服务”。 2、微服务配置。 参数 配置说明 :: 微服务类型 默认选择“云容器引擎CCE”。 集群 选择已创建的集群。 命名空间 选择已创建集群中的命名空间，此处选择“default”。 工作负载类型 此处选择“无状态负载 Deployment”，与已创建的工作负载类型一致。 服务标识名 此处选择已创建的工作负载中的Pod标签“app”和“deploymentdemo”，指定工作负载。 服务标识值 此处选择已创建的工作负载中的Pod标签“app”和“deploymentdemo”，指定工作负载。 3、服务器分组配置。 参数 配置说明 :: 服务器分组名称 此处填写“servergroupv1”。 权重分配 此处填写“1”。 后端服务端口 此处填写“80”，与已创建工作负载中的容器端口一致。 描述 此处填写“Pod标签version值为v1的服务器分组”。 标签 此处选择已创建的工作负载中的Pod标签“versionv1”。 4、健康检查配置。 参数 配置说明 :: 协议 默认为“TCP协议”。 检查端口 填写为通道中后端服务器端口。 正常阈值 默认为“2”。判定VPC通道中主机正常的依据：连续检查x成功，x为您设置的正常阈值。 异常阈值 默认为“5”。判定VPC通道中主机异常的依据为：连续检查x失败，x为您设置的异常阈值。 超时时间 默认为“5”。检查期间，无响应的时间。 间隔时间 默认为“10”。连续两次检查的间隔时间。 5、单击“完成”。 在负载通道列表中，单击负载通道名称可查看创建的负载通道详情。

本节介绍Cubecni网络插件的用户指南 网络模型 Cubecni网络插件使用VPC资源构建Underlay容器网络，可用于使用云主机（ECS）和弹性裸金属（EBM）部署的Kubernetes集群，适用于高性能场景。Cubecni基于弹性网卡构建的Underlay容器网络，没有封包解包开销，部分场景无主机路由和netfilter处理开销，容器网络性能相比于容器隧道网络有一定的优势，并且支持同一VPC内云服务器从集群外直接访问容器等特殊场景。 Cubecni支持多种模式，下图为共享ENIIPVLAN模式网络模型： 共享ENIIPVLAN模式 Cubecni会为节点添加弹性网卡并申请多个辅助IP，Pod主网卡是该弹性网卡的IPVLAN虚拟网络接口，Pod IP为弹性网卡的辅助IP。此模式下，流量走向示意如下： 说明： 1. 节点内Pod间通信：同节点的Pod间通信直接通过IPVLAN转发； 2. 跨节点Pod间通信：跨节点Pod间通信走弹性网卡二层网络，不经主机网络栈处理； 3. Pod访问Service：走主机网络栈处理和转发； 4. Pod访问集群外地址：Pod访问集群外地址走子网网关转发。

本节介绍Cubecni网络插件的用户指南 网络模型 Cubecni网络插件使用VPC资源构建Underlay容器网络，可用于使用云主机（ECS）和弹性裸金属（EBM）部署的Kubernetes集群，适用于高性能场景。Cubecni基于弹性网卡构建的Underlay容器网络，没有封包解包开销，部分场景无主机路由和netfilter处理开销，容器网络性能相比于容器隧道网络有一定的优势，并且支持同一VPC内云服务器从集群外直接访问容器等特殊场景。 Cubecni支持多种模式，下图为共享ENIIPVLAN模式网络模型： 共享ENIIPVLAN模式 Cubecni会为节点添加弹性网卡并申请多个辅助IP，Pod主网卡是该弹性网卡的IPVLAN虚拟网络接口，Pod IP为弹性网卡的辅助IP。此模式下，流量走向示意如下： 说明： 1. 节点内Pod间通信：同节点的Pod间通信直接通过IPVLAN转发； 2. 跨节点Pod间通信：跨节点Pod间通信走弹性网卡二层网络，不经主机网络栈处理； 3. Pod访问Service：走主机网络栈处理和转发； 4. Pod访问集群外地址：Pod访问集群外地址走子网网关转发。

本节介绍了有状态服务的用户指南。 基本概念 有状态工作负载：即kubernetes中的“StatefulSet”，有状态工作负载支持实例有序部署和删除，支持持久化存储，适用于实例间存在互访的场景，如ETCD、mysqlHA等。 操作场景 在运行过程中会保存数据或状态的工作负载称为“有状态工作负载（statefulset）”。例如Mysql，它需要存储产生的新数据。 因为容器可以在不同主机间迁移，所以在宿主机上并不会保存数据，这依赖于云容器引擎提供的高可用存储卷，将存储卷挂载在容器上，从而实现有状态工作负载的数据持久化。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有请参照集群开通中内容创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建StatefulSet与创建Deployment的过程类似，但主要有以下几个方面的差异，需要注意： 数据卷 除了Deployment能够使用的六种类型的数据卷之外，StatefulSet还多了新建PVC这种类型的数据卷挂载，而且这种类型的数据卷仅StatefulSet能够使用。一般情况下，如果我们使用StatefulSet来做数据的持久化，即可使用新建PVC这种数据卷。 使用这种数据卷挂载的时候，我们需要提前创建好存储类，然后点击上面的新建pvc。 新建pvc时的参数需要留意，只有同时满足下述条件，新建PVC才能成功绑定到我们提前创建的持久存储卷上： 名称可以任意填写 StorageClass；名称要选择我们提前创建好的持久存储类。 所需容器：不能超过我们提前创建好的持久存储卷的容量。 访问模式：要和我们提前创建的持久存储卷的访问模式一致。

本文介绍云容器引擎的功能特性。 集群管理 支持1.15/1.18版本的Kubernetes 。 支持设置Master节点数量1个（基础版）或3个（高级版）。 支持50个Worker节点的集群规模。 支持绑定弹性IP，使用云主机、云硬盘、VPC作为集群的基础计算、存储、网络资源。 支持通过不同企业项目纳管集群。 支持挂载普通IO、高IO类型数据盘。 支持通过前端web界面及后台kubectl操控集群。 支持管理命名空间，可创建/删除命名空间。 节点管理 支持查看节点基本信息，节点事件记录，并进行节点重启等基本操作。 支持查看节点资源的使用情况，包括CPU、内存、网络速率、硬盘使用量等指标。 工作负载管理 支持创建与管理无状态应用（Deployment）、有状态应用（StatefulSet）。 支持最大100个实例数，支持同时多容器创建，支持用户自定义容器规格、容器镜像、环境变量等，支持容器生命周期处理，支持用户进行健康检查、本地存储卷HostPath，LocalVolume的容器数据存储挂载、容器日志挂载等设置。支持与节点、应用的亲和性、反亲和性调度策略。支持手动与自动触发应用伸缩，支持Pod级别的水平伸缩告警策略，可设置CPU使用率及物理内存使用率两种指标。支持迁移时间窗设置，支持通过YAML文件进行直接编辑应用。 支持负载应用的升级、版本回退功能。 支持查看应用资源的使用情况，包括CPU、内存、网络速率等指标，支持进行事件查看。 支持管理应用标签及注解，可自定义标签的key与value。 支持容器组管理，可查看容器组详细信息，并提供容器终端可实现对容器内部进行操控。

本文主要介绍登录节点。 约束与限制 SSH方式登录时要求该节点（弹性云主机 ECS）已绑定弹性公网IP。 只有运行中的弹性云主机才允许用户登录。 Linux操作系统用户名为root。 登录方式概述 登录节点（弹性云主机ECS）的方式有如下两种： 管理控制台远程登录（VNC方式） 未绑定弹性公网IP的弹性云主机可通过管理控制台提供的远程登录方式直接登录。 详细操作请参考：Linux云主机远程登录（VNC方式）。 SSH方式登录 仅适用于Linux弹性云主机。您可以使用远程登录工具（例如PuTTY、Xshell、SecureCRT等）登录弹性云主机。如果普通远程连接软件无法使用，您可以使用云主机ECS管理控制台的管理终端连接实例，查看云主机操作界面当时的状态。 说明 SSH方式登录包括SSH密钥和SSH密码两种方式。 本地使用Windows操作系统登录Linux节点时，输入的镜像用户名（Autologin username）为：root。 CCE控制台不提供针对节点的操作系统升级，也不建议您通过yum方式进行升级，如果您在节点上通过yum update升级了操作系统，会导致容器网络的组件不可用。

云容器引擎通过将Kubernetes网络和VPC深度集成，提供了稳定高性能的容器网络，能够满足多种复杂场景下工作负载间的互相访问。 约束与限制 每个命名空间下，创建的服务数量不能超过6000个。此处的服务对应kubernetes的service资源，即工作负载所添加的服务。 容器开启hostPort或hostNetwork网络模式后，若需对外提供服务，则需要给容器所在节点开启对应端口的安全组(containerPort)。 Service基本概念 Kubernetes中每一个工作负载会有一个或多个实例（Pod），每个实例（Pod）的IP地址由网络插件动态随机分配（Pod重启后IP地址会改变）。为屏蔽这些后端实例的动态变化和对多实例的负载均衡，引入了Service这个资源对象。 Service是一种资源，提供了我们访问单个或多个容器应用的能力。每个服务在其生命周期内，都拥有一个固定的IP地址和端口。每个服务对应了后台的一个或多个Pod，通过这种方式，客户端就不需要关心Pod所在的位置，方便后端进行方便的Pod扩容、缩容等操作。 用户在Kubernetes中可以部署各种容器，其中一部分是通过HTTP、HTTPS协议对外提供七层网络服务，另一部分是通过TCP、UDP协议提供四层网络服务。而Kubernetes定义的Service资源就是用来管理集群中四层网络的服务访问。 根据创建Service的type类型不同，可分成如下模式： ClusterIP ：默认类型，为服务分配集群虚拟IP，此时集群内部的pod可以通过服务名称寻址到服务的集群虚拟IP地址，集群外无效。 NodePort ：在每个节点上为服务分配静态端口号，此时如果在集群外部访问任何一个节点的IP地址加指定的端口号，kubeproxy会将流量转发到服务的集群虚拟IP，再由虚拟IP寻址到Pod。 LoadBalancer ：通过云服务供应商提供的load balancer向外部暴露服务，由指定的load balancer负责对NodePort与ClusterIP服务的路由。 ClusterIP和NodePort类型的Service，在不同云服务商或是自建集群中的行为表现通常情况下相同。而LoadBalancer类型的Service，由于使用了云服务商的负载均衡进行服务暴露，云服务商会围绕其负载均衡的能力提供不同的额外功能。例如，控制负载均衡的网络类型，后端绑定的权重调节等，详情请参见本章相关文档。 服务访问方式 在CCE中，支持以下类型的互联互通： 集群内访问（ClusterIP ） 工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问。集群内部域名格式为“ . .svc.cluster.local”，例如“nginx.default.svc.cluster.local”。详细请参见集群内访问(ClusterIP)。 节点访问（NodePort ） 节点访问 ( NodePort）是指在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求 : ，可以从集群的外部访问一个NodePort服务。详细请参见节点访问(NodePort)。 负载均衡 ( LoadBalancer ) 通过弹性负载均衡从公网访问工作负载，与弹性IP方式相比提供了高可靠的保障，一般用于系统中需要暴露到公网的服务。访问方式由公网弹性负载均衡ELB服务地址以及设置的访问端口组成，例如“10.117.117.117:80”。详细请参见负载均衡(LoadBalancer)。 七层负载均衡（Ingress） 通常情况下，service和pod的IP仅可在集群内部访问。集群外部的请求需要通过负载均衡转发到service在Node上暴露的NodePort上，然后再由kubeproxy通过边缘路由器 (edge router) 将其转发给相关的Pod或者丢弃，而Ingress就是为进入集群的请求提供路由规则的集合。 Ingress可以给service提供集群外部访问的URL、负载均衡、SSL终止、HTTP路由等。为了配置这些Ingress规则，集群管理员需要部署一个Ingress controller，它监听Ingress和service的变化，并根据规则配置负载均衡并提供访问入口。 Ingress的组成部分： Nginx：实现负载均衡到pod的集合。 Ingress Controller：从集群api获取services对应pod的ip到nginx配置文件中。 Ingress：为nginx创建虚拟主机。 Ingress的创建与管理请参见Ingress概述。 网络策略（NetworkPolicy） 网络策略（NetworkPolicy）是一种关于pod间及pod与其他网络端点间所允许的通信规则的规范。 NetworkPolicy资源使用标签选择pod，并定义选定pod所允许的通信规则，详细请参见NetworkPolicy。 网络底层基础设施 VPC 虚拟私有云（Virtual Private Cloud，以下简称VPC），是基于创建的自定义私有网络，不同的专有网络之间彻底逻辑隔离。可以为云服务器、云数据库和负载均衡等构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云上资源的安全性，简化用户的网络部署。 您可以在VPC中定义安全组、VPN、IP地址段、带宽等网络特性。用户可以通过VPC方便地管理、配置内部网络，进行安全、快捷的网络变更。同时，用户可以自定义安全组内与组间弹性云主机的访问规则，加强弹性云主机的安全保护。 ELB 弹性负载均衡（Elastic Load Balance，简称ELB）是将访问流量根据转发策略分发到后端多台服务器的流量分发控制服务。弹性负载均衡可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 弹性负载均衡支持经典型、共享型两种负载均衡： − 经典型负载均衡：适用于访问量较小，应用模型简单的web业务。 − 共享型负载均衡：适用于访问量较大的web业务，提供基于域名和URL的路由均衡能力，实现更加灵活的业务转发。

参数 是否必填 参数类型 说明 示例 下级对象 clientToken 是 String 客户端存根，用于保证订单幂等性, 长度 1 64 79fa97e3c48bxxxx9f466a13d8163678 regionID 是 String 区域ID 81f7728662dd11ec810800155d307d5b targetGroupID 是 String 后端服务组ID tgxxx description 否 String 支持拉丁字母、中文、数字, 特殊字符：~!@$%^&()+ <>?:'{},./;'[,]·！@￥%……&（） —— +{},《》？：“”【】、；‘'，。、，不能以 http: / https: 开头，长度 0 128 desc instanceType 是 String 实例类型。取值范围：VM、BM、ECI、IP、IDC VM instanceID 是 String 实例ID，非IDC类型时必传，IP类型传网卡id xxxx protocolPort 是 Integer 协议端口。取值范围：165535 2000 weight 否 Integer 权重。取值范围：1256，默认为100 256 instanceVpc 否 String 当 instanceType 为 IDC 时，必须传 vpcxxxx instanceIP 否 String 后端服务IP，当 instanceType 为 IDC 时，必须传，当 instanceType 为IP类型且指定网卡IP 时，传入指定的IP 192.2.22.2

本节主要介绍与其它服务的关系。 云容器引擎需要与其他云服务协同工作，云容器引擎需要获取如下云服务资源的权限。 云主机 ECS 在云容器引擎中具有多个云硬盘的一台云主机就是一个节点，您可以在创建节点时指定云主机的规格。 虚拟私有云 VPC 在云容器引擎中创建的集群需要运行在虚拟私有云中，您创建命名空间时，需要创建或关联VPC，创建在命名空间的容器都运行在VPC之内，从而保障网络安全。 弹性负载均衡 ELB 云容器引擎支持将创建的应用对接到弹性负载均衡，从而提高应用系统对外的服务能力，提高应用程序容错能力。 您可以通过弹性负载均衡，从外部网络访问容器负载。 NAT网关 您可以通过NAT网关设置SNAT规则，使得容器能够访问Internet。 容器镜像服务 SWR 容器镜像服务是一种支持容器镜像全生命周期管理的服务， 提供简单易用、安全可靠的镜像管理功能，帮助用户快速部署容器化服务。 容器镜像服务提供的镜像仓库是用于存储、管理docker容器镜像的场所，可以让使用人员轻松存储、管理、部署docker容器镜像。 您可以使用容器镜像服务中的镜像创建负载。 云硬盘 EVS 在云容器引擎中一个节点就是具有多个云硬盘的一台云主机，您可以在创建节点时指定云硬盘的大小。

本节介绍了无状态服务的用户指南。 基本概念 无状态工作负载：即kubernetes中的“Deployment”，无状态工作负载支持弹性伸缩与滚动升级，适用于实例完全独立、功能相同的场景，如：nginx、wordpress等。 操作场景 在运行中始终不保存任何数据或状态的工作负载称为“无状态负载 Deployment”，例如nginx。您可以通过控制台或kubectl命令行创建无状态负载。 前提条件 在创建容器工作负载前，您需要存在一个可用集群。若没有可用集群 ，请参照集群开通中内容进行创建。 若工作负载需要被外网访问，请确保集群中至少有一个节点已绑定弹性IP，或已购买负载均衡实例。 创建多个工作负载时，请确保容器使用的端口不冲突 ，否则部署会失败。 操作步骤及说明 创建Deployment的参数较多，下面将分模块来介绍创建Deployment的参数，请务必留意这里的参数解释，其他四种类型的工作负载的参数与Deployment的参数相似 创建一个Deployment的参数最小配置（tomcat为例） 如上图的配置即可成功启动一个tomcat 备注：镜像凭证请在高级设置中配置。 参数解释 数据卷 Deployment的数据卷共6种类型，总结如下表： 数据卷类型 对应k8s中的类型 用途 解释 临时目录 emptyDir 主要用于某些应用程序无需永久保存的临时目录，多个容器的共享目录 当Pod分配到Node上时，将会创建emptyDir，当Pod（不管任何原因）从Node上被删除时，emptyDir也同时会删除，存储的数据也将永久删除。 主机目录 hostPath hostPath允许挂载Node上的文件系统到Pod里面去。如果Pod需要使用Node上的文件，可以使用hostPath。 在使用hostPath volume卷时，即便pod已经被删除了，volume卷中的数据仍在。但是Pod调度到其他节点之后就无法使用这个目录了。 secret secret 用于将敏感信息（如密码）传递给pod 将k8s中的Secret资源对象挂载到Pod中 configMap configMap 用于挂载配置文件到Pod中 将k8s中的ConfigMap资源对象挂载到Pod中 使用已有PVC persistentVolumeClaim 用来挂载持久化磁盘 需要提前创建持久卷声明（PVC） downwardAPI downwardAPI 将Pod的信息挂载到容器中（如上图中将Pod的标签挂载到容器中，并且用”labels”这个文件存储Pod的标签），pod版本号要么不填要么填’v1’ Downward API提供了两种方式用于将POD的信息注入到容器内部，一是此处介绍的Volume挂载，二是下面我们将介绍的环境变量

本节介绍了云容器引擎的产品功能。 功能特性 强大的集群管理 单集群支持数千节点规模 高性能自研网络插件，VM与容器直连互通，性能提升20% 丰富的集群插件，开箱即用 一站式容器应用管理 支持原生5种类型工作负载 内置应用模板，支持一键部署Helm应用 支持灰度发布，蓝绿发布，应用弹性伸缩 极致弹性&高效调度 支持HPA/CronHPA伸缩策略 支持基于历史指标/事件驱动的弹性伸缩 提供负载感知调度，解决原生k8s调度不均问题 企业级的安全稳定 支持3Master高可用，镜像服务高可用能力 提供集群备份恢复插件，支持多种存储介质 支持安全容器，提供镜像签名和镜像扫描 功能列表 一级分类 二级分类 功能点 功能点描述 核心功能 集群 一键快速部署 支持界面化订购，自动开通Kubernetes集群，兼容原生Kubernetes 核心功能 集群 节点管理 支持界面化进行扩缩容，支持节点标签、调度设置 核心功能 集群 命名空间 支持资源配额设置、支持网络隔离设置 核心功能 集群 运行时 支持Docker、Containerd 核心功能 工作负载 生命周期管理 支持应用创建、启停、扩缩容、注销等生命周期操作 核心功能 工作负载 工作负载 支持界面化发布有状态、无状态、守护进程、任务、定时任务等工作负载 核心功能 工作负载 多容器 支持一个Pod中发布多个容器，支持设置特权级容器 核心功能 工作负载 探针 支持界面化自定义策略检测应用的可用性 核心功能 工作负载 滚动升级 支持业务不中断平滑升级 核心功能 工作负载 亲和性/反亲和 支持主机及应用的亲和性与反亲和性调度 核心功能 工作负载 资源管控 支持容器级别的资源需求和限额设置，防止资源的浪费 核心功能 弹性调度 Pod弹性伸缩 支持自动伸缩规则设置，基于CPU/内存等资源自动伸缩应用，支持HPA、CronHPA和基于事件的弹性策略 核心功能 弹性调度 节点弹性伸缩 支持节点弹性伸缩 核心功能 弹性调度 负载感知调度 支持调度Pod时考虑节点的实际负载 核心功能 路由 多协议支持 支持TCP、UDP、HTTP以及HTTPS等协议 核心功能 路由 Service支持 支持NodePort、ClusterIP，LB等对外提供访问、支持无头服务 核心功能 路由 Ingress支持 支持Nginx Ingress 核心功能 路由 灰度/蓝绿发布 支持支持灰度/蓝绿发布，支持应用的多个版本在线运行 核心功能 配置管理 配置项 支持配置项 核心功能 配置管理 Secret 支持保密字典、凭证等 核心功能 网络 网络插件 支持高性能网络插件Calico 核心功能 网络 网络插件 支持自研网络插件CubeCNI实现容器与虚拟机网络直通 核心功能 网络 网络策略 支持容器访问策略和流控限制 核心功能 存储 多类型存储 支持Local、NFS、Ceph常见持久存储类；支持csi驱动程序，集成天翼云的云硬盘、弹性文件、对象存储等云存储 核心功能 存储 持久卷声明 支持界面化创建持久卷声明，支持监控存储使用量 核心功能 存储 持久卷 支持界面化创建持久卷，支持持久卷的动态生成 核心功能 日志管理 日志中心 支持容器日志的采集、存储和检索，支持集成三方开源日志解决方案 核心功能 监控与告警 监控中心 支持集群、节点、容器多级别的监控与告警配置，支持审计日志，支持集成三方开源监控解决方案 核心功能 系统管理 接入平台 作为平台组件对外提供服务，支持订单方式进行集群的开通、扩缩容、删除等 核心功能 系统管理 权限管理 多租户支持，租户资源隔离，用户角色授权，支持集群和命名空间的授权 高级功能 应用 插件市场 支持通过Chart对插件打包发布到插件市场，界面化一键部署监控等插件，通过插件与其他产品集成 高级功能 应用 模板市场 支持通过Chart对应用打包发布到模板市场，界面化安装部署等 高级功能 应用 有状态应用 支持挂载持久化存储，实现有状态应用容器化部署 高级功能 能力开放 OpenAPI 支持开放API，对接持续集成和私有部署系统 高级功能 高可用部署 Kubernetes高可用 支持Kubernetes高可用部署 容器镜像服务 镜像 镜像仓库 支持对接多镜像中心，支持界面化创建仓库 容器镜像服务 镜像 租户隔离 支持公开仓库的可见性及私有仓库的不可见性 容器镜像服务 镜像 镜像管理 支持管理海量镜像，支持多版本镜像 容器镜像服务 镜像 镜像收藏 支持快速检索镜像并收藏 容器安全 授权 权限管理 支持基于k8s RBAC授权 容器安全 配置安全 容器安全策略 支持SecurityContext配置

步骤二：创建持久卷声明（PVC） 1. 创建示例yaml文件pvcstaticdisk.yaml： shell apiVersion: v1 kind: PersistentVolumeClaim metadata: annotations: volume.beta.kubernetes.io/storageprovisioner: disk.csi.cstor.com name: pvcstaticdisk namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 10Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 2. 执行以下命令，创建pvc： shell kubectl apply f pvcstaticdisk.yaml 步骤三：创建工作负载 1. 创建示例yaml文件podpvcstaticdisk.yaml： shell apiVersion: apps/v1 kind: StatefulSet metadata: name: nginxpvcstaticdisk labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginxpvcstaticdisk serviceName: "" template: metadata: labels: app: nginxpvcstaticdisk spec: containers: image: "registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim" imagePullPolicy: "IfNotPresent" name: "nginx" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" volumeMounts: mountPath: "/mnt/data" name: "volume1" volumes: name: "volume1" persistentVolumeClaim: claimName: "pvcstaticdisk" 2. 执行以下命令，创建StatefulSet： shell kubectl apply f podpvcstaticdisk.yaml 步骤四：验证数据持久化 1. 登录弹性容器服务管理控制台。 2. 在容器组列表页点击刚才创建的实例。 3. 点击“远程连接”页签，进入到容器内。 4. 向/mnt/data 目录下写一个文件，执行: shell echo "Hello World" > /mnt/data/test.log 5. 查看/mnt/data 目录下文件，执行： shell cat /mnt/data/test.log 预期结果如下： 6. 退出“远程连接”，使用kubectl删除pod，会触发pod自动重建，等待Pod重新运行正常。 shell kubectl delete po nginxpvcstaticdisk0 7. 对新建Pod，登录弹性容器服务管理控制台，继续执行“远程连接”，进入到容器内查看数据。执行： shell cat /mnt/data/test.log 预期结果如下： 8. 以上步骤说明，pod删除重建后，重新挂载云盘，数据仍然存在，说明云硬盘中的数据可持久化保存。

操作场景 CCE提供了回调函数，在容器的生命周期的特定阶段执行调用，比如容器在停止前希望执行某项操作，就可以注册相应的钩子函数。 目前提供的生命周期回调函数如下所示： 启动命令：容器将会以该启动命令启动，请参见设置容器启动命令。 启动后处理： 容器启动后触发，请参见启动后处理。 停止前处理： 容器停止前触发。设置停止前处理，确保升级或实例删除时可提前将实例中运行的业务排水。详细请参见停止前处理。 容器如何执行命令和参数 Docker的镜像拥有存储镜像信息的相关元数据，如果不设置生命周期命令和参数，容器运行时将运行镜像制作时提供的默认的命令和参数，Docker将这两个字段定义为“Entrypoint”和 "CMD"。 如果在创建工作负载时填写了容器的运行命令和参数，将会覆盖镜像构建时的默认命令 "Entrypoint"、"CMD"，规则如下： 表容器执行命令和参数 镜像 Entrypoint 镜像CMD 容器运行命令 容器运行参数 最终执行 [touch] [/root/test] 未设置 未设置 [touch /root/test] [touch] [/root/test] [mkdir] 未设置 [mkdir] [touch] [/root/test] 未设置 [/opt/test] [touch /opt/test] [touch] [/root/test] [mkdir] [/opt/test] [mkdir /opt/test] 启动命令 在默认情况下，镜像启动时会运行默认命令，如果想运行特定命令或重写镜像默认值，需要进行相应设置。设置方法请参见设置容器启动命令。 启动后处理 步骤 1 登录CCE控制台，在创建工作负载时，展开“生命周期”。 步骤 2 在“启动后处理”后，设置启动后处理的参数，如下表。 启动后处理参数说明 参数 说明 命令行方式 在容器中执行指定的命令，配置为需要执行的命令。命令的格式为Command Args[1] Args[2]…（Command为系统命令或者用户自定义可执行程序，如果未指定路径则在默认路径下寻找可执行程序），如果需要执行多条命令，建议采用将命令写入脚本执行的方式。 如需要执行的命令如下： exec: command: /install.sh installagent 请在执行脚本中填写: /install installagent。这条命令表示容器创建成功后将执行install.sh。 HTTP请求方式 发起一个HTTP调用请求。配置参数如下： 路径：请求的URL路径，可选项。 端口：请求的端口，必选项。 主机地址：请求的IP地址，可选项，默认是容器所在的节点IP。 停止前处理 步骤 1 登录CCE控制台，在创建工作负载配置生命周期过程中，选择“停止前处理”。 步骤 2 在“停止前处理”后，设置停止前处理的参数，如下表。 停止前处理参数说明 参数 说明 命令行方式 在容器中执行指定的命令，配置为需要执行的命令。命令的格式为Command Args[1] Args[2]…（Command为系统命令或者用户自定义可执行程序，如果未指定路径则在默认路径下寻找可执行程序），如果需要执行多条命令，建议采用将命令写入脚本执行的方式。 如需要执行的命令如下： exec: command: /uninstall.sh uninstallagent 请在执行脚本中填写: /uninstall uninstallagent。这条命令表示容器结束前将执行uninstall.sh。 HTTP请求方式 发起一个HTTP调用请求。配置参数如下： 路径：请求的URL路径，可选项。 端口：请求的端口，必选项。 主机地址：请求的IP地址，可选项，默认是容器所在的节点IP。 容器重启策略 Pod通过restartPolicy字段指定重启策略，重启策略类型为：Always、OnFailure和Never，默认为 Always。 restartPolicy仅指通过同一节点上的kubelet重新启动容器。 重启策略 说明 Always 当容器失效时，由kubelet自动重启该容器。 OnFailure 当容器终止运行且退出码不为0时，由kubelet自动重启该容器。 Never 不论容器运行状态如何，kubelet都不会重启该容器。 说明： 可以管理Pod的控制器有ReplicaSet Controller，Job，DaemonSet，及kubelet（静态Pod）。 RS和DaemonSet：必须设置为Always，需要保证该容器持续运行。 Job：OnFailure或Never，确保容器执行完后不再重启。 kubelet：在Pod失效的时候重启它，不论RestartPolicy设置为什么值，并且不会对Pod进行健康检查。 设置容器生命周期YAML样例 本节以nginx为例，说明kubectl命令设置容器生命周期的方法。 前提条件 请参见通过kubectl操作CCE集群配置kubectl命令，使弹性云主机连接集群。 操作步骤 步骤 1 登录已配置好kubectl命令的弹性云主机。 步骤 2 创建一个名为nginxdeployment.yaml的描述文件。其中，nginxdeployment.yaml为自定义名称，您可以随意命名。 vi nginxdeployment.yaml 在以下配置文件中，您可以看到postStart命令在容器目录/bin/bash下写了个install.sh 命令。 preStop执行uninstall.sh命令。 apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: restartPolicy: Always

本文主要介绍弹性伸缩概述。 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。 背景介绍 随着Kubernetes已经成为云原生应用编排、管理的事实标准，越来越多的应用选择向Kubernetes迁移，用户也越来越关心在Kubernetes上应用如何快速扩容面对业务高峰，以及如何在业务低谷时快速缩容节约资源与成本。 在Kubernetes的集群中，“弹性伸缩”一般涉及到扩缩容Pod个数以及Node个数。Pod代表应用的实例数（每个Pod包含一个或多个容器），当业务高峰的时候需要扩容应用的实例个数。所有的Pod都是运行在某一个节点（虚机或裸机）上，当集群中没有足够多的节点来调度新扩容的Pod，那么就需要为集群增加节点，从而保证业务能够正常提供服务。 弹性伸缩在CCE上的使用场景非常广泛，典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 CCE弹性伸缩 CCE的弹性伸缩能力分为如下两个维度： 工作负载弹性伸缩 ： 即调度层弹性，主要是负责修改负载的调度容量变化。例如，HPA是典型的调度层弹性组件，通过HPA可以调整应用的副本数，调整的副本数会改变当前负载占用的调度容量，从而实现调度层的伸缩。 节点弹性伸缩 ： 即资源层弹性，主要是集群的容量规划不能满足集群调度容量时，会通过弹出ECS等资源的方式进行调度容量的补充。 两个维度的弹性组件与能力可以分开使用，也可以结合在一起使用，并且两者之间可以通过调度层面的容量状态进行解耦。

一级功能 二级功能 功能说明 离线训练 训练框架管理 兼容Tensorflow、Pytorch、Horovod、Mindspore等主流训练框架。 离线训练 数据集管理 提供数据集仓库，支持数据集导入导出、数据加速和数据集指标看板。 离线训练 智能调度 提供多种调度策略，支持拓扑感知、故障感知、优先级队列等调度策略。 离线训练 断点续训 任务分钟级别故障检测和任务重调度，支持优雅容错和断点续训。 离线训练 模型管理 支持模型输出到制品仓库、模型多版本管理。 离线训练 运维管理 支持集群、节点、卡、任务维度监控&日志，软硬件故障检测，AIOps智能恢复。 在线推理 推理框架管理 支持分布式vLLM、SGLang、国产MindIE和单机Ollama。 在线推理 AI网关 AI推理应用的接入层必要组件，通过开启多模型流量智能调度和管理，确保对外服务的稳定性以及灵活性。 在线推理 模型加速 支持模型权重加载加速、镜像卷加速、PD分离架构加速。 在线推理 KVCache缓存 支持KVCache缓存加速、KVCache offload、多级缓存、分布式KVCache。 在线推理 弹性扩缩容 支持LWS推理业务扩缩容、HPA、VPA、Cron HPA、ECI弹性推理。 在线推理 全链路可观测 支持推理框架指标监控、资源利用率监控、业务流量监控、推理全链路透明埋点，业务故障可观测。

准备工作 准备一个算力密集型的应用，当用户请求时，需要先计算出结果后才返回给用户结果，如下示例，这是一个PHP页面，代码将保存在index.php文件中，用户请求时先循环开方1000000次，然后再返回“OK!”。 编写Dockerfile制作容器镜像。 FROM php:5apache COPY index.php /var/www/html/index.php RUN chmod a+rx index.php 执行如下命令构建镜像，镜像名称为busyphp。 docker build t busyphp:latest . 构建完成后上传到目标资源池的SWR镜像仓库，上传容器镜像的步骤请参见“容器镜像服务 > 客户端上传镜像”。 创建有1个工作节点的CCE集群，工作节点规格2U4G，节点需要带弹性公网IP，以便访问公网。 在CCE控制台“插件管理”中，如未安装请首先给集群安装好以下插件： •autoscaler：CA插件。 •metricsserver：是Kubernetes集群范围资源使用数据的聚合器，能够收集包括了Pod、Node、容器、Service等主要Kubernetes核心资源的度量数据。 创建节点池和CA策略 在CCE控制台中，创建一个节点池，添加一个2U4G的节点，并打开节点池的弹性扩缩容开关，如下图所示。 修改autoscaler插件配置，将自动缩容开关打开，并配置缩容相关参数，例如节点资源使用率小于50%时进行缩容扫描，启动缩容。插件规格建议至少选择“高可用50”，即保证运行不少于2个autoscaler实例。 上面配置的节点池弹性伸缩，会根据Pod的Pending状态进行扩容，根据节点的资源使用率进行缩容。 CCE同时支持创建CA策略，这里的CA策略可以根据CPU/内存分配率扩容、还可以按照时间定期扩容。CA策略可以与autoscaler默认的根据Pod的Pending状态进行扩容共同作用。 如下图所示，在CCE控制台 > 弹性伸缩 > > > 节点伸缩中创建一个“节点伸缩策略”，配置当集群CPU分配率大于70%时，增加一个节点。CA策略需要关联节点池，可以关联多个节点池，当需要对节点扩缩容时，在节点池中根据最小浪费规则挑选合适规格的节点扩缩容。

专属资源服务 可按用户需求提供专属云（计算独享型）、专属云（存储独享型）等资源服务 专属基础服务 可按用户需求提供虚拟私有云、弹性IP、弹性伸缩服务等基础服务 一站式部署和运维 一键创建Kubernetes集群，自动化部署、运维容器应用，整个生命周期都在专属云容器服务内一站式完成 丰富的应用调度策略 支持多种亲和反亲和调度策略，用户可方便地根据应用特点在高性能和高可靠中找到平衡点 灵活的弹性伸缩策略 支持按性能、按时间、按周期的弹性伸缩策略，用户可自由组合策略以应对多变的突发浪涌 兼容原生Kubernetes和Docker 定期同步最新kubernetes版本，兼容原生API和kubectl命令行 与天翼云基础资源深度整合 支持在专属云容器中使用云主机、VPC、弹性IP、弹性负载均衡、云硬盘等资源

步骤一：安装docker 注意 以下操作同样适用于物理机环境。 1.以root用户登录云主机，登录方式参考登录Linux弹性云主机。 2.执行以下命令安装 docker: curl fsSL bash s docker 3.执行以下命令启动docker: systemctl start docker 4.执行vi /etc/seLinux/config文件，将以下两条命令注释掉: SELINUXTYPEtargeted SELINUXenforcing 增加以下命令，关闭SELINUX： SELINUXdisabled 单击ECS退出编辑，输入"wq!"，保存退出config文件。在命令执行以下命令，使配置生效： setenforce 0 使配置立即生效 步骤二：docker拉取镜像 执行以下命令拉取镜像： docker pull centos:centos8.2 查看本地镜像： docker images 步骤三：宿主机挂载文件系统 挂载已开通的弹性文件系统至弹性云主机，具体操作请参考使用弹性云主机挂载弹性文件系统。本文将弹性文件系统挂载至宿主机的/mnt/dockertest目录： 步骤四: 创建并运行容器，实现文件系统挂载 1.执行以下命令创建并运行容器，将弹性文件挂载至容器的/mnt/mount目录下： 命令格式如下： docker run di name容器名称 v 宿主机挂载目录:容器挂载目录 d 镜像名称

步骤三：创建持久卷声明（PVC） 1. 创建示例yaml文件pvcstaticzos.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: annotations: volume.beta.kubernetes.io/storageprovisioner: zos.csi.cstor.com name: pvcstaticzos namespace: default spec: accessModes: ReadWriteOnce resources: requests: storage: 5Gi volumeMode: Filesystem volumeName: {YOURPVNAME} 替换PV名称 2. 执行以下命令，创建pvc： plaintext kubectl apply f pvcstaticzos.yaml 步骤四：创建工作负载 1. 创建示例yaml文件podpvcstaticzos.yaml： shell apiVersion: apps/v1 kind: StatefulSet metadata: name: nginxpvcstaticzos labels: app: nginxpvcstaticzos spec: replicas: 1 serviceName: "" selector: matchLabels: app: nginxpvcstaticzos template: metadata: labels: app: nginxpvcstaticzos spec: containers: image: "registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim" imagePullPolicy: "IfNotPresent" name: "nginx" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" volumeMounts: mountPath: "/mnt/data" name: "volume1" subPath: "scetest" volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤3中的PVC名称 2. 执行以下命令，创建StatefulSet： plaintext kubectl apply f podpvcstaticzos.yaml 步骤五：验证数据持久化 1. 登录弹性容器服务管理控制台。 2. 在容器组列表页点击刚才创建的实例。 3. 点击“远程连接”页签，进入到容器内。 4. 向/mnt/data 目录下写一个文件，执行: plaintext echo "Hello World" > /mnt/data/test.log 5. 查看/mnt/data 目录下文件，执行： plaintext cat /mnt/data/test.log 预期结果如下： 6. 退出“远程连接”，使用kubectl删除pod，会触发pod自动重建，等待Pod重新运行正常。 plaintext kubectl delete po nginxpvcstaticzos0 7. 对新建Pod，登录“弹性容器服务”管理控制台，继续执行“远程连接”，进入到容器内查看数据。执行： plaintext cat /mnt/data/test.log 预期结果如下： 8. 登录天翼云对象存储管理控制台，根据PV名称查看bucket，进入bucket中的文件管理，可以看到在容器内创建的文件： 下载文件并查看内容，预期结果与容器内写入数据一致。 9. 以上步骤说明，pod删除重建后，重新挂载对象存储卷，数据仍然存在；从对象存储下载数据并与写入数据一致， 说明对象存储中的数据可持久化保存。

本文介绍如何将Pod调度到x86架构的虚拟节点上。 在Kubernetes集群（已有VNode）中，可以通过以下两种方式将Pod调度到VNode上，以ECI来运行。 1. 配置nodeSelector和tolerations VNode默认配置了Label和Taint，因此可以通过配置nodeSelector和tolerations，将Pod调度到VNode，以ECI来运行。 2. 指定nodeName 通过指定nodeName，可以将Pod调度到指定VNode，以ECI来运行。 方式一：配置nodeSelector和tolerations VNode默认配置了如下的Label和Taint： shell ... labels: k8s.ctyun.cn/vnode: "true" ... taints: effect: NoSchedule key: k8s.ctyun.cn/vnode value: "true" 参照如下yaml文件配置nodeSelector和tolerations，将Pod调度到VNode上： shell apiVersion: apps/v1 kind: Deployment metadata: name: vnodenginxdeployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: nodeSelector: 配置特定的nodeSelector k8s.ctyun.cn/vnode: "true" tolerations: 配置特定的tolerations key: k8s.ctyun.cn/vnode operator: "Equal" value: "true" effect: "NoSchedule" containers: name: nginx image: nginx:1.25alpine ports: containerPort: 80 方式二：指定nodeName 1. 获取集群中VNode的名称。 shell kubectl get nodes 默认情况下，集群VNode名称格式为[VNode ID] + [资源池] ，示例：vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud。 2. 参照如下yaml文件配置nodeName。 shell apiVersion: apps/v1 kind: Deployment metadata: name: vnodenginxdeployment labels: app: nginx spec: replicas: 3 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: name: nginx image: nginx:1.25alpine ports: containerPort: 80 nodeName: vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud

本文介绍如何安装与升级cstorcsi插件。 Serverless集群提供cstorcsi插件，基于Kubernetes容器存储接口（CSI），深度融合天翼云存储服务云硬盘、弹性文件存储、对象存储等。 前提条件 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。 部分资源池不支持委托，插件安装需要配置用户AK、SK。安装前请首先到天翼云门户“用户”>“安全设置”>“用户AccessKey”中获取AK；SK可以在首次“创建AccessKey”时获取，也可提通过工单获取存量SK。若资源池支持委托，则不需要配置用户AK、SK。 插件安装 1. 登录云容器引擎管理控制台。 2. 在集群列表页点击进入指定集群。 3. 进入主菜单“插件”点击“插件市场”，选择cstorcsi，点击“安装”。 4. 在弹出的安装界面，点击“安装”。 5. 安装成功后将跳转到插件实例列表页，可以看到插件安装状态。如果插件安装失败，可以查看失败日志，通过工单反馈问题。 插件升级/更新 您可以在控制台看插件实例，并根据需要对插件进行升级或者更新。 1. 登录云容器引擎管理控制台。 2. 在集群列表页点击进入指定集群。 3. 进入主菜单“插件”点击“插件市场”，选择cstorcsi，点击进入查看详情。在插件详情页可以看到版本列表，在说明中可以获取各版本发布变更内容，根据需要确定升级版本。 4. 进入主菜单“插件”点击“插件市场”，选择cstorcsi，可以选择版本进行升级，也可以更新插件配置。 说明 如果当前插件版本已是最新版，插件实例列表页将不可见“升级”按钮。

本文介绍科研助手的产品优势。 简单易用 多种算力形态适配：一站式使用多种架构的算力资源。 预置科研镜像：无需配置科研环境，即开即用。丰富的镜像内容，涵盖数学、仿真、地球科学等领域。 智能调度 支持资源共池 ：提供Serverless共享容器资源池， 面向资源跨域调度。 自研调度器：面向容器/应用的调度算法优化，较原生K8S性能大幅提升。 极致弹性 秒级弹性伸缩：基于容器技术，提供秒级弹性伸缩能力，在流量突增时能快速弹性扩容，保障业务的连续性和高稳定性。 弹性扩容：根据客户需求动态分配计算资源。 灵活付费 按需使用：按照资源实际使用量付费。 包周期：适合长期使用的场景。 套餐包：通过预估用量，节约使用成本。

步骤二：创建Pod来采集Job任务输出日志 1. 通过kubectl客户端创建logcollection.yaml文件，示例如下： Plain apiVersion: v1 kind: Pod metadata: name: logcollection spec: containers: image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.26alpineslim name: logcollection command: ['/bin/sh', 'c', 'echo &(cat /eci/a.log)'] 查看Job日志文件 resources: limits: cpu: "1" memory: 2Gi volumeMounts: name: pvcnas mountPath: /eci restartPolicy: Never volumes: name: pvcnas persistentVolumeClaim: claimName: pvcstaticnas 2. 然后执行指令创建一个Pod，挂载NAS盘用来采集Job任务输出日志。 kubectl get pod 3. 可通过ECI控制台查看logcollection pod的日志输出如下：

本文介绍云容器引擎的产品定义。 云容器引擎(CTCCE，Cloud Container Engine)提供高性能可扩展的容器服务，基于云主机快速构建高可靠的容器集群，兼容 Kubernetes 及 Docker 容器生态，帮助用户轻松创建和管理多样化的容器应用，并提供容器故障自愈，状态监控，容器日志采集，自动弹性扩容等高效运维能力。

本节主要介绍应用组件部署 部署方式说明 云容器引擎（Cloud Container Engine，简称CCE）提供高度可扩展的、高性能的企业级Kubernetes集群，支持运行Docker容器。借助云容器引擎，您可以在云平台上轻松部署、管理和扩展容器化应用程序。 如果创建的组件未开启构建，则不支持容器部署。 部署组件 本节介绍如何将静态组件部署到对应的环境上。 新建应用组件时，也可以选择“创建并部署”，部署操作与本节介绍步骤相同。 前提条件 1. 已经创建应用组件或者正在创建应用组件并完成了静态组件配置，请参考新建应用组件。 2. 已经完成环境创建，请参考环境管理。 3. 如果您基于软件包或者镜像包部署组件，需要将软件包或者镜像包上传： 将软件包上传至OBS对象存储中 将镜像包上传至镜像仓库，请参考上传镜像。 操作步骤 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”。 2、选择已经创建的应用，单击应用名称，进入应用“概览”页。 3、在“组件列表”选择已经创建的组件，单击“操作”栏“部署”。 4、设置基本配置，其中带“”标志的参数为必填参数。 参数 参数说明 :: 环境 选择已创建的环境。 部署版本 组件版本号，例如：1.0.0。 描述 组件的描述信息。 部署系统 支持云容器引擎。 详情请参见部署方式说明。 基础资源 会自动加载所选环境包含的基础资源，根据实际业务需要进行选择。 实例数量 组件可以有一个或多个实例，用户可以设置具体实例个数。 设置多个实例主要用于实现高可靠性，当某个实例故障时，应用组件还能正常运行。 资源配额 组件无法调度到剩余资源小于申请值的节点上，配置方法请参考资源限制指南。 可以根据需要自定义“CPU配额”和“内存配额”。 组件状态 根据需要设置组件状态。 5、单击“下一步 组件配置”，配置组件。 “组件类型”为“通用”且运行时为“Docker”的组件，执行以下操作： a.选择镜像。支持多容器，可以单击“添加容器”增加镜像。 b.设置“镜像版本”。 c.输入“容器名称”。 d.（可选）设置“资源配额”。组件无法调度到剩余资源小于申请值的节点上。可以根据需要自定义“CPU配额”和“内存配额”。 e.（可选）设置“高级设置” 展开“高级设置> 组件配置”，可以设置“环境变量”，请参考设置应用环境变量。 展开“高级设置 > 部署配置”： 设置“启动命令”、“生命周期”，请参考设置应用生命周期。 设置“数据存储”，请参考设置数据存储。 展开“高级设置 > 运维监控”： 设置“日志采集”，请参考配置应用日志策略。 设置“健康检查”，请参考设置应用健康检查。 f.（可选）开启“公网访问” i.设置“公网ELB” 选择已经创建的负载均衡。 若不存在，请单击“新增ELB”创建新的负载均衡。 ii.（可选）设置“HTTPS” 若开启HTTPS，单击“使用已有”选择已经创建的证书。 若证书不存在，请单击“新创建”创建新的服务器证书。 iii.设置“域名” 在输入框中输入自定义域名。详情请参考配置域名映射。 iv.设置“监听端口” 设置应用进程的监听端口。 g.（可选）设置“数据库” 选择已经创建的缓存实例。 h.（可选）设置“时区” 修改容器节点的时区，默认和容器节点所在Region的时区一致。 i.（可选）设置“调度策略”，请参考设置应用组件实例调度策略。 j.（可选）设置“升级策略”，请参考设置应用组件实例升级策略。 k.（可选）设置“性能管理”，请参考设置应用性能管理。 其他类型的组件，执行以下操作： a.设置“镜像” 应用来源为软件包，会加载已经配置的组件静态信息。 组件运行时为Docker，需要从SWR镜像仓库选择镜像包。 b.（可选）开启“公网访问” i.设置“公网ELB” 选择已经创建的负载均衡。 若不存在，请单击“新增ELB”创建新的负载均衡，详情请参考“帮助中心 > 弹性负载均衡 > 用户指南 > 负载均衡器 > 创建负载均衡器”创建增强型负载均衡器。 ii.（可选）设置“HTTPS” 若开启HTTPS，单击“使用已有”选择已经创建的证书。 若证书不存在，请单击“新创建”创建新的服务器证书。创建服务器证书请参考“帮助中心 > 弹性负载均衡 > 用户指南 > 证书管理 > 创建证书”创建证书。 iii.设置“域名” 在输入框中输入自定义域名。详情请参考配置域名映射。 iv.（可选）设置“监听端口” 应用进程的监听端口，对于Tomcat8运行时，默认为8080，也支持自定义。 c.（可选）设置“JVM” 组件运行时为“Java8”、“Tomcat8”时需要设置。 输入JVM参数，如Xms256m Xmx1024m，多个参数以空格间隔，不填则使用默认值。 d.（可选）设置“Tomcat配置” 组件运行时为“Tomcat8”时需要配置。 i.勾选“配置参数”，弹出“Tomcat配置”对话框。 ii.单击“使用示例模板”，根据业务要求编辑模板文件。 iii.单击“确定”。 e.（可选）设置“微服务引擎” 微服务类型组件需要设置该参数。 默认选择环境中添加的微服务引擎，创建微服务引擎请参考创建微服务引擎专享版。 f.（可选）设置“数据库” 选择已经创建的缓存实例。 g.（可选）设置“时区” 修改容器的时区，默认和容器节点所在Region的时区一致。 h.（可选）设置“高级设置” 部署系统选择虚机部署时，只能设置“环境变量”。 展开“高级设置> 组件配置”，可以设置“环境变量”，请参考设置应用环境变量。 展开“高级设置 > 部署配置”： 设置“启动命令”、“生命周期”，请参考设置应用生命周期。 设置“数据存储”，请参考设置数据存储。 设置“调度策略”，请参考设置应用组件实例调度策略。 设置“升级策略”，请参考设置应用组件实例升级策略。 展开“高级设置 > 运维监控”： 设置“日志采集”，请参考配置应用日志策略。 设置“健康检查”，请参考设置应用健康检查。 设置“性能管理”，请参考设置应用性能管理。 设置“自定义监控指标”，请参考设置应用组件自定义指标监控。 6、单击“下一步 规格确认”，确认规格无误后，单击“部署”。 组件部署完成后，在应用“概览”页的“环境视图”可查看组件状态。

概 念 介绍 提供了运行实例所需的信息，包括操作系统和运行环境、初始化应用数据等。 分布式持久块存储设备、可弹性扩展的数据块级存储设备，可以用作实例的系统盘和数据盘使用。 虚拟私有云（Virtual Private Cloud），为云主机、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。 防火墙是保障轻量型云主机网络安全的重要手段，用户可以通过配置防火墙规则，允许或禁止公网或私网对轻量型云主机的访问。 弹性 IP（Elastic IP Address，简称EIP）指公网 IP 地址，将弹性 IP 地址和子网中关联的各项云资源绑定和解绑，可以实现 VPC 中的云资源通过固定的公网 IP 地址与互联网互通。 某一时间点云盘数据状态的备份文件，用于备份或者恢复整个云盘的数据。

本文主要介绍云日志服务与其他服务的关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为您需要接入的弹性云主机或容器集群提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 通过云日志服务，您可采集弹性云主机上的应用日志。云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境。更多信息请参见弹性云主机。 云容器引擎 云容器引擎提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，帮助用户在云上轻松部署、管理和扩展容器化应用。更多信息请参见云容器引擎产品介绍。 VPC终端节点 VPC终端节点（CTVPCEP，VPC EndPoint）可以在VPC内提供便捷、安全、私密的通道与云日志服务进行连接，用于进行日志数据上报。该服务使用天翼云内部网络，无需弹性公网IP，为您提供性能更加强大、更加灵活的网络。更多信息请参见VPC终端节点产品介绍。

本节介绍智算套件定义。 产品定义 智算套件是利用云原生架构和技术，在云容器引擎上快速定制化构建AI生产系统，帮助用户基于 Kubernetes 充分利用天翼云上弹性算力，支持弹性训练与推理等场景。 产品介绍 套件名称 套件说明 驱动管理 为GPU云主机或物理机的算力调度提供硬件驱动。 模型预热 将模型从对象存储预热到本地盘，大幅提升模型部署效率。 智算套件控制面引擎 提供高可用控制面，管理智算套件控制台正常运行。 故障诊断 为集群提供集群巡检、故障诊断等能力。 网络 为集群容器提供使用RDMA网络的能力，包括IB和RoCE。 弹性数据集 支持数据集版本管理，提供弹性加载能力。 弹性训练 为集群提供AI任务接入，兼容主流AI框架和工具，包括TensorFlow、PyTorch、Horovod、Spark等。 GPU安全容器 支持Kata安全容器运行时，满足业务高安全需求。 智能调度 为集群提供智能任务调度策略，可支持Gang、Capacity、Binpack/Spread和Queue等智能调度。 监控 为集群提供硬件监控能力，可采集GPU/NPU，显存等，支持可视化查看GPU的分配、使用和健康状态。

本文主要介绍如何创建工作负载弹性伸缩（CustomedHPA）。 CustomedHPA策略是自研的弹性伸缩增强能力，能够基于指标（CPU利用率、内存利用率）或周期（每天、每周、每月或每年的具体时间点），对无状态工作负载进行弹性扩缩容。 主要功能如下： 支持按照当前实例数的百分比进行扩缩容。 支持设置一次扩缩容的最小步长。 支持按照实际指标值执行不同的扩缩容动作。 前提条件 使用CustomedHPA策略必须安装ccehpacontroller。若ccehpacontroller版本低于1.2.11，则必须安装prometheus插件；若版本大于或等于1.2.11，则需要安装能够提供Metrics API的插件，如kubeprometheusstack、metricsserver或Prometheus。 约束与限制 CustomedHPA策略：仅支持1.15及以上版本的集群创建。 每个工作负载只能创建一个策略，即如果您创建了一个HPA策略，则不能再对其创建CustomedHPA策略或其他HPA策略，您可以删除该HPA策略后再创建。 1.19.10以下版本的集群中，如果使用HPA策略对挂载了EVS卷的负载进行扩容，当新Pod被调度到另一个节点时，会导致之前Pod不能正常读写。 1.19.10及以上版本集群中，如果使用HPA策略对挂载了EVS卷的负载进行扩容，新Pod会因为无法挂载云硬盘导致无法成功启动。 ccehpacontroller插件的资源使用量主要受集群中总容器数量和伸缩策略数量影响，通常场景下建议每5000容器配置CPU 500m, 内存1000Mi资源，每1000伸缩策略CPU 100m，内存500Mi。 若ccehpacontroller插件版本低于1.2.11，不支持使用kubeprometheusstack插件提供Metrics API来实现工作负载弹性伸缩。

本章节介绍故障演练服务中创建VPC终端节点相关功能。 概述 在为弹性云主机 和云容器引擎 安装探针之前，需要先建立故障演练服务控制面与目标实例间的网络连通性，具体是通过创建VPC终端节点实现。 创建步骤 1. 登录VPC终端节点控制台。 2. 单击左侧菜单栏终端节点 ，点击页面右上角创建终端节点。 3. 服务类型 选择按服务实例ID查找服务。 4. 可用服务 中，填入故障演练专属服务实例ID （见下表），点击验证。 5. 虚拟私有云 选择目标故障演练资源所属VPC ，子网选择目标资源相关的子网。 6. 点击下一步确认订单 ，开通VPC终端节点。 服务列表 资源池 服务实例ID 服务实例名称 华东1 endpserjraeobv2mr vpcectgchaosserverhd1 西南1 endpserh1ti3dqy70 vpcectgchaosserverxn1 华北2 endpser1k6c0s0fdc vpcectgchaosserverhb2 西安7 endpserq2im8cy7tj vpcectgchaosserverxa7