本文 主要介绍CCE发布Kubernetes 1.9及之前版本说明。 云容器引擎（CCE）严格遵循社区一致性认证。本文介绍CCE发布Kubernetes 1.9及之前版本所做的变更说明。 表 v1.9及之前版本集群说明 Kubernetes版本（CCE增强版） 版本说明 v1.9.10r2 主要特性： ELB负载均衡支持源IP跟后端服务会话保持 v1.9.10r1 主要特性： 支持对接SFS存储 支持Service自动创建二代ELB 支持公网二代ELB透传源IP 支持设置节点最大实例数maxPods v1.9.10r0 主要特性： kubernetes对接ELB/Ingress，新增流控机制 Kubernetes同步社区1.9.10版本 支持Kubernetes RBAC能力授权 问题修复： 修复操作系统cgroup内核BUG导致概率出现的节点内存泄漏问题 v1.9.7r1 主要特性： 增强PVC和PV事件的上报机制，PVC详情页支持查看事件 支持对接第三方认证系统l 集群支持纳管EulerOS2.3的物理机 数据盘支持用户自定义分配比例 物理机场景支持对接EVS云硬盘存储 物理机场景下支持IB网卡 物理机场景支持通过CMv3接口创建节点 v1.9.7r0 主要特性： 新建集群的Docker版本升级到1706 支持DNS级联 支持插件化管理 Kubernetes同步社区1.9.7版本 支持7层ingress的https功能 有状态工作负载支持迁移调度更新升级 v1.9.2r3 主要特性： 集群支持创建/纳管CentOS7.4操作系统的节点 kubernetes的Service支持对接DNAT网关服务 NetworkPolicy能力开放 增强型ELB支持Service配置多个端口 问题修复： 修复kubernetes资源回收过程中连不上kubeapiserver导致pod残留的问题 修复节点弹性扩容数据不准确的问题 v1.9.2r2 主要特性： 经典型ELB支持自定义健康检查端口 经典型ELB性能优化 ELB四层负载均衡支持修改Service的端口 问题修复： 修复网络插件防止健康检查概率死锁问题 修复高可用集群haproxy连接数限制问题 v1.9.2r1 主要特性： Kubernetes同步社区1.9.2版本 集群节点支持CentOS 7.1操作系统 支持GPU节点，支持GPU资源限制 支持webterminal插件 v1.7.3r13 主要特性： 新建集群的Docker版本升级到1706 支持DNS级联 支持插件化管理 增强PVC和PV事件的上报机制 物理机场景支持对接OBS对象存储 v1.7.3r12 主要特性： 集群支持创建/纳管CentOS7.4操作系统的节点 kubernetes的Service支持对接DNAT网关服务 NetworkPolicy能力开放 增强型ELB支持Service配置多个端口 问题修复： 修复kubernetes资源回收过程中连不上kubeapiserver导致pod残留的问题 修复节点弹性扩容数据不准确的问题 事件老化周期提示修正：集群老化周期为1小时 v1.7.3r11 主要特性： 经典型ELB支持自定义健康检查端口 经典型ELB性能优化 ELB四层负载均衡支持修改Service的端口 支持删除命名空间 支持EVS云硬盘存储解绑 支持配置迁移策略 问题修复： 修复网络插件防止健康检查概率死锁问题 修复高可用集群haproxy连接数限制问题 v1.7.3r10 主要特性： 容器网络支持Overlay L2模式 集群节点支持GPU类型虚机 集群节点支持CentOS 7.1操作系统，支持操作系统选择 Windows集群支持对接二代ELBl 支持弹性文件服务SFS导入 物理机场景支持对接SFS文件存储、OBS对象存储 v1.7.3r9 主要特性： 工作负载支持跨AZ部署 容器存储支持OBS对象存储服务 支持ELB L7负载均衡 Windows集群支持EVS存储 物理机场景支持devicemapper directlvm模式 v1.7.3r8 主要特性： 集群支持节点弹性扩容 v1.7.3r7 主要特性： 容器隧道网络集群支持纳管SUSE 12sp2节点 docker支持directlvm模式挂载devicemapper 集群支持安装dashboard 支持创建Windows集群 v1.7.3r6 主要特性： 集群存储对接原生EVS接口 v1.7.3r5 主要特性： 支持创建HA高可靠集群 问题修复： 节点重启后容器网络不通 v1.7.3r4 主要特性： 集群性能优化 物理机场景支持对接ELB v1.7.3r3 主要特性： 容器存储支持KVM虚拟机挂载 v1.7.3r2 主要特性： 容器存储支持SFS文件存储 工作负载支持自定义应用日志 开放工作负载优雅缩容 问题修复： 修复容器存储AK/SK会过期的问题 v1.7.3r1 主要特性： kubedns支持外部域名解析 v1.7.3r0 主要特性： Kubernetes同步社区1.7.3版本 支持ELB负载均衡 容器存储支持XEN虚拟机挂载 容器存储支持EVS云硬盘存储

操作（Action） 操作（Action） 说明 cce::get cce:cluster:get 查询集群详情 cce::get cce:node:get 查询节点详情 cce::get cce:job:get 查询任务详情（集群层面的job） cce::get cce:addonInstance:get 获取插件实例 cce::get cce:addonTemplate:get 获取插件模板 cce::get cce:chart:get 获取模板信息 cce::get cce:nodepool:get 获取节点池 cce::get cce:release:get 获取模板实例信息 cce::get cce:userAuthorization:get 获取CCE用户授权 cce::list cce:cluster:list 查询集群列表 cce::list cce:node:list 查询节点列表 cce::list cce:job:list 查询任务列表（集群层面的job） cce::list cce:addonInstance:list 列出所有插件实例 cce::list cce:addonTemplate:list 列出所有插件模板 cce::list cce:chart:list 列出所有模板 cce::list cce:nodepool:list 列出集群的所有节点池 cce::list cce:release:list 列出所有模板实例 cce::list cce:storage:list 列出所有磁盘 cce:kubernetes: 操作所有kubernetes资源，具体权限请在15.3 命名空间权限中配置。 ecs::get ECS（弹性云主机）所有资源详情的查看权限。 CCE中的一个节点就是具有多个云硬盘的一台弹性云主机 ecs::list ECS（弹性云主机）所有资源列表的查看权限。 evs::get 云硬盘所有资源详情的查看权限。可以将云硬盘挂载到云服务器，并可以随时扩容云硬盘容量 evs::list 云硬盘所有资源列表的查看权限。 evs::count vpc::get VPC（虚拟私有云，包含二代ELB）所有资源详情的查看权限。 创建的集群需要运行在虚拟私有云中，创建命名空间时，需要创建或关联VPC，创建在命名空间的容器都运行在VPC之内 vpc::list VPC（虚拟私有云，包含二代ELB）所有资源列表的查看权限。 sfs::get SFS（弹性文件服务）服务所有资源详情的查看权限。 sfs:shares:ShareAction SFS（弹性文件服务）资源的扩容共享。 aom::get AOM（应用运维管理）服务所有资源详情的查看权限。 aom::list AOM（应用运维管理）服务所有资源列表的查看权限。 aom:autoScalingRule: AOM（应用运维管理）服务自动扩缩容规则的所有操作权限。

本章节介绍故障演练服务中创建VPC终端节点相关功能。 概述 在为弹性云主机 和云容器引擎 安装探针之前，需要先建立故障演练服务控制面与目标实例间的网络连通性，具体是通过创建VPC终端节点实现。 创建步骤 1. 登录VPC终端节点控制台。 2. 单击左侧菜单栏终端节点 ，点击页面右上角创建终端节点。 3. 服务类型 选择按服务实例ID查找服务。 4. 可用服务 中，填入故障演练专属服务实例ID （见下表），点击验证。 5. 虚拟私有云 选择目标故障演练资源所属VPC ，子网选择目标资源相关的子网。 6. 点击下一步确认订单 ，开通VPC终端节点。 服务列表 资源池 服务实例ID 服务实例名称 华东1 endpserjraeobv2mr vpcectgchaosserverhd1 西南1 endpserh1ti3dqy70 vpcectgchaosserverxn1 华北2 endpser1k6c0s0fdc vpcectgchaosserverhb2 西安7 endpserq2im8cy7tj vpcectgchaosserverxa7

本节介绍智算套件定义。 产品定义 智算套件是利用云原生架构和技术，在云容器引擎上快速定制化构建AI生产系统，帮助用户基于 Kubernetes 充分利用天翼云上弹性算力，支持弹性训练与推理等场景。 产品介绍 套件名称 套件说明 驱动管理 为GPU云主机或物理机的算力调度提供硬件驱动。 模型预热 将模型从对象存储预热到本地盘，大幅提升模型部署效率。 智算套件控制面引擎 提供高可用控制面，管理智算套件控制台正常运行。 故障诊断 为集群提供集群巡检、故障诊断等能力。 网络 为集群容器提供使用RDMA网络的能力，包括IB和RoCE。 弹性数据集 支持数据集版本管理，提供弹性加载能力。 弹性训练 为集群提供AI任务接入，兼容主流AI框架和工具，包括TensorFlow、PyTorch、Horovod、Spark等。 GPU安全容器 支持Kata安全容器运行时，满足业务高安全需求。 智能调度 为集群提供智能任务调度策略，可支持Gang、Capacity、Binpack/Spread和Queue等智能调度。 监控 为集群提供硬件监控能力，可采集GPU/NPU，显存等，支持可视化查看GPU的分配、使用和健康状态。

本文主要介绍云日志服务与其他服务的关系。 虚拟私有云(CTVPC ，Virtual Private Cloud) 虚拟私有云为您需要接入的弹性云主机或容器集群提供一个逻辑隔离的区域，构建一个安全可靠、 可配置和管理的虚拟网络环境。更多信息请参见虚拟私有云。 弹性云主机（CTECS，Elastic Cloud Server） 通过云日志服务，您可采集弹性云主机上的应用日志。云主机由 CPU、内存、镜像、云硬盘组成，同时结合VPC、安全组、数据多副本保存等能力，打造一个既高效又可靠安全的计算环境。更多信息请参见弹性云主机。 云容器引擎 云容器引擎提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，帮助用户在云上轻松部署、管理和扩展容器化应用。更多信息请参见云容器引擎产品介绍。 VPC终端节点 VPC终端节点（CTVPCEP，VPC EndPoint）可以在VPC内提供便捷、安全、私密的通道与云日志服务进行连接，用于进行日志数据上报。该服务使用天翼云内部网络，无需弹性公网IP，为您提供性能更加强大、更加灵活的网络。更多信息请参见VPC终端节点产品介绍。

本节介绍节点池管理用户指南。 前提条件 创建分布式容器云平台的注册集群，并将自建Kubernetes集群以内网方式接入注册集群。 自建Kubernetes集群的网络与云上注册集群使用的VPC网络互通。 集群容器网络互通，搭建混合云网络，云上容器网络与云下容器网络互通。 创建节点池 创建流程 需要根据用户的环境和上图的判断条件，最终确定使用提前预装软件包的自定义OS镜像，或是根据实例脚本构建节点部署脚本，完成节点池创建。 部署脚本构建 步骤一：创建节点部署脚本 1. 获取集群信息。 shell 获取k8s集群版本号，后续设置到示例脚本环境变量KUBEVERSION中 kubectl get no $(kubectl get nodes l noderole.kubernetes.io/controlplane o json jq r '.items[0].metadata.name') o json jq r '.status.nodeInfo.kubeletVersion' 输出示例 v1.31.6 获取运行时及版本号，后续设置到示例脚本环境变量RUNTIMEVERSION中 kubectl get no $(kubectl get nodes l noderole.kubernetes.io/controlplane o json jq r '.items[0].metadata.name') o json jq r '.status.nodeInfo.containerRuntimeVersion' 输出示例 containerd://1.6.28 获取kubeadm添加节点命令。需要设置为永不过期，避免节点池弹性伸缩失效。添加到部署脚本环境变量KUBEADMJOINCMD kubeadm token create ttl 0 printjoincommand

本文介绍云容器引擎的产品定义。 云容器引擎(CTCCE，Cloud Container Engine)提供高性能可扩展的容器服务，基于云主机快速构建高可靠的容器集群，兼容 Kubernetes 及 Docker 容器生态，帮助用户轻松创建和管理多样化的容器应用，并提供容器故障自愈，状态监控，容器日志采集，自动弹性扩容等高效运维能力。

Master配置 Master节点选择单可用区/多可用区部署，建议选择3/5Master节点，实现集群高可用部署。若要查看可选择的操作系统类型，详情请见节点操作系统说明。 说明 如需选择1Master节点，请提工单申请配置。 节点池配置 节点池配置为工作节点池的订购参数和配置参数，用户订购的节点池在云主机/物理机控制台可见，可当云主机/弹性裸金属正常使用和运维。主机操作系统支持默认和自定义操作系统镜像。若要查看可选择的操作系统类型，详情请见节点操作系统说明。 支持配置工作节点的k8s参数，也可默认不配置，后续产品控制台按需使用。 插件配置 插件配置可选安装容器插件实例，包括：Ingress、监控插件、服务发现、集群巡检等。 可选云日志服务、容器镜像服务及对应的VPC终端节点服务。 确认配置并提交订单 确认配置信息，勾选是否自动支付，阅读《高危操作及解决方案》、《云容器引擎服务协议》、《云容器引擎服务等级协议》，提交订单，等待容器及IaaS资源自动化开通。 说明 容器获得用户的委托权限后，会自动通过Openapi创建云主机/物理机订单、云硬盘等IaaS订单，从而实现IaaS资源可见。 查看订单管理。

Master配置 Master节点选择单可用区/多可用区部署，建议选择3/5Master节点，实现集群高可用部署。若要查看可选择的操作系统类型，详情请见节点操作系统说明。 说明 如需选择1Master节点，请提工单申请配置。 节点池配置 节点池配置为工作节点池的订购参数和配置参数，用户订购的节点池在云主机/物理机控制台可见，可当云主机/弹性裸金属正常使用和运维。主机操作系统支持默认和自定义操作系统镜像。若要查看可选择的操作系统类型，详情请见节点操作系统说明。 支持配置工作节点的k8s参数，也可默认不配置，后续产品控制台按需使用。 插件配置 插件配置可选安装容器插件实例，包括：Ingress、监控插件、服务发现、集群巡检等。 可选云日志服务、容器镜像服务及对应的VPC终端节点服务。 确认配置并提交订单 确认配置信息，勾选是否自动支付，阅读《高危操作及解决方案》、《云容器引擎服务协议》、《云容器引擎服务等级协议》，提交订单，等待容器及IaaS资源自动化开通。 说明 容器获得用户的委托权限后，会自动通过Openapi创建云主机/物理机订单、云硬盘等IaaS订单，从而实现IaaS资源可见。 查看订单管理。

本节介绍创建智能网关。 前提条件 已完成AI套件安装，网络组件运行正常。 约束与限制 智能网关依赖ELB，可登录网络控制台弹性负载均衡页面创建资源。 操作步骤 1、创建智能网关 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用管理 > 智能网关，选择创建智能网关 在创建智能网关页面，首先完成基础信息配置： 配置项说明如下： 配置项 说明 实例名称 集群内命名空间下唯一，名称长度大于1，小于253个字符 命名空间 集群命名空间 标签 标签遵循K/V格式，其中Key规范如下： Key 的结构： Key 可以分为两部分：可选的前缀（prefix）和标签名（name），两者之间用 / 分隔。例如：example.com/mykey。 前缀规则： 前缀是可选的，如果存在，则必须是一个 DNS 子域名格式，例如 example.com。 前缀长度不能超过 253 个字符。 标签名规则： 标签名部分是必须的。 标签名长度不能超过 63 个字符。 标签名只能包含字母（az、AZ）、数字（09）、连字符（）、下划线（）、点（.）。 标签名必须以字母或数字开头和结尾。 注解 注解遵循K/V格式，其中Key规范如下： 结构组成： 注解键由两部分组成：可选前缀（Prefix）和名称（Name），格式为 / 。 如果没有指定前缀，则键被视为用户私有的。 前缀规则： 前缀必须是 DNS 子域名格式，即由点（.）分隔的 DNS 标签组成，总长度不超过 253 个字符。 例如：example.com 或 mycompany.com/myapp。 名称规则： 名称部分是必需的，不能包含前缀。 名称长度不能超过 63 个字符。 名称只能包含字母（az、AZ）、数字（09）、连字符（）、下划线（）、点（.）。 名称必须以字母或数字开头和结尾。 键值对限制： 注解中的键和值都必须是字符串类型。 不支持数字、布尔值、列表等其他类型。 描述 网关实例的附加描述信息 配置信息 CPU 网关实例容器CPU配置，单位核数 配置信息 内存 网关实例容器内存配置，单位Gi 配置信息 副本数 网关实例部署的副本数，大于1，小于100 访问控制 类型 表示智能网关流量暴露方式，默认是LoadBalance类型的Service 访问控制 负载均衡 支持私网访问和公网访问两种模式，对应私网类型ELB和公网类型ELB 访问控制 监听器配置 网关实例至少配置一个监听器，包括接入协议（目前支持HTTP）、服务端口（与推理应用容器端口保持一致）、接入范围（同命名空间）

操作步骤 步骤 1 登录CCE控制台，在总览页面单击“购买Kubernetes集群”，或在左侧导航栏中单击“资源管理 > 集群管理”，单击“购买混合集群”。 步骤 2 参照下表设置集群参数。 创建集群参数配置 参数 参数说明 计费模式 包年/包月：预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。包年/包月集群创建后不能删除。 按需计费：后付费模式，按资源的实际使用时长计费，可以随时开通/删除资源。 本节以“按需计费”类型为例进行讲解。 区域 不同区域的云服务产品之间内网互不相通；请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 新建集群的名称，创建后不可修改。 集群名称长度范围为4128个字符，以小写字母开头，由小写字母、数字、中划线（）组成，且不能以中划线（）结尾。 版本 Kubernetes社区基线版本，建议选择最新的版本。版本升级请参见集群版本升级说明。 若有Beta版本时，您可以选择试用，但不建议您将该版本用于商用场景。 集群管理规模 集群管理规模是指当前集群的控制节点可以管理的最大工作节点规模，您可以选择50节点、200节点、1000节点三种管理规模，请根据您的业务需求选择，该规模在集群创建后不可更改，请慎重选择。 若选择“1000节点”，表示当前集群的控制节点最多可管理1000个工作节点。由于不同管理规模的控制节点规格不同，因此配置费用会有差异。 任何一个集群中均包含“Master Node”和“Worker Node”，每一个Node对应一台云服务器。 Master Node：集群的控制节点，在创建集群时会自动创建控制节点，负责整个集群的管理和调度。 Worker Node：集群的工作节点，即用户购买或纳管的节点。工作负载是由控制节点分配的，当某个工作节点宕机时，控制节点会将工作负载转移到其他工作节点上。 控制节点数 多控制节点模式开启后将创建三个控制节点，在单个控制节点发生故障后集群可以继续使用，不影响业务功能。 多控制节点模式开关在集群创建完成后不可变更。 商用场景建议选择多控制节点模式集群。 虚拟私有云 新建集群所在的虚拟私有云，集群创建后不可更改。 虚拟私有云是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 若没有虚拟私有云可选择，请单击“创建虚拟私有云”进行创建，完成创建后单击刷新按钮。 所在子网 节点虚拟机运行的子网环境，集群创建后不可更改。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 若没有子网可选择，请单击“创建子网”进行创建，完成创建后单击刷新按钮。虚拟私有云、子网、集群的关系请参见集群概述。 请确保子网下的DNS 服务器可以解析对象存储服务域名，否则无法创建节点。 集群创建后子网无法修改，请谨慎选择。 网络模型 集群创建成功后，网络模型不可更改，请谨慎选择。 容器隧道网络 容器隧道网络下只能添加同一类型的节点，即全部为虚拟机节点或全部为裸金属节点。 基于底层VPC网络，另构建了独立的VXLAN隧道化容器网络，适用于一般场景。 VXLAN是将以太网报文封装成UDP报文进行隧道传输。容器网络是承载于VPC网络之上的Overlay网络平面，具有付出少量隧道封装性能损耗，即可获得通用性强、互通性强、高级特性支持全面等优势，可以满足大多数应用需求。 VPC 网络 VPC网络模式下每个节点占用一条VPC路由规则，Console界面中可显示当前局点支持的VPC路由规则条数，以及每个节点可供分配的容器IP个数（即可创建的Pod实例数目上限）， VPC路由方式与底层网络深度整合，适用于高性能场景，但每个节点占用一条VPC路由规则，节点数量受限于虚拟私有云VPC的路由配额。 VPC网络集群下的每个节点将会被分配固定大小的IP地址段，由于没有隧道封装的消耗，容器网络性能相对于容器隧道网络有一定优势。VPC网络集群由于VPC路由中配置有容器网段与节点IP的路由，可以支持集群外直接访问容器实例等特殊场景。 容器网段 请根据业务需求选择容器网段，确定容器网段后，容器实例将在规划的网段内分配IP，集群创建后该网段不可更改。 未勾选“自动选择”：请手动选择网段。若与子网网段有冲突时将有红色文字提示，请重新选择。建议使用网段：10.0.0.0/8~18，172.16.0.0/16~18，192.168.0.0/16~18。 不同集群使用相同的容器网段，会导致容器IP 冲突，应用访问异常。 勾选“自动选择”：系统将自动分配与子网网段无冲突的网段。 容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。设置掩码后，选项下方会有当前网段最多支持的实例估算值，请作参考。 服务网段 服务网段为kubernetes service ip网段，集群创建后该网段不可更改。服务网段与已创建的路由不能冲突，如果冲突，请重新选择。 使用默认网段：默认设置为10.247.0.0/16网段。 手动设置网段：请根据业务需求设置合理的网段和掩码，掩码决定集群内可用service ip数量。 认证方式 认证机制主要用于对集群下的资源做权限控制。例如A用户只能对某个命名空间下的应用有读写权限，B用户对集群下的资源只有读权限等。角色权限控制的操作请参见集群管理权限控制。 默认状态下不选定“认证能力增强”，此时默认开启X509认证模式，X509是一种非常通用的证书格式。 若需要对集群进行权限控制，请勾选“认证能力增强”，选择“认证代理”。 单击“CA根证书”后的“上传文件”，上传符合规范且合法的证书，并勾选“我已确认上传的证书合法”。 证书若不合法，集群将无法创建成功。请上传小于1MB的文件，上传格式支持.crt或.cer格式。 集群描述 选填，请输入新建容器集群相应的描述信息。 高级设置 单击“高级设置”后展开详细项目，支持的功能如下（当前可用区中不支持的功能将隐藏）： 服务转发模式： iptables：社区传统的kubeproxy模式，完全以iptables规则的方式来实现service负载均衡。该方式最主要的问题是在服务多的时候产生太多的iptables规则，非增量式更新会引入一定的时延，大规模情况下有明显的性能问题。 ipvs：在社区获得广泛支持的kubeproxy模式，采用增量式更新，吞吐更高，速度更快，并可以保证service更新期间连接保持不断开，适用于大规模场景。 ipvs模式下，ingress和service使用相同的ELB实例时，无法在集群内的节点和容器中访问ingress。 说明 ipvs为大型集群提供了更好的可扩展性和性能。 ipvs支持比iptables更复杂的负载平衡算法（最小负载，最少连接，位置，加权等）。 ipvs支持服务器健康检查和连接重试等。 CPU 管理策略： 开启：支持给工作负载实例配置CPU独占，适用于对CPU缓存和调度延迟敏感的工作负载。 关闭：关闭工作负载实例独占CPU核的功能，优点是CPU共享池的可分配核数较多。 购买时长 若选择创建“包年/包月”的集群，请设置购买时长。 步骤 3 单击“下一步：创建节点”，在“创建节点”步骤中，参照如下参数配置节点： 创建节点： 现在添加：创建集群的同时创建节点，当前仅支持虚拟机节点。如果节点创建失败集群会一起回滚。 稍后添加：将不会创建节点，仅创建一个空集群，集群创建完成后可以添加虚拟机或裸金属节点。 计费模式：支持“包年/包月”和“按需计费”两种计费类型。 包年/包月：包年包月是预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。 按需计费：按需计费是后付费模式，按资源的实际使用时长计费，可以随时开通/删除资源。 创建集群时节点的计费方式跟随集群的计费方式，如集群的计费模式选择“按需计费”，则创建过程中节点的计费模式只能为“按需计费”，“包年/包月”同理。创建方式请参考节点管理>购买节点。 包年/包月节点创建后不能删除，如需停止使用，请执行退订操作。 当前区域：节点实例所在的资源池。 可用区：请根据业务需要进行选择。可用区是在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 如果您需要提高工作负载的高可靠性，建议您在创建集群后将云服务器部署在不同的可用区，购买集群时节点只能部署在一个可用区。 节点类型：选择“虚拟机节点”。 节点名称：自定义节点名称。长度范围为156个字符，以小写字母开头，支持小写字母、数字、中划线()，不能以中划线()结尾。 节点规格：请根据业务需求选择相应的节点规格。 通用型：该类型实例提供均衡的计算、存储以及网络配置，适用于大多数的使用场景。通用型实例可用于Web服务器、开发测试环境以及小型数据库工作负载等场景。 内存优化型：该类型实例提供内存比例更高的实例，可以用于对内存要求较高、数据量大的工作负载，例如关系数据库、NoSQL等场景。 GPU加速型：提供优秀的浮点计算能力，从容应对高实时、高并发的海量计算场景。P系列适合于深度学习，科学计算，CAE等；G系列适合于3D动画渲染，CAD等。 高性能计算型：实例提供具有更稳定、超高性能计算性能的实例，可以用于超高性能计算能力、高吞吐量的工作负载场景，例如科学计算。 通用计算增强型：该类型实例具有性能稳定且资源独享的特点，满足计算性能高且稳定的企业级工作负载诉求。 为确保节点稳定性，系统会自动预留部分资源，用于运行必须的系统组件。详细请参见节点管理>节点预留资源计算公式。 操作系统：请直接选择节点对应的操作系统。 系统盘：设置工作节点的系统盘空间。您可以设置系统盘的规格为40GB1024GB之间的数值，缺省值为40GB。 数据盘：设置工作节点的数据盘空间。您可以设置数据盘的规格为100GB32678GB之间的数值，缺省值为100GB。数据盘可提供的云硬盘类型与系统盘一致。 注意 若数据盘卸载或损坏，会导致docker服务异常，最终导致节点不可用。建议不要删除该数据盘。 数据盘空间分配：单击后方的“更改配置”可以对数据盘中的“k8s空间”和“用户空间”占比进行自定义设置，开启LVM管理的数据盘将按照设置的比例进行统一分配。部分集群版本不支持此功能，具体以界面为准。 k8s空间：您可以自定义数据盘中Docker和Kubelet的资源占比。Docker资源包含Docker工作目录、Docker镜像数据以及镜像元数据；Kubelet资源包含Pod配置文件、密钥以及临时存储EmptyDir等挂载数据。 用户空间：定义本地盘中不分配给kubernetes使用的空间大小和用户空间挂载路径。 请注意“挂载路径”不能设置为根目录“/”，否则将导致挂载失败。挂载路径一般设置为： /opt/xxxx（但不能为/opt/cloud） /mnt/xxxx（但不能为/mnt/paas） /tmp/xxx /var/xxx （但不能为/var/lib、/var/script、/var/paas等关键目录） /xxxx（但不能和系统目录冲突，例如bin、lib、home、root、boot、dev、etc、lost+found、mnt、proc、sbin、srv、tmp、var、media、opt、selinux、sys、usr等） 注意不能设置为/home/paas、/var/paas、/var/lib、/var/script、/mnt/paas、/opt/cloud，否则会导致系统或节点安装失败。 虚拟私有云：不可修改，仅用于展示当前集群所在的虚拟私有云。 所在子网：通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。可选择该集群虚拟私有云下的任意子网，集群节点支持跨子网。 该参数仅在v1.13.10r0及以上版本的集群中显示，请务必确保子网下的DNS服务器可以解析对象存储服务域名，否则无法创建节点。 已有集群添加节点时，如果子网对应的VPC新增了扩展网段且子网是扩展网段，要在控制节点安全组（即集群名称ccecontrol随机数）中添加如下三条安全组规则，以保证集群添加的节点功能可用（新建集群时如果VPC已经新增了扩展网段则不涉及此场景）： 弹性IP：独立申请的公网IP地址，若节点有互联网访问的需求，请选择“暂不使用”或“使用已有”。集群开启IPv6时，不显示该参数。弹性公网IP提供外网访问能力，可以灵活绑定及解绑，随时修改带宽。未绑定弹性公网IP的云服务器无法直接访问外网，无法直接对外进行互相通信。 暂不使用：若新增节点未绑定弹性IP，则在该节点上运行的工作负载将不能被外网访问，仅可作为私有网络中部署业务或者集群所需云服务器进行使用。 使用已有：请选择已有的弹性IP，将为当前节点分配已有弹性IP。 说明 CCE默认不启用VPC的SNAT。若VPC启用了SNAT，可以不使用EIP去访问外网。 共享带宽：请选择“暂不使用”或“使用已有”。仅在集群开启IPv6时，显示该参数。弹性公网IP提供外网访问能力，可以灵活绑定及解绑，随时修改带宽。未绑定弹性公网IP的云服务器无法直接访问外网，无法直接对外进行互相通信。 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：选择用于登录本节点的密钥对，支持选择共享密钥。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 注意 如果子用户创建节点选择密钥对创建，这个密钥只对创建这个密钥的子用户有效，即使其他子用户在同一个组也无法选择，也无法使用。例如：A用户创建的密钥，B用户无法使用这个密钥对创建节点，并且Console也选不到。 云服务器高级设置：（可选），单击 展开后可对节点进行如下高级功能配置： 安装前执行脚本：请输入脚本命令，大小限制为0~1000字符。 脚本将在Kubernetes软件安装前执行，可能导致Kubernetes软件无法正常安装，需谨慎使用。常用于格式化数据盘等场景。 安装后执行脚本：请输入脚本命令，大小限制为0~1000字符。 脚本将在Kubernetes软件安装后执行，不影响Kubernetes软件安装。常用于修改Docker配置参数等场景。 新增数据盘：单击“新增数据盘”，选择云硬盘类型并输入数据盘规格。 子网IP：可选择“自动分配IP地址”和“手动分配IP地址”，推荐使用“自动分配IP地址”。 Kubernetes高级设置：（可选），单击 展开后可对集群进行如下高级功能配置： 最大实例数：节点最大允许创建的实例数(Pod)，该数量包含系统默认实例，取值范围为16~128。 该设置的目的为防止节点因管理过多实例而负载过重，请根据您的业务需要进行设置。 自定义镜像仓库：单击“新增自定义镜像仓库地址”输入镜像仓库地址。 添加自定义镜像仓库地址（非SSL镜像源地址）到docker启动参数中，避免拉取个人镜像仓库的镜像失败，格式可为“IP地址:端口或者域名”。安装后执行脚本与自定义镜像仓库不能同时使用。 单容器可用数据空间：该参数用于设置一个容器可用的数据空间大小，设置范围为10G到80G。如果设置的参数超过数据盘中Docker可占用的实际数据空间（由数据盘设置项中的资源分配自定义参数指定，默认为数据盘大小的90%），将以Docker的实际空间大小为主。该参数仅在v1.13.10r0及以上版本的集群中显示。 节点购买数量：此处设置的节点数不能超过集群管理的最大节点规模，请根据业务需求和界面提示进行选择，单击后方的 可查看影响能添加节点数的因素（取决于最小值）。如需申请更多配额，请单击。 购买时长：若选择创建“包年/包月”的集群，请设置购买时长。 步骤 4 单击“下一步：安装插件”，在“安装插件”步骤中选择要安装的插件。 “系统资源插件”为必装插件，“高级功能插件”可根据实际需求进行选择性安装。 所有插件也可以在集群创建完成后，在左侧导航栏中单击“插件管理”进行安装或卸载，具体请参见插件管理章节。 步骤 5 单击“下一步：配置确认”，阅读“使用说明”并点选“我已知晓上述限制”，确认所设置的服务选型参数、规格和费用等信息。 步骤 6 确认规格和费用后，单击“提交”，集群开始创建。 若选择购买“包年包月”的集群，请单击“去支付”，根据界面提示进行付款操作。 集群创建预计需要约10分钟，您可以单击“返回集群管理”进行其他操作或单击“查看集群事件列表”后查看集群详情。待集群状态为“正常”，表示集群创建成功。

本文介绍我的模板相关操作。 模版创建 1. 在弹性容器实例控制台左侧导航栏中选择“智算容器组模板管理”。 2. 选择我的模板页签，点击“创建模板”进入创建模板页面。 3. 在创建模板界面中确认基础配置信息。 4. 在创建模板界面中确认镜像配置信息。 5. 在创建模板界面中确认其他配置，如启动命令，端口，环境变量等。 模版查看 模板创建完成后，可以点击我的模板页签进行查看。 模版修改 1. 模板创建完成后，可以点击点击修改操作。 2. 选择需要修改的参数，如网络参数，镜像配置，启动命令等。 模版删除 1.选择需要删除的模板，点击删除操作。 2. 当出现弹窗，点击“确认”即可。

操作场景 工作负载创建后，您可以对其执行伸缩、升级、编辑YAML、日志、监控、回退、删除等操作。 日志 您可以通过“日志”功能查看无状态工作负载、有状态工作负载、守护进程集、普通任务的日志信息。本文以无状态工作负载为例说明如何查看日志。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击工作负载后的“日志”。 在弹出的“日志”窗口中可以查看最近5分钟、最近30分钟、最近1小时内的日志信息。 升级 基于CCE，您可以通过更换镜像或镜像版本实现无状态工作负载、有状态工作负载、守护进程集的快速升级，业务无中断。本节以无状态工作负载为例说明如何进行升级。 若需要更换镜像或镜像版本，您需要提前将镜像上传到容器镜像服务。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”，单击待升级工作负载后的“升级”。 说明：有状态工作负载升级时，若升级类型为替换升级，需要用户手动删除实例后才能升级成功，否则界面会始终显示“升级中”。 步骤 2 请根据业务需求进行工作负载的升级。 镜像名称：单击“更换镜像”，选择新的镜像。 镜像版本：在镜像版本后的下拉框中选择对应版本。 容器名称： 单击容器名称后的，修改容器名称。 特权容器：开启后，容器将可以访问主机上的所有设备。 容器规格：可分别设置CPU配额、内存配额。 高级设置： − 生命周期：用于设置容器启动和运行时需要执行的命令。 启动命令：设置容器启动时执行的命令，具体请参见设置容器启动命令。 启动后处理：设置容器成功运行后执行的命令，详细配置方法请参见设置容器生命周期。 停止前处理：设置容器结束前执行的命令，通常用于删除日志/临时文件等，详细配置方法请参见设置容器生命周期。 − 健康检查：CCE提供了存活与业务两种探针，用于判断容器和用户业务是否正常运行。详细配置方法请参见设置容器健康检查。 工作负载存活探针：检查容器是否正常，不正常则重启实例。 工作负载业务探针：检查用户业务是否就绪，不就绪则不转发流量到当前实例。 − 环境变量：在容器中添加环境变量，一般用于通过环境变量设置参数。 在“环境变量”页签，单击“添加环境变量”，当前支持三种类型： 手动添加：输入变量名称、变量/变量引用。 密钥导入：输入变量名称，选择导入的密钥名称和数据。您需要提前创建密钥，具体请参见创建密钥。 配置项导入：输入变量名称，选择导入的配置项名称和数据。您需要提前创建配置项，具体请参见创建配置项。 说明： 对于已设置的环境变量，单击环境变量后的“编辑”，可对该环境变量进行编辑。单击环境变量后的“删除”，可删除该环境变量。 − 数据存储：给容器挂载数据存储，支持本地磁盘和云存储，适用于需持久化存储、高磁盘IO等场景。具体请参见本地磁盘存储。 说明： 有状态工作负载只能在创建时添加数据存储，创建完成后无法再添加。 − 安全设置：对容器权限进行设置，保护系统和其他容器不受其影响。 请输入用户ID，容器将以当前用户权限运行。 − 容器日志：设置容器日志采集策略、配置日志目录。用于收集容器日志便于统一管理和分析。详细配置请参见采集容器标准输出日志、采集容器内路径日志。 步骤 3 更新完成后，单击“提交”。 编辑YAML 可通过在线YAML编辑窗对无状态工作负载、有状态工作负载、守护进程集和容器组的YAML文件进行修改和下载。普通任务和定时任务的YAML文件仅支持查看、复制和下载。本文以无状态工作负载为例说明如何在线编辑YAML。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击工作负载后的“更多 > 编辑YAML”，在弹出的“编辑YAML”窗中可对当前工作负载的YAML文件进行修改。 步骤 3 单击“修改”，在弹出的提示框中单击“确定”，完成修改。 步骤 4 （可选）在“编辑YAML”窗中，单击“下载”，可下载该YAML文件。 伸缩 您可以根据业务需求自行定义无状态工作负载、有状态工作负载和守护进程集的伸缩策略，降低因应对业务变化和高峰压力而人为反复调整资源的工作量，帮助您节约资源和人力成本。本文以无状态工作负载为例说明如何使用伸缩功能。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击待设置伸缩策略工作负载后的“更多 > 伸缩”，进入工作负载详情页面。 步骤 3 在“伸缩”页签，可设置“弹性伸缩”和“手动伸缩”策略，或“编辑伸缩规则”。 详细设置方法请参见工作负载弹性伸缩。 监控 您可以通过CCE控制台查看无状态工作负载、守护进程集和容器组的CPU和内存占用情况，以确定需要的资源规格。本文以无状态工作负载为例说明如何使用监控功能。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击已创建工作负载的名称，进入工作负载详情页面。在监控页签，可查看工作负载的CPU利用率和物理内存使用率。 步骤 3 单击“实例列表”，单击某个实例名称前的，单击“监控”。 步骤 4 查看相应实例的CPU使用率、内存使用率。 CPU使用率。 横坐标表示时间，纵坐标表示CPU使用率。绿色线条表示CPU使用率，红色线条表示CPU使用限额。 说明： CPU使用量需要计算，故初次显示时，CPU使用量会比内存使用量晚一分钟左右显示。 只有实例处于运行状态时，才能查看CPU使用量。 物理内存使用率。 横坐标表示时间，纵坐标表示内存使用量。绿色线条表示内存使用率，红色线条表示内存使用限额。 说明： 实例处于非运行状态时，无法查看内存使用量。 回退（仅无状态工作负载可用） 所有无状态工作负载的发布历史记录都保留在系统中，您可以回退到指定的版本。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击待回退工作负载后的“更多 > 回退”。 步骤 3 在“回退到该版本”后，选择回退版本，单击“确定”。 暂停（仅无状态工作负载可用） 无状态工作负载可以进行暂停操作。暂停后，对负载进行的升级操作可以正常下发，但不会被应用到实例。 如果您正在滚动升级的过程中，滚动升级会在暂停命令下发后停止，出现新旧实例共存的状态。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击待暂停的工作负载后方操作栏中的“更多 > 暂停”。 步骤 3 在弹出的负载暂停信息提示框中，单击“确认”。 步骤 4 单击“确定”，可完成暂停操作。 须知： 工作负载状态为暂停中时无法执行回退操作。 恢复（仅无状态工作负载可用） 暂停中的负载可以进行恢复操作。恢复后，负载可以正常升级和回退，负载下的实例会与负载当前的最新信息进行一次同步，如果有不一致的，则会自动按照负载的最新信息进行升级。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击待恢复的工作负载后方操作栏中的“更多 > 恢复”。 步骤 3 在弹出的负载恢复信息提示框中，单击“确认”。 标签管理 标签是以key/value键值对的形式附加在工作负载上的。添加标签后，可通过标签对工作负载进行管理和选择，主要用于设置亲和性与反亲和性调度。您可以给多个工作负载打标签，也可以给指定的某个工作负载打标签。 您可以根据业务需求对无状态工作负载、有状态工作负载和守护进程集的标签进行管理，本文以无状态工作负载为例说明如何使用标签管理功能。 如下图，假设为工作负载（例如名称为APP1、APP2、APP3）定义了3个标签：release、env、role。不同工作负载定义了不同的取值，分别为： APP 1：[release:alpha;env:development;role:frontend] APP 2：[release:beta;env:testing;role:frontend] APP 3：[release:alpha;env:production;role:backend] 在使用调度或其他功能时，选择“key/value”值分别为“role/frontend”的工作负载，则会选择到“APP1和APP2”。 图标签使用案例 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击待添加标签的工作负载，进入工作负载详情页面。 步骤 3 单击“标签管理”，单击“添加标签”，输入键和值，单击“确定”。 说明： 标签格式要求如下：以字母和数字开头或结尾，由字母、数字、连接符（）、下划线（）、点号（.）组成且63字符以内。 删除工作负载/任务 若工作负载无需再使用，您可以将工作负载或任务删除。工作负载或任务删除后，将无法恢复，请谨慎操作。本文以无状态工作负载为例说明如何使用删除功能。 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”。 步骤 2 单击待删除工作负载后的“更多 > 删除”，删除工作负载。 请仔细阅读系统提示，删除操作无法恢复，请谨慎操作。 步骤 3 单击“是”。 说明： 若Pod所在节点不可用或者关机，负载无法删除时可以在详情页面实例列表选择强制删除。 请确保要删除的存储没有被其他负载使用，导入和存在快照的存储只做解关联操作。

约束与限制 SSH方式登录时要求该节点（弹性云主机 ECS）已绑定弹性公网IP。 只有运行中的弹性云主机才允许用户登录。 Linux操作系统用户名为root。 登录方式概述 登录节点（弹性云云主机 ECS）的方式有如下两种： 管理控制台远程登录（VNC方式） 未绑定弹性公网IP的弹性云主机可通过管理控制台提供的远程登录方式直接登录。 SSH方式登录 仅适用于Linux弹性云主机。您可以使用远程登录工具（例如PuTTY、Xshell、SecureCRT等）登录弹性云主机。如果普通远程连接软件无法使用，您可以使用云服务器ECS管理控制台的管理终端连接实例，查看云服务器操作界面当时的状态。 说明： SSH方式登录包括SSH密钥和SSH密码两种方式。 本地使用Windows操作系统登录Linux节点时，输入的镜像用户名（Autologin username）为：root。 CCE控制台不提供针对节点的操作系统升级，也不建议您通过yum方式进行升级，如果您在节点上通过yum update升级了操作系统，会导致容器网络的组件不可用。 是否绑定EIP 本地设备操作系统 连接方法 是 Windows 使用PuTTY、Xshell等远程登录工具： 密码方式鉴权：SSH密码方式登录的“客户端使用Windows系统”。 密钥方式鉴权：SSH密钥方式登录的本地使用Windows操作系统。 是 Linux 使用命令连接： 密码方式鉴权：SSH密码方式登录的“客户端使用Linux系统”。 密钥方式鉴权：SSH密钥方式登录的本地使用Linux操作系统。 否 Windows或者Linux 使用管理控制台远程登录方式：Linux云服务器远程登录（VNC方式）。

本节主要介绍应用场景。 场景一：企业架构转型 场景特点： 传统应用架构复杂，牵一发而动全身。企业用云化、容器化应用替代传统应用，实现单一架构解耦拆分为多个容器服务，系统更灵活，轻松应对市场变化。 推荐使用多控制节点云容器引擎，搭配云容器镜像服务，实现容器化微服务的独立部署、独立扩展。同时体验云的弹性伸缩和自动化。 场景优势： 松耦合 将单体式应用从不同纬度拆分成多个微服务，每个微服务的内容使用一个容器镜像管理 易维护 在功能不变的情况，应用拆分成多个可管理的服务，每个单体服务容易理解、开发和维护，充分体现云的弹性伸缩和自动化 场景二：互联网应用快速上线 场景特点： 适用对于互联网应用所需敏捷快速上线的场景，实现容器镜像贯穿从开发到运维各环节，统一环境配置，业务快速上线。 推荐使用多控制节点云容器引擎，搭配云容器镜像服务，实现应用构建在云上，使平均负载维持较高水平，提升资源利用率，每分钱都真正支持企业发展。

本文介绍如何通过CRD采集应用日志。 本文介绍如何在Serverless集群中配置CRD并进行应用日志采集管理。 前提条件 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 注意事项 通过云日志服务CRD开启日志采集仅对后续创建的ECI Pod生效。如果想要采集存量Pod的日志，需要对存量Pod进行一次滚动发布。 操作步骤 您需要先在集群内安装ctglogoperator插件，再通过日志采集配置CRD来配置应用日志采集。 步骤一：安装ctglogoperator日志插件 1. 登录云容器引擎管理控制台，在左侧导航栏选择“集群列表”。 2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择“插件” > “插件市场”。 3. 在插件市场页面，在插件列表中选择要安装的ctglogoperator插件，点击“安装”按钮。 等待ctglogoperator插件安装完成。 步骤二：创建日志采集配置 1. 编写日志采集配置CRD的YAML配置文件。 说明 创建日志采集配置的 CRD 资源后，您可以在云日志服务控制台查看相应的日志项目和采集配置。请注意，直接在云日志服务控制台上修改这些通过 CRD 创建的配置，其更改不会同步回 CRD 资源本身。因此，若您后续需要更新配置，请直接编辑并应用 CRD 资源，避免在云日志服务控制台进行操作，以防止配置出现不一致的情况。 CtyunLogConfig CRD 配置文件，logstdout.yaml示例如下： shell apiVersion: sce.ctyun.cn/v1 kind: CtyunLogConfig metadata: name: simplestdoutexample

本文为您介绍GPU云主机的功能特性。 GPU云主机作为弹性云主机的一类实例规格，保持了部分与弹性云主机实例相同的功能特性，同时也新增了部分独有特性。 全面监控及告警机制，保障云主机正常运行 云资源池提供包括CPU、内存、磁盘和网络使用情况的几十项云主机性能监控指标，并支持查看一段时间内的云主机监控信息，帮助用户了解云主机实例的历史运行情况，还可根据用户预设规则提供及时的告警通知。 通过虚拟私有云（VPC）实现网络的灵活规划 VPC可为云服务器、云容器、云数据库等云上资源构建隔离、 私密的虚拟网络环境。通过VPC可灵活管理云上网络， 包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 多种存储类型随意选择，满足不同I/O性能要求 提供普通IO、高IO、通用型SSD和超高IO等多个类型的云硬盘，满足不同业务对IO性能的不同需求。购买方式分为两种，在购买云主机同时购买云硬盘或后期根据需要单独购买云硬盘挂载至云主机上。 可视化管理平台，操作便捷 通过天翼云控制中心对云主机进行管理，可对云主机进行开机、关机、重置密码、重装系统等操作。 规格丰富，满足不同应用场景需求 提供多种实例规格，满足视频解码、图形渲染、深度学习、科学计算等多种场景下不同用户对于GPU的性能需求。配备业界超强算力的GPU显卡，结合高性能CPU平台，单卡最高提供31.2 TFLOPS单精度和9.7 TFLOPS双精度计算，同时支持单机多卡，性能翻倍。

主要功能 云容器引擎支持对容器应用的全生命周期管理，具有以下功能： 集群管理 通过控制台一键创建Kubernetes集群，支持跨可用区高可用。 一站式容器管理 容器应用全生命周期管理。 高性能容器隧道网络、VPC网络等容器网络。 云硬盘EBS、弹性文件存储SFS、对象存储OBS等持久化存储支持。 资源、应用、容器多维度监控。 基于角色的权限管理和容器运行时安全。 应用市场内容 对接容器镜像服务SWR，支持自定义镜像和共享镜像。

关键词 说明 集群 集群指容器运行所需要的云资源组合，关联了若干服务器节点、负载均衡、专有网络等云资源。 专有版集群：需要创建1个Master（非高可用），或者3/5个Master（高可用）节点，以及若干Worker节点，可对集群基础设施进行更细粒度的控制，需要自行规划、维护、升级服务器集群。 托管版集群：只需创建Worker节点，Master节点由CCSE创建并托管，具备操作简单、低成本无需运维等特点。 节点 一台服务器（可以是虚拟机实例或者物理服务器）已经安装了Docker Engine，可以用于部署和管理容器。容器的Agent程序会被安装到节点上并注册到一个集群上。 专有网络VPC 专有网络VPC是您自己独有的云上私有网络。您可以完全掌控自己的专有网络，例如选择IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用天翼云资源如云服务器、云数据库和负载均衡等。 安全组 安全组是一种虚拟防火墙，具备状态检测和数据包过滤能力，用于在云端划分安全域。安全组是一个逻辑上的分组，由同一地域内具有相同安全保护需求并相互信任的实例组成。 应用目录 应用目录功能集成了Helm，提供了Helm的相关功能，并进行了相关功能扩展，例如提供图形化界面。 编排模板 编排模板是一种保存Kubernetes YAML格式编排文件的方式。 Kubernetes Kubernetes是一个开源平台，具有可移植性和可扩展性，用于管理容器化的工作负载和服务，简化了声明式配置和自动化。 容器（Container） 打包应用及其运行依赖环境的技术，一个节点可运行多个容器。 镜像（Image） 容器镜像是容器应用打包的标准格式，封装了应用程序及其所有软件依赖的二进制数据。 镜像仓库（Image Registry） 容器镜像仓库是一种存储库，用于存储Kubernetes和基于容器应用开发的容器镜像。 管理节点（Master Node） 管理节点是Kubernetes集群的管理者，运行着的服务包括kubeapiserver、kubescheduler、kubecontrollermanager、etcd组件，和容器网络相关的组件。 工作节点（Worker Node） 工作节点是Kubernetes集群中承担工作负载的节点，可以是虚拟机也可以是物理机。工作节点承担实际的Pod调度以及与管理节点的通信等。一个工作节点上的服务包括Docker运行时环境、kubelet、KubeProxy以及其它一些可选的组件。 命名空间（Namespace） 命名空间为Kubernetes集群提供虚拟的隔离作用。Kubernetes集群初始有3个命名空间，分别是默认命名空间default、系统命名空间kubesystem和kubepublic，除此以外，管理员可以创建新的命名空间以满足需求。 容器组（Pod） Pod是Kubernetes部署应用或服务的最小的基本单位。一个Pod封装多个应用容器（也可以只有一个容器）、存储资源、一个独立的网络IP以及管理控制容器运行方式的策略选项。 副本控制器（ReplicationController，RC） RC确保任何时候Kubernetes集群中有指定数量的Pod副本在运行。通过监控运行中的Pod来保证集群中运行指定数目的Pod副本。指定的数目可以是多个也可以是1个；少于指定数目，RC就会启动运行新的Pod副本；多于指定数目，RC就会终止多余的Pod副本。 副本集（ReplicaSet，RS） ReplicaSet（RS）是RC的升级版本，唯一区别是对选择器的支持，RS能支持更多种类的匹配模式。副本集对象一般不单独使用，而是作为Deployment的理想状态参数使用。 工作负载（Workload） 工作负载是在Kubernetes上运行的应用程序。 标签（Label） Labels的实质是附着在资源对象上的一系列Key/Value键值对，用于指定对用户有意义的对象的属性，标签对内核系统是没有直接意义的。标签可以在创建一个对象的时候直接赋予，也可以在后期随时修改，每一个对象可以拥有多个标签，但key值必须唯一。 服务（Service） Service是Kubernetes的基本操作单元，是真实应用服务的抽象，每一个服务后面都有很多对应的容器来提供支持，通过KubeProxy的ports和服务selector决定服务请求传递给后端的容器，对外表现为一个单一访问接口。 路由（Ingress） Ingress是授权入站连接到达集群服务的规则集合。您可以通过Ingress配置提供外部可访问的URL、负载均衡、SSL、基于名称的虚拟主机等。通过POST Ingress资源到API Server的方式来请求Ingress。Ingress Controller负责实现Ingress，通常使用负载均衡器，它还可以配置边界路由和其他前端，这有助于以高可用的方式处理流量。 配置项（ConfigMap） 配置项可用于存储细粒度信息如单个属性，或粗粒度信息如整个配置文件或JSON对象。您可以使用配置项保存不需要加密的配置信息和配置文件。 保密字典（Secret） 保密字典用于存储在Kubernetes集群中使用一些敏感的配置，例如密码、证书等信息。 卷（Volume） 和Docker的存储卷有些类似，Docker的存储卷作用范围为一个容器，而Kubernetes的存储卷的生命周期和作用范围是一个Pod。每个Pod中声明的存储卷由Pod中的所有容器共享。 存储卷（Persistent Volume，PV） PV是集群内的存储资源，类似节点是集群资源一样。PV独立于Pod的生命周期，可根据不同的StorageClass类型创建不同类型的PV。 存储卷声明（Persistent VolumeClaim，PVC） PVC是资源的使用者。类似Pod消耗节点资源一样，而PVC消耗PV资源。 存储类（StorageClass） 存储类可以实现动态供应存储卷。通过动态存储卷，Kubernetes将能够按照用户的需要，自动创建其所需的存储。 弹性伸缩（Autoscaling） 弹性伸缩是根据业务需求和策略，经济地自动调整弹性计算资源的管理服务。典型的场景包含在线业务弹性、大规模计算训练、深度学习GPU或共享GPU的训练与推理、定时周期性负载变化等。 可观测性（Observability） Kubernetes可观测性体系包含监控和日志两部分，监控可以帮助开发者查看系统的运行状态，而日志可以协助问题的排查和诊断。 Helm Helm是Kubernetes包管理平台。Helm将一个应用的相关资源组织成为Charts，然后通过Charts管理程序包。 节点亲和性（nodeAffinity） 节点亲和性指通过Worker节点的Label标签控制Pod部署在特定的节点上。 污点（Taints） 污点和节点亲和性相反，它使节点能够排斥一类特定的Pod。 容忍（Tolerations） 应用于Pod上，允许（但并不要求）Pod调度到带有与之匹配的污点的节点上。 应用亲和性（podAffinity） 应用亲和性决定应用Pod可以和特定Pod部署在同一拓扑域。例如，对于相互通信的服务，可通过应用亲和性调度，将其部署到同一拓扑域（例如同一个主机）中，以减少它们之间的网络延迟。 应用反亲和性（podAntiAffinity） 应用反亲和性决定应用Pod不与特性Pod部署在同一拓扑域。例如，将一个服务的Pod分散部署到不同的拓扑域（例如不同主机）中，以提高服务本身的稳定性。 服务网格（Istio） Istio是一个提供连接、保护、控制以及观测服务的开放平台，兼容社区Istio开源服务网格，用于简化服务的治理，包括服务调用之间的流量路由与拆分管理、服务间通信的认证安全以及网格可观测性能力。

本节介绍创建智能网关。 前提条件 已完成AI套件安装，网络组件运行正常。 约束与限制 智能网关依赖ELB，可登录网络控制台弹性负载均衡页面创建资源。 操作步骤 1、创建智能网关 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用管理 > 智能网关，选择创建智能网关 在创建智能网关页面，首先完成基础信息配置： 配置项说明如下： 配置项 说明 实例名称 集群内命名空间下唯一，名称长度大于1，小于253个字符 命名空间 集群命名空间 标签 标签遵循K/V格式，其中Key规范如下： Key 的结构： Key 可以分为两部分：可选的前缀（prefix）和标签名（name），两者之间用 / 分隔。例如：example.com/mykey。 前缀规则： 前缀是可选的，如果存在，则必须是一个 DNS 子域名格式，例如 example.com。 前缀长度不能超过 253 个字符。 标签名规则： 标签名部分是必须的。 标签名长度不能超过 63 个字符。 标签名只能包含字母（az、AZ）、数字（09）、连字符（）、下划线（）、点（.）。 标签名必须以字母或数字开头和结尾。 注解 注解遵循K/V格式，其中Key规范如下： 结构组成： 注解键由两部分组成：可选前缀（Prefix）和名称（Name），格式为 / 。 如果没有指定前缀，则键被视为用户私有的。 前缀规则： 前缀必须是 DNS 子域名格式，即由点（.）分隔的 DNS 标签组成，总长度不超过 253 个字符。 例如：example.com 或 mycompany.com/myapp。 名称规则： 名称部分是必需的，不能包含前缀。 名称长度不能超过 63 个字符。 名称只能包含字母（az、AZ）、数字（09）、连字符（）、下划线（）、点（.）。 名称必须以字母或数字开头和结尾。 键值对限制： 注解中的键和值都必须是字符串类型。 不支持数字、布尔值、列表等其他类型。 描述 网关实例的附加描述信息 配置信息 CPU 网关实例容器CPU配置，单位核数 配置信息 内存 网关实例容器内存配置，单位Gi 配置信息 副本数 网关实例部署的副本数，大于1，小于100 访问控制 类型 表示智能网关流量暴露方式，默认是LoadBalancer类型的Service 访问控制 负载均衡 支持私网访问和公网访问两种模式，对应私网类型ELB和公网类型ELB 访问控制 监听器配置 网关实例至少配置一个监听器，包括接入协议（目前支持HTTP）、服务端口（与推理应用容器端口保持一致）、接入范围（同命名空间）

计算 弹性云主机服务等级协议 天翼云物理机服务等级协议 天翼云弹性伸缩服务等级协议 天翼云云迁移服务等级协议 天翼云函数工作流服务等级协议 天翼云轻量型云主机服务等级协议 天翼云云骁智算服务等级协议 存储 天翼云对象存储服务等级协议 天翼云弹性文件服务等级条款 天翼云硬盘服务等级条款 天翼云云备份服务等级条款 天翼云云容灾服务等级条款 天翼云并行文件HPFS服务等级协议 天翼云海量文件OceanFS服务等级协议 天翼云混合存储网关服务等级协议 云硬盘备份服务等级协议 天翼云弹性容器实例服务等级协议

本文为您介绍基于DNS的服务发现。 本文主要介绍Kubernetes集群中DNS域名解析原理和在Serverless集群中安装DNS服务器CoreDNS。 背景信息 DNS为Kubernetes集群内的工作负载提供域名解析服务。CoreDNS是Kubernetes集群中负责DNS解析的组件，能够支持解析集群内部自定义服务域名和集群外部域名。CoreDNS具备丰富的插件集，在集群层面支持自建DNS、自定义hosts、CNAME、rewrite等需求。与Kubernetes一样，CoreDNS项目由 CNCF托管，关于CoreDNS的更多信息，可浏览CoreDNS的官网。Serverless集群使用CoreDNS负责集群的服务发现，您可以根据不同使用场景配置CoreDNS及使用CoreDNS提升集群DNS QPS性能。 前提条件 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 操作步骤 步骤一：安装CoreDNS插件 1. 登录容器服务控制台，在左侧菜单栏选择“集群”。 2. 在集群列表页面，选择目标集群名称，然后在左侧菜单栏选择“插件”下的“插件市场”，安装CoreDNS插件。 3. 提交“安装插件”，稍后会在集群中创建2个coredns pod，集群会根据Pod内的配置，将域名请求发往集群DNS服务器获取结果。 4. 查看coredns是否正常运行。 步骤二：创建Nginx工作负载，以及service 1. 创建无状态工作负载，参考如下： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "nginxdeploy" namespace: "default" spec: replicas: 2 selector: matchLabels: name: "nginxdeploy" template: metadata: labels: name: "nginxdeploy" source:"CCSE" spec: containers: image: "registryvpccrshuadong1.ctyun.cn/opensource/nginx:1.25alpineamd64" imagePullPolicy: "IfNotPresent" name: "nginx" 2. 查看nginx pod是否正常运行，从eci控制台进入pod容器内部。 kubectl get po ndefault grep nginx 查看Pod内的DNS域名解析配置文件为/etc/resolv.conf，文件内容如下： nameserver 10.96.0.10 search kubesystem.svc.cluster.local svc.cluster.local cluster.local options ndots:5 3. 创建service，参考如下： apiVersion: v1 kind: Service metadata: name: nginxdeploy namespace: default spec: ports: name: tcp80 port: 30002 protocol: TCP targetPort: 80 selector: name: nginxdeploy type: ClusterIP

本文主要介绍环境 测试资源组的说明与使用约束 测试资源组包含共享资源组和私有资源组两种类型，共享资源组为系统默认提供，私有资源组需要自行创建。 共享资源组的执行节点已绑定弹性IP，当被测应用有网络访问限制时，建议创建私有资源组。 当并发大于10000或者40000QPS或者总带宽大于100Mb时，建议创建私有资源组。 JMeter测试任务只可以使用私有资源组。 创建私有资源组 1、登录性能测试控制台，在左侧导航栏中选择“测试资源”，单击“云容器CCE资源准备”。 2、（可选）首次使用时，请根据提示信息，授权性能测试创建私有资源组。 3、进入创建资源组页面后，如果是首次使用没有云容器引擎服务CCE集群，需要先执行步骤4创建集群然后再创建资源组。如果已有可用的云容器引擎服务CCE集群，直接执行步骤5创建资源组。 4、创建集群（使用IPv4场景）。 单击页面上方的“创建集群”，进入购买CCE集群页面。 说明 集群管理规模选择与执行节点个数相关，例如，需要20个执行节点，那么集群调试节点规模选择50节点即可满足业务需求。 CCE集群的网络模型建议选择“容器隧道网络”，容器网段和服务网段需要与被测对象保持一致。 单击“下一步：创建节点”，设置节点参数。 说明 节点规格至少为vCPU为4核，内存8GB。 操作系统需选择欧拉EulerOS。 创建的节点数量至少需要2台（1台调试节点、1台执行节点），具体数量由压测对象要求规格决定。例如，压测10万并发用户数，vCPU为4核，内存8GB的资源需要21个执行节点（1个调试节点，20个执行节点）。 当CCE集群节点与被测应用不在同一VPC网络时，建议CCE集群节点绑定弹性IP。可使用已有的弹性IP，如果没有弹性IP也可以选择自动创建，选中后将根据您的配置创建弹性IP，并自动为每个节点进行分配。当创建的弹性IP数量小于节点个数时，会将弹性IP随机绑定到节点上。 单击“下一步：安装插件”，默认选择即可。 单击“下一步：配置确认”，请检查配置，检查无误后，勾选“我已知晓上述限制”，单击“提交”等待集群创建，集群创建预计需要610分钟。创建成功后，返回性能测试控制台。 5、创建集群（使用IPv6场景）。 单击页面上方的“创建集群”，进入购买CCE集群页面。创建集群操作请参考“帮助中心 > 云容器引擎> 用户指南 > 集群管理 > 购买集群”，设置集群参数。 说明 集群管理规模选择与执行节点个数相关，请根据需要压测的并发用户数，创建对应规格的节点。例如，需要20个执行节点，那么创建集群时集群规模选择50节点即可满足业务需求。 CCE集群的网络模型建议选择“容器隧道网络”，容器网段和服务网段需要与被测对象保持一致。 如果使用IPv6功能，创建虚拟私有云时，默认子网需勾选“开启IPv6”。虚拟私有云开启IPv6功能后，将自动为子网分配IPv6网段，暂不支持自定义设置IPv6网段。该功能一旦开启，将不能关闭。 单击“下一步：创建节点”，选择“稍后添加”。 说明 使用IPv6功能时，不能在云容器引擎服务里直接创建节点，需要在弹性云主机服务里创建支持IPv6的节点后，再到云容器引擎服务里纳管节点。 单击“下一步：安装插件”，默认选择即可。 单击“下一步：配置确认”，请检查配置，检查无误后，勾选“我已知晓上述限制”，单击“提交”等待集群创建，集群创建预计需要610分钟。 6、创建节点（使用IPv6场景）。 单击页面左上角服务列表，搜索并进入“弹性云主机”页面，单击“创建弹性云主机”创建支持IPv6的节点，支持IPv6的节点规格请咨询弹性云主机服务技术支持，节点规格选择示例如下图。创建弹性云主机参数配置请参考“帮助中心 > 弹性云主机 > 快速入门 > 创建弹性云主机”。 说明 节点规格至少为vCPU为4核，内存8GB。 创建的节点数量至少需要2台（1台调试节点、1台执行节点），具体数量由压测对象要求规格决定。例如，压测10万并发用户数，vCPU为4核，内存8GB的资源需要21个执行节点（1个调试节点，20个执行节点）。 当CCE集群节点与被测应用不在同一VPC网络时，建议CCE集群节点绑定弹性IP。可使用已有的弹性IP，如果没有弹性IP也可以选择自动创建。自动创建弹性IP时，带宽设置尽可能选择较大值，否则可能影响压测效果。系统根据您的配置创建弹性IP，并自动为每个节点进行分配。当创建的弹性IP数量小于节点个数时，会将弹性IP随机绑定到节点上。 网络配置需选择“自动分配IPv6地址”。 节点创建成功后，单击页面左上角服务列表，搜索并进入“云容器引擎”页面，选择“资源管理 > 节点管理”，单击“纳管节点”，纳管已创建成功的节点。完成纳管节点后，返回性能测试服务控制台。 7、创建资源组。 在左侧导航栏中选择“测试资源”，单击“云容器CCE资源准备”。 参照下表设置基本信息。 创建私有资源组 参数 参数说明 资源组名称 新建私有资源组的名称，例如：Webtestdemo。 节点集群 在下拉框选择已创建的CCE集群。 调试节点 执行压测的调试机。调试节点在资源组创建成功后不可修改。 执行节点 执行压测的执行机，即在压测过程中能够提供自身性能数据的施压目标机器。 单击“创建”。

本节介绍了云容器引擎的网络插件常见问题。 容器集群节点为什么会自动添加网卡？ 如下图所示，容器集群主机除了主网卡外，额外绑定了多张网卡，这是因为使用了Cubecni网络插件。 Cubecni网络插件会为集群内每个节点动态添加弹性网卡，用于构建Underlay容器网络。如下图所示，eth1是该插件动态绑定到云主机的弹性网卡。 注意 请勿删除这类网卡。若删除，可能导致部分Pod的访问异常。 容器集群的Pod如何访问公网？ 1. 使用Cubecni网络插件，Pod访问外网流量默认不会经过主机主网卡，所以为主机主网卡绑定EIP后，Pod依旧无法访问外网。在该网络模式下，建议通过配置公网NAT网关，将Pod IP所属子网加入NAT网关SNAT规则，以实现Pod访问外网。 2. 使用Calico网络插件，配置集群主机能够访问外网，Pod便能访问外网，如配置EIP或公网NAT网关。 已创建的容器集群能否切换容器网络插件？ 容器网络插件仅支持在集群创建时选择，集群创建后不支持修改。如需切换，请重新创建集群。 使用Cubecni网络插件，增加Pod子网后，部分新建的Pod无法访问公网，如何解决？

云容器引擎 CCE 提供高度可扩展的、高性能的Kubernetes集群、一站式容器服务;兼容主流国产化服务器和操作系统,取得全栈国产化适配认证证书。其整合了镜像、监控、日志、负载均衡、灰度/蓝绿、多种弹性策略、高效调度、集群插件、模板市场等基础能力,帮助企业快速构建和运行可弹性扩展的应用,实现业务的快速交付与持续创新。

套件名称 套件功能 驱动管理 为GPU云主机或物理机的算力调度提供硬件驱动。 弹性数据集 支持数据集版本管理，提供弹性加载能力。 GPU安全容器 支持Kata安全容器运行时，满足业务高安全需求。 智算套件控制面引擎 提供高可用控制面，管理智算套件控制台正常运行。 监控 为集群提供硬件监控能力，可采集GPU/NPU，显存等，支持可视化查看GPU的分配、使用和健康状态。 网络 为集群容器提供使用RDMA网络的能力，包括IB和RoCE。 模型预热 将模型从对象存储预热到本地盘，大幅提升模型部署效率。 智能调度 为集群提供智能任务调度策略，可支持Gang、Capacity、Binpack/Spread和Queue等智能调度。 弹性训练 为集群提供AI任务接入，兼容主流AI框架和工具，包括TensorFlow、PyTorch、Horovod、Spark等。 故障诊断 为集群提供集群巡检、故障诊断等能力。 存储 为集群容器提供挂载HPFS和ZOS的能力。 日志 为集群的系统组件以及控制面组件收集日志。

终端节点有哪些状态？ 终端节点的状态以及每种状态的说明： 状态 意义 待审核 表示终端节点要连接的终端节点服务关闭了“是否自动接收连接”，正等待终端节点服务的审批。 已连接 表示终端节点已成功连接至终端节点服务。 已拒绝 表示终端节点服务拒绝了终端节点的连接。 已冻结 用户欠费时系统发起，冻结为不可用状态，用户缴费后恢复，恢复时判断服务连接状态，根据条件回到冻结前状态(待审核，已拒绝，已连接) VPC终端节点是否支持跨地域访问？ 不支持创建终端节点连接跨地域的终端节点服务，但可以在同地域终端节点连接终端服务后搭配使用云间高速，将目标VPC与终端节点所在VPC打通，通过访问跨区域VPC的终端节点的方式访问目标区域的终端节点服务。 云间高速实例是创建、管理一体化网络的基础资源，使用云间高速配合终端节点服务，以跨地域访问终端节点的方式实现跨地域访问服务，详见云间高速跨区域VPC互通。 为什么会有VPCEsfs 为前缀的终端节点实例？ 默认前缀为“VPCEsfs”的VPC终端节点实例由弹性文件服务在创建SFS Turbo文件系统实例时为您创建，该终端节点已自动连接文件存储服务，云主机、物理机、容器等计算服务可通过此终端节点访问文件系统，详见创建文件系统弹性文件服务快速入门 天翼云。此类终端节点 免费 ，请放心使用。但务必不要修改或删除此类终端节点实例，否则可能造成文件系统访问中断，影响业务连续性。 在文件系统解绑VPC时，若服务端检测到此终端节点仅关联当前一个文件系统，在解绑VPC时会自动为您删除相应的终端节点，无须手动操作。 如您误删除了此类终端节点，请前往弹性文件服务SFS Turbo控制台，找到您在使用的文件系统，为其解绑掉原VPC再重新添加该VPC，服务端会为您重新创建VPCE实例，如确认不再使用文件系统，可进行实例删除/退订。 如误删除终端节点后导致客户端文件系统挂载目录页面卡死，请参考文件系统在客户端的挂载目录界面卡死弹性文件服务故障修复 天翼云进行处理。

手动伸缩 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”，可查看到所有应用。 2、单击应用名称，进入到应用“概览”页。 3、在“环境视图”页签，选择“环境”，可以看到已经部署在该环境下的应用组件。 4、单击应用组件名称，进入应用组件实例“概览”页。 5、单击“伸缩”，在“手动伸缩”策略下： 单击，修改“实例数”。 单击，实例伸缩操作即可生效。 单击“查看组件详情”，可查看到实例在“升级/回滚”中。待状态为“运行中”时，表示已成功完成实例伸缩操作。 弹性伸缩 说明 CCE集群，1.15及以上版本不支持弹性伸缩。 虚机部署不支持弹性伸缩。 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”，可查看到所有应用。 2、单击应用名称，进入应用“概览”页。 3、在“环境视图”页签，选择“环境”，可以看到已经部署在该环境下的应用组件。 4、单击应用组件名称，进入应用组件实例“概览”页，单击“伸缩”。 5、在“弹性伸缩”下，单击“编辑伸缩规则”： 根据业务实际需要设置“冷却时间”、“最大实例数”、“最小实例数”。 单击“保存”。 6、在“弹性伸缩”下，单击“添加伸缩策略”。 当前支持三种弹性伸缩策略： 告警策略：支持根据CPU/内存的设置，进行应用组件的自动伸缩。应用组件部署后即可设置，在CPU/内存超过或少于一定值时，自动增减实例。 表 添加告警策略 参数 参数说明 :: 策略名称 请输入伸缩策略的名称。 策略类型 选择“告警策略”。 指标 选择“指标”。指标是对资源性能的数据描述或状态描述。 CPU使用率：该指标用于统计测量对象的CPU使用率。应用实际使用的与申请的CPU核数量比率。 物理内存使用率：该指标用于统计测量对象已使用内存占申请物理内存总量的百分比。 磁盘读取速率：该指标用于统计每秒从磁盘读出的数据量。 物理内存总量：该指标用于统计测量对象申请的物理内存总量。 数据接收速率：该指标用于统计测量对象每秒钟接收的数据量。 磁盘写入速率：该指标用于统计每秒写入磁盘的数据量。 物理内存使用量：该指标用于统计测量对象实际已经使用的物理内存。 CPU内核总量：该指标用于统计测量对象申请的CPU核总量。 数据发送速率：该指标用于统计测量对象每秒钟发送的数据量。 容器错包个数：该指标用于统计测量对象收到错误包的数量。 CPU内核占用：该指标用于统计测量对象已经使用的CPU核个数。 触发条件 设置“触发条件”，在对应条件下触发伸缩策略。 监控周期 设置“监控周期”，触发指标周期统计。 比如设置为20秒，表示每20秒统计一次。 连续周期 设置“连续周期”。连续周期是指监控周期内连续触发阈值的次数。 比如设置为3，则表示指标数据连续三个监控周期达到了设定的阈值，则触发策略动作。 执行操作 选择“增加”或“减少”实例数，设置策略触发后执行的动作。 单击“收起预览”，可设置“触发条件”、“监控周期”、“连续周期”、“执行操作”参数值。 定时策略：支持在特定时间点进行应用的自动伸缩。适用于秒杀周年庆等活动，例如在秒杀这个时间点增加一定数量的实例个数。 表 添加定时策略 参数 参数说明 :: 策略名称 请输入伸缩策略的名称。 策略类型 选择“定时策略”。 触发时间 设置策略触发时间。 执行操作 选择“增加”、“减少”或“设置”实例数，设置策略触发后执行的动作。 周期策略：支持以天、周、月为周期的伸缩策略。适用于周期性的流量变化。 表 添加周期策略 参数 参数说明 :: 策略名称 请输入伸缩策略的名称。 策略类型 选择“周期策略”。 触发时间 设置策略触发时间。 执行操作 选择“增加”、“减少”或“设置”实例数，设置策略触发后执行的动作。 7、单击“确定”。 在弹性伸缩下，可看到策略已启动。待到满足触发条件时，弹性伸缩即会生效。

排查项三：负载均衡IP+端口 如果使用负载均衡IP+端口不能访问，但节点IP+端口可以访问。 请排查： 相关端口或URL的后端服务器组是否符合预期。 节点上的安全组是否对ELB暴露了相关的协议或端口。 四层ELB的健康检查是否开启（未开启的话，请开启）。 七层ELB的访问方式中使用的证书是否过期。 常见问题： 1. 发布四层ELB时，如果客户在界面未开启健康检查，ELB可能会将流量转发到异常的节点。 2. UDP协议的访问，需要放通节点的ICMP协议。 3. pod的label与service的label不匹配（kubectl或API创建）。 排查项四：NAT网关+端口 配置在NAT后端的服务器，通常不配置EIP，不然可能会出现网络丢包等异常。 排查项五：检查容器所在节点安全组是否放通 用户可单击服务列表中的“网络 > 虚拟私有云 VPC”，在网络控制台单击“访问控制 > 安全组”，找到CCE集群对应的安全组规则进行修改和加固。 CCE集群： Node节点的安全组名称是： {集群名}ccenode{随机字符} 。 请排查： 从集群外访问集群内负载时，来访者的IP地址、端口、协议需在集群安全组的入方向规则中开放。 集群内的工作负载访问外部时，访问的地址、端口、协议需在集群安全组的出方向规则中开放。 更多安全组配置信息请参见集群安全组规则配置 三、 为什么容器无法连接互联网？ 当容器无法连接互联网时，请排查容器所在节点能否连接互联网。 排查项一：节点能否连接互联网 步骤 1 登录ECS控制台。 步骤 2 查看节点对应的弹性云服务器是否已绑定弹性IP或者配置NAT网关。 如下图，若弹性IP一栏有IP地址，表示已绑定弹性IP；若没有，请为弹性云服务器绑定弹性IP。 节点是否已绑定弹性IP

replace it with your exactly ports: containerPort: 80 如何为集群绑定弹性IP？ 可以通过申请弹性IP并将弹性IP绑定到集群上。 点击导航栏【资源管理】>【集群管理】，进入集群列表>点击集群名称，进入集群详情页>点击【API Server 公网IP】旁的绑定，选择已有IP，完成绑定操作。 用户也可以在创建集群的步骤中选择已有的弹性IP进行绑定。 说明 ：弹性IP需要在控制台【网络】>【弹性公网IP】处申请，具体操作请见【购买弹性IP】。 创建容器应用有哪几种方式？有什么区别？ 目前支持两种部署方式，用户可基于自身需求选择： 通过天翼云官方镜像：基于天翼云官方平台上的镜像创建容器应用，无需上传私有镜像。 上传并选择私有镜像：您可基于业务需求制作私有 docker 镜像，上传到容器镜像服务。基于该私有镜像创建容器应用。 用户如何自定义镜像？ 用户可以通过Dockerfile进行镜像制作，用户需要首先在本地安装Docker引擎，所有通过天翼云云容器引擎创建或添加的节点，系统都会自动为节点安装 1.11.2 版本的 Docker，用户也可登陆节点机器进行镜像制作，无需手动安装。若需要了解更多 Docker基础知识，请参阅 本节以Nginx镜像为例，修改官方Nginx镜像的欢迎页面，定制一个新的镜像，将欢迎页面改为“Hello, CCE!”。具体的操作步骤如下： 前往资源池控制台，点击【计算】>【弹性云主机】，获取集群节点的用户密码，使用 root 用户登录 Docker 所在的云主机。用户也可自行登陆到已安装好Docker的本地环境上进行制作； 创建一个文件夹，用于存放镜像，进入该文件夹，再通过touch命令创建一个名为 Dockerfile 的文件； mkdir mynginx cd mynginx touch Dockerfile 使用vi命令编辑 Dockerfile； vi Dockerfile 文件内容如下： FROM nginx RUN echo ' Hello,CCE! ' > /usr/share/nginx/html/index.html 其中： FROM 语句：表示使用nginx镜像作为基础； RUN 语句：表示执行echo命令，在显示器中显示一段Hello,CCE的文字； 完成编写后，使用wq！命令保存文件并退出。 构建 Docker 镜像，使用docker build 构建镜像； docker build t nginx:v3 . 其中： t 为镜像命名 . 代表本次执行的上下文路径 查看镜像。 执行以下命令，查看制作好的Docker镜像： docker images

组件 参数 详情 默认 修改限制 容器引擎Docker配置 nativeumask execopt native.umask normal 不支持修改 dockerbasesize storageopts dm.basesize 0 不支持修改 insecureregistry 不安全的镜像源地址 false 不支持修改 limitcore 核数限制，节点池中创建的节点总核数不能超过该值 5368709120 defaultulimitnofile 容器内句柄数限制 {soft}:{hard} 该值大小不可超过节点内核参数nropen的值，且不能是负数。 节点内核参数nropen可通过以下命令获取：sysctl a grep nropen kubeproxy组件配置 conntrackmin sysctl w net.nfconntrackmax 131072 支持在节点池生命周期中修改 conntracktcptimeoutclosewait sysctl w net.netfilter.nfconntracktcptimeoutclosewait 1h0m0s kubelet组件配置 cpumanagerpolicy cpumanagerpolicy none 支持在节点池生命周期中修改 kubeapiqps 与kubeapiserver通信的qps 100 kubeapiburst 与kubeapiserver通信的burst 100 maxpods kubelet管理的pod上限 4020 podpidslimit k8s 限制进程数 1 withlocaldns 是否使用本地IP作为该节点的ClusterDNS false eventqps 事件创建QPS限制 5 allowedunsafesysctls 允许使用的不安全系统配置。 CCE从 1.17.17 集群版本开始，kubeapiserver开启了pod安全策略， 需要在pod安全策略的allowedUnsafeSysctls中增加相应的配置才能生效（1.17.17以下版本的集群可不配置）。 [] kubereservedmemsystemreservedmem 节点内存预留。 随节点规格变动，具体请参见节点预留资源计算公式 kubereservedmem，systemreservedmem之和小于内存的一半 topologymanagerpolicy 设置拓扑管理策略。合法值包括： restricted：kubelet 仅接受在所请求资源上实现最佳 NUMA对齐的Pod。 besteffort：kubelet会优先选择在 CPU 和设备资源上实现NUMA对齐的Pod。 none（默认）：不启用拓扑管理策略。 singlenumanode：kubelet仅允许在 CPU和设备资源上对齐到同一NUMA节点的Pod。 none 支持在节点池生命周期中修改须知修改topologymanagerpolicy和topologymanagerscope会重启kubelet， 并且以更改后的策略重新计算容器实例的资源分配，这有可能导致已经运行的容器实例重启甚至无法进行资源分配。 topologymanagerscope 设置拓扑管理策略的资源对齐粒度。合法值包括： container （默认)：对齐粒度为容器级 pod：对齐粒度为pod级 container oversubscriptionresource 节点超卖特性。仅 弹性云主机物理机 类型的节点池可见，设置为true表示开启节点超卖特性。 nicminimumtarget 节点池级别的节点最少绑定容器网卡数 默认：10 nicmaximumtarget 节点池级别的节点预热容器网卡上限检查值 默认：0 nicwarmtarget 节点池级别的节点动态预热容器网卡数 默认：2 nicmaxabovewarmtarget 节点池级别的节点预热容器网卡回收阈值 默认：2 容器引擎Containerd配置（仅使用Containerd的节点池可见） devmapperbasesize 单容器可用数据空间 不支持修改 limitcore 核数限制 5368709120 defaultulimitnofile 容器内句柄数限制 1048576 该值大小不可超过节点内核参数nropen的值，且不能是负数。 节点内核参数nropen可通过以下命令获取：sysctl a grep nropen

本节介绍了使用云容器引擎与自建K8S的对比,有利于用户选择云容器引擎产品。 功能 云容器引擎 自建Kubernetes 集群管理 通过控制台一键创建集群，支持创建跨AZ高可用的集群 提供容器优化的OS镜像，提供稳定测试和安全加固的Kubernetes和Docker版本 支持多集群管理，支持跨AZ高可用集群，支持集群联邦管理 用户手动部署集群并自行开发 用户自行探索和开发 应用管理 支持灰度发布，支持蓝绿发布 支持应用监控、应用弹性伸缩 内置模板市场，支持Helm应用一键部署；支持服务目录，简化云服务集成 用户自行探索和开发 网络管理 提供针对天翼云优化的高性能VPC/ENI网络插件，性能优于普通网络方案 支持容器访问策略和容器带宽限制 需要挑选社区网络插件进行适配 用户自行探索和开发 存储管理 支持天翼云盘挂载，提供标准的CSI、FlexVolume驱动 支持存储卷自动创建、迁移 用户自行探索和开发 运维管理 支持Kubernetes新版本一键升级，支持集群组件生命周期管理 支持集群手动和自动弹性伸缩 提供高性能日志采集Agent，自动实现日志服务集成 用户手动运维控制面 服务保障 天翼云专业容器团队作为技术支持，为集群提供及时的稳定性和安全响应 需要组建专门团队 安全管理 支持镜像扫描/镜像签名 支持容器运行时安全检测 用户自行构建安全能力