容器环境 容器集群一般会涉及大量数据采集，因此通常将单个容器集群定义为一个单独的监控环境。针对容器环境，Prometheus监控为天翼云容器引擎服务提供了一套自动化管理流程，可轻松部署采集探针并处理数据。 云服务环境 云服务环境主要针对常规云产品数据的采集，默认以资源池为维度创建。 主机环境 云主机的数据采集主要依赖网络传输，因此通常将一个VPC设定为一个单独的监控环境。目前主机环境监控暂未开放。

本文介绍如何设置容器健康检查探针。 功能说明 ECI Pod支持为容器配置多种类型的探针，对容器进行健康检查。不同类型的探针如下： 1. 应用存活探针：检查容器是否正常运行。如果检查成功，则表示容器正常运行。如果检查失败，系统会根据配置的容器重启策略进行相应的处理。如果未配置该探针，则默认容器一直正常运行。 2. 应用业务探针：检查容器是否已经就绪，可以为请求提供服务。如果检查成功，则表示容器已经准备就绪，可以接收业务请求。如果检查失败，则表示容器没有准备就绪，系统将停止向该容器发送任何请求，直至重新检查成功。 配置示例 可以通过容器的readinessProbe 和 readinessProbe字段配置应用存活探针和应用业务探针，配置参考如下： shell apiVersion: apps/v1 kind: Deployment metadata: name: nginxdeployment labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: name: nginx image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.25alpine ports: containerPort: 80 设置Liveness Probe livenessProbe: exec: command: cat /test/livenessProbe initialDelaySeconds: 5 periodSeconds: 5 设置readinessProbe readinessProbe: exec: command: cat /test/livenessProbe initialDelaySeconds: 5 periodSeconds: 5 nodeName: vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud

本文介绍如何设置容器健康检查探针。 功能说明 ECI Pod支持为容器配置多种类型的探针，对容器进行健康检查。不同类型的探针如下： 1. 应用存活探针：检查容器是否正常运行。如果检查成功，则表示容器正常运行。如果检查失败，系统会根据配置的容器重启策略进行相应的处理。如果未配置该探针，则默认容器一直正常运行。 2. 应用业务探针：检查容器是否已经就绪，可以为请求提供服务。如果检查成功，则表示容器已经准备就绪，可以接收业务请求。如果检查失败，则表示容器没有准备就绪，系统将停止向该容器发送任何请求，直至重新检查成功。 配置示例 可以通过容器的readinessProbe 和 readinessProbe字段配置应用存活探针和应用业务探针，配置参考如下： shell apiVersion: apps/v1 kind: Deployment metadata: name: nginxdeployment labels: app: nginx spec: replicas: 1 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: name: nginx image: registryhuadong1.crsinternal.ctyun.cn/opensource/nginx:1.25alpine ports: containerPort: 80 设置Liveness Probe livenessProbe: exec: command: cat /test/livenessProbe initialDelaySeconds: 5 periodSeconds: 5 设置readinessProbe readinessProbe: exec: command: cat /test/livenessProbe initialDelaySeconds: 5 periodSeconds: 5 nodeName: vndu53cymkxxxxcnhuadong1jsnj1apublicctcloud

本章节介绍容器应用实例支持的三种访问方式 概述 容器应用实例发布后，无法直接被其他应用所访问。容器应用实例支持负载均衡（私网）、负载均衡（公网）以及服务（Service）三种访问方式。 负载均衡（私网） 此种方式用于VPC内网访问，使用Service的LoadBalancer模式，绑定一个VPC内的私网负载均衡ELB，私网IP可以直接访问到服务后端的Pod。 前提条件 需要在弹性负载均衡控制台订购开通私网负载均衡实例并在环境资源弹性负载均衡下导入。 绑定私网负载均衡 在应用总览页面的访问方式配置区域，单击负载均衡（私网）右侧的加号图标，设置负载均衡参数，完成参数配置后单击确认。 配置项 描述 服务名 自定义设置服务名称，服务名称必须唯一，不能和已有服务名称重复。 支持小写字母、数字和短划线（），且必须以字母开头，字母或数字结尾，长度范围为2~32个字符。 启用IPv6 启用IPv6后支持通过IPv6地址访问容器应用实例。 选择弹性负载均衡 在下拉列表中选择已经导入的弹性负载均衡。 外部流量策略 外部流量策略分为Cluster和Local两种模式。 Cluster：流量可以转发到集群中其他节点上的Pod。 Local：流量只发给本机的Pod。配置为Local模式时，只有集群中存在Service对应Pod的节点会被添加到弹性负载均衡后端，且流量不会转发到集群中其它节点的Pod中。 TCP/HTTP协议 负载均衡端口（应用名）：私网负载均衡前端端口，通过该端口访问应用，可设置范围为[1,65535]。 容器端口（TargetPort）：进程监听的端口，一般由程序定义。 UDP协议 负载均衡端口（应用名）：私网负载均衡前端端口，通过该端口访问应用，可设置范围为[1,65535]。 容器端口（TargetPort）：进程监听的端口，一般由程序定义。

本章主要介绍最佳实践概述 场景描述 本手册基于天翼云API网关实践所编写，用于指导您开放并调用API。 应用场景范围：基于天翼云API网关开放容器应用服务。 云容器引擎（CTCCE，Cloud Container Engine，简称CCE）中的工作负载，以及微服务，可通过API网关将服务能力以API形式对外开放。 方案优势 借助API网关开放CCE容器应用，具有如下优势： 无需设置弹性公网IP，节省网络带宽成本 API网关支持建立VPC通道，访问CCE中工作负载的地址。 提供多种认证方式，增加访问安全性 提供访问流量控制策略，增加后端服务的安全性 与直接访问容器应用相比，API网关提供流量控制，确保后端服务稳定运行。 支持多实例负载均衡，合理利用资源，增加系统可靠性 流程图 本手册介绍如何通过API网关访问CCE中的工作负载。 图1通过API网关访问CCE工作负载（由实例组成）

容器可写层存储空间限制 容器产生的数据大小限制为512 MB或10 GB（同函数高级配置项中的磁盘大小一致） 解释 容器可写层数据会随着容器被销毁而删除。如果需要持久化存储，可以考虑使用函数计算挂载NAS或者ZOS。可以在函数配置 >存储中配置。 镜像架构限制 目前函数计算仅支持AMD64镜像架构，因此，针对ARM架构的机器(比如搭载M系列芯片的Mac电脑），构建镜像时需要指定镜像的编译平台为Linux/Amd64。参考命令如 docker build platform linux/amd64 t $IMAGENAME .。 解释 构建完成后，可执行 docker inspect进行检查。如果返回内容包含 "Architecture" : "amd64"，则表示构建的镜像正确。 HTTP Server配置要求 容器镜像启动的服务必须要监听函数配置的监听端口。 函数配置的监听端口默认是9000。如果容器镜像使用默认的监听端口，那么实现的 HTTP Server监听的端口也必须是9000。 同理，如果监听端口是8080，那么实现的HTTP Server监听的端口也必须是8080。 公共请求头 容器镜像函数的公共请求头和自定义运行时函数的公共请求头一致。更多信息，请参见自定义运行时上下文。 日志格式 容器镜像函数中所有打印到标准输出（Stdout）的日志会自动收集到您指定的日志服务中。关于配置日志功能的具体操作，请参见配置日志。 容器镜像函数的日志格式与自定义运行时函数的日志格式一致。更多信息，请参见函数日志格式。

本文介绍容器安全卫士扩容规则及操作步骤。 扩容说明 扩容节点不支持独立购买，必须在购买主套餐的基础上进行叠加购买；扩容的节点与主套餐绑定，资源到期时间与主套餐一致，不支持单独退订或单独续订。 扩容步骤 1. 登录容器安全卫士控制台。 2. 在左侧导航栏选择“订单中心”，进入订单信息页面。 3. 单击“立即扩容”，进入扩容页面。 4. 选择扩容的防护节点数。到期时间为主套餐到期时间，扩容时不能更改。 5. 阅读《天翼云容器安全卫士服务协议》后，勾选“我已阅读理解并同意《天翼云容器安全卫士服务协议》”，单击“立即购买”。 6. 进入付款页面，完成付款。

维度 子维度 CCE Turbo集群 CCE集群 集群 定位 面向云原生2.0的新一代容器集群产品，计算、网络、调度全面加速 标准版本集群，提供商用级的容器集群服务 集群 节点形态 支持虚拟机和物理机混合 支持虚拟机和物理机混合 网络 网络模型 云原生网络2.0 ：面向大规模和高性能的场景。 组网规模最大支持2000节点 云原生网络1.0 ：面向性能和规模要求不高的场景。 容器隧道网络模式 VPC网络模式 网络 网络性能 VPC网络和容器网络融合，性能无损耗 VPC网络叠加容器网络，性能有一定损耗 网络 容器网络隔离 Pod可直接关联安全组，基于安全组的隔离策略，支持集群内外部统一的安全隔离。 隧道网络模式：集群内部网络隔离策略，支持Networkpolicy。 VPC网络模式：不支持 安全 隔离性 物理机：安全容器，支持虚机级别的隔离 虚拟机：普通容器 普通容器，Cgroups隔离

本文主要介绍 从容器访问公网。 容器访问公网有如下方法可以实现。 给容器所在节点绑定公网IP（容器网络模型为VPC网络或容器隧道网络）。 给Pod IP绑定公网IP。 通过NAT网关配置SNAT规则，通过NAT网关访问公网。 下面将详细讲解通过NAT网关访问公网的方法，NAT网关能够为VPC内的容器实例提供网络地址转换（Network Address Translation）服务，SNAT功能通过绑定弹性公网IP，实现私有IP向公有IP的转换，可实现VPC内的容器实例共享弹性公网IP访问Internet。其原理如下图。通过NAT网关的SNAT功能，即使VPC内的容器实例不配置弹性公网IP也可以直接访问Internet，提供超大并发数的连接服务，适用于请求量大、连接数多的服务。 图 SNAT 您可以通过如下步骤实现容器实例访问Internet。 步骤 1 创建弹性公网IP。 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域和项目。 3. 在控制台首页，单击左上角的，在展开的列表中单击“网络 > 弹性公网IP”。 4. 在“弹性公网IP”界面，单击“购买弹性公网IP”。 5. 根据界面提示配置参数。 说明 此处“区域”需选择容器实例所在区域。 步骤 2 创建NAT网关。 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域和项目。 3. 在控制台首页，单击左上角的，在展开的列表中单击“网络 > NAT网关”。 4. 在NAT网关页面，单击右上角的“购买公网NAT网关”。 5. 根据界面提示配置参数。 说明 此处需选择集群相同的VPC。 步骤 3 配置SNAT规则，为子网绑定弹性公网IP。 1. 登录管理控制台。 2. 在管理控制台左上角单击，选择区域和项目。 3. 在控制台首页，单击左上角的，在展开的列表中单击“网络 >NAT网关”。 4. 在NAT网关页面，单击需要添加SNAT规则的NAT网关名称。 5. 在SNAT规则页签中，单击“添加SNAT规则”。 6. 根据界面提示配置参数。 说明 SNAT规则是按网段生效，因为不同容器网络模型通信方式不同，此处子网需按如下规则选择。 容器隧道网络、VPC网络：需要选择节点所在子网，即创建节点时选择的子网。 对于存在多个网段的情况，可以创建多个SNAT规则或选择自定义网段，只要网段能包含节点子网（容器隧道网络、VPC网络）即可。 图 配置SNAT规则 SNAT规则配置完成后，您就可以从容器中访问公网了，从容器中能够ping通公网。

本文主要介绍 容器引擎基础知识 容器引擎（Docker）是一个开源的引擎，可以轻松的为任何应用创建一个轻量级、可移植的应用镜像。 安装前的准备工作 在安装容器引擎前，请了解容器引擎的基础知识，具体请参见Docker Documentation。 选择容器引擎的版本 容器引擎几乎支持在所有操作系统上安装，用户可以根据需要选择要安装的容器引擎版本，具体请参见 说明 由于SWR支持容器引擎1.11.2及以上版本上传镜像，建议下载对应版本。 安装容器引擎需要连接互联网，内网服务器需要绑定弹性公网IP后才能访问。 安装容器引擎 你可以根据自己的操作系统选择对应的安装步骤： Linux操作系统下安装 在Linux操作系统下，可以使用如下命令快速安装Docker的最新稳定版本。如果您想安装其他特定版本的Docker，可参考安装Docker。 curl fsSL get.docker.com o getdocker.sh sh getdocker.sh sudo systemctl daemonreload sudo systemctl restart docker EulerOS操作系统下安装 在EulerOS操作系统下，安装容器引擎的方法如下： a. 登录弹性云服务器。 b. 配置yum源。 如果您的机器上还没有配置yum源，首先配置本机的yum。 c. 安装并运行容器引擎。 i. 获取yum源里的dockerengine包。 yum search dockerengine ii. 使用yum install y命令安装上一步获取的dockerengine包，x86架构示例： yum install dockerengine.x8664 y iii. 设置开机启动Docker服务。 systemctl enable docker iv. 启动Docker。 systemctl start docker d. 检查安装结果。 docker version 回显如下类似信息，表示容器引擎安装成功。 Docker version 18.09.0, build 384e3e9

本章节介绍应用服务网格CSM应用场景 应用服务网格CSM主要适用于微服务架构下的流量治理、安全治理和可观测场景，常用场景如下： 多语言微服务统一治理 应用服务网格（CSM）采用无侵入式的sidecar模式，提供了与语言无关的服务治理能力，无需修改业务代码即可实现对多语言应用的灰度发布、熔断限流、标签路由、全链路灰度等治理能力。 解决问题： 服务治理能力与业务代码耦合问题，业务无需关注非业务的技术问题，提高业务迭代效率。 企业内部多语言业务互通问题，服务网格通过sidecar和统一控制面，屏蔽了语言和框架的差异，使得多语言框架应用之间的通信就像语言框架内部的通信一样简单。 多集群统一服务治理 应用服务网格（CSM）采用主从集群模式，主集群（云容器引擎）作为控制面部署集群，支持对多个从集群（云容器引擎）实行统一纳管，对多个云容器引擎集群上的服务进行统一治理。 解决问题： 服务扩展问题：随着业务的发展，业务通过单个容器集群难以支撑时，CSM服务网格可以在一个网格实例下实现对多个容器集群的统一治理。 容灾问题：基于多集群和服务标签，通过服务网格的路由能力可以实现业务的多活容灾。

查看容器服务日志 日志采集路径配置成功后，若已配置的路径下存在日志文件，则ICAgent会从已配置的路径中采集日志文件，采集大概需要1分钟，请您耐心等待。待采集完成后，您可执行如下操作： 查看容器服务日志文件： 在左侧导航栏中选择“日志 > 日志文件”，在“组件”页签的下拉列表框中选择对应的集群和命名空间，左边的列表展示了在已选命名空间下该集群的组件，单击某个组件，即可查看其日志文件。 查看容器服务日志并进行分析 在左侧导航栏中选择“日志 > 日志搜索”，在“组件”页签中选择对应的集群与命名空间，选择某个组件及已配的文件名称，查看采集到的日志并进行分析。

本节主要介绍与其它服务的关系 应用服务网格与周边服务的依赖关系如下图所示。 应用服务网格与其他云服务关系 云容器引擎 CCE 云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建。 您可以通过ASM部署运行在云容器引擎上。 弹性负载均衡 ELB 弹性负载均衡（ Elastic Load Balance，ELB）将访问流量自动分发到多台云服务器，扩展应用系统对外的服务能力，实现更高水平的应用容错。 您可通过弹性负载均衡从外部访问ASM。 应用运维管理 AOM 应用运维管理AOM为您提供一站式立体运维平台，实时监控应用、资源运行状态，通过数十种指标、告警与日志关联分析，快速锁定问题根源，保障业务顺畅运行。 您可使用应用运维管理，对ASM中的服务和资源进行实时监控，对指标、告警和日志进行关联分析。 应用性能管理 APM（待上线） 应用性能管理服务（Application Performance Management，简称APM）是实时监控并管理云应用性能和故障的云服务，提供专业的分布式应用性能分析能力，可以帮助运维人员快速解决应用在分布式架构下的问题定位和性能瓶颈等难题，为用户体验保驾护航。 您可使用应用性能管理，对ASM中运行的服务进行全链路拓扑管理和分布式调用链追踪，方便您快速进行故障定位和根因分析。

本节介绍了启动实例失败时的重试机制是怎样的? 启动实例失败时的重试机制是怎样的？ 云容器引擎是基于原生Kubernetes的云容器引擎服务，完全兼容Kubernetes社区原生版本，与社区最新版本保持紧密同步，完全兼容Kubernetes API和Kubectl。 在Kubernetes中，Pod的spec中包含一个restartPolicy字段，其取值包括：Always、OnFailure和Never，默认值为：Always。Always：当容器失效时，由kubelet自动重启该容器。 OnFailure：当容器终止运行且退出不为0时，由kubelet自动重启该容器。 Never：不论容器运行状态如何，kubelet都不会重启该容器。 restartPolicy适用于Pod中的所有容器。 restartPolicy仅针对同一节点上kubelet的容器重启动作。当Pod中的容器退出时，kubelet 会按指数回退方式计算重启的延迟（10s、20s、40s...），其最长延迟为5分钟。 一旦某容器执行了10分钟并且没有出现问题，kubelet对该容器的重启回退计时器执行重置操作。 每种控制器对Pod的重启策略要求如下： Replication Controller（RC）和DaemonSet：必须设置为Always，需要保证该容器的持续运行。 Job：OnFailure或Never，确保容器执行完成后不再重启。

GoConsumer 首先创建microClient的客户端服务，通过pb生成的远程服务端grpc服务，注入远程服务名：goprovider，暴露8080端口，服务内部解析请求参数，调用远程服务返回响应结果。 参考代码如下： plaintext nacosAddr : os.Getenv(NacosAddr) namespaceId : os.Getenv(NamespaceId) username : os.Getenv(Username) pwCode : os.Getenv(PwCode) registry : nacos.NewRegistry(nacos.WithAddress(addrs), nacos.WithClientConfig(config)) // 构建完整的服务地址 microService : micro.NewService( micro.Name(service), micro.Version(version), micro.Registry(registry) ) getService, err : registry.GetService("goprovider") if err ! nil { fmt.Printf("GetService err:%vnn", err) } microService.Init() 客户端服务定义完成之后，通过Gin服务框架对外提供Restful的服务。 plaintext flag.Parse() shutdown : apm.InitProviderHttp() defer shutdown() router : gin.Default() // 使用OpenTelemetry中间件 router.Use(otelgin.Middleware("goconsumer")) router.Static("/home", "view") r1 : router.Group("/api") { r1.GET("/user", func(c gin.Context) { controller.GetUserInfo(c) }) } router.Run(":8080") 镜像包上传 将客户端和服务端构建镜像之后，登录用户所在集群，可以在云容器引擎界面进入容器镜像服务菜单。 1. 登录云容器引擎控制台，左侧菜单栏选择“容器镜像服务>实例列表”。 2. 点击“实例名称”进入实例详情，左侧菜单栏点击“镜像仓库”，创建镜像仓库，填写镜像仓库信息。 命名空间：仓库命名空间 仓库名称：镜像名称 仓库类型： 选择公开 3. 点击“访问凭证”，拿到账号和密码，登录集群推送镜像。

本文主要介绍 网络概述。. 关于集群的网络，可以从如下两个角度进行了解： 集群网络是什么样的：集群由多个节点构成，集群中又运行着Pod（容器），每个Pod都需要访问，节点与节点、节点与Pod、Pod与Pod都需要访问。那集群中包含有哪些网络，各自的用处是什么，具体请参见集群网络构成。 集群中的Pod是如何访问的：访问Pod就是访问容器，也就是访问用户的业务，Kubernetes提供Service和Ingress来解决Pod的访问问题。本章节根据用户使用场景总结了常见的网络访问场景，让您能够在不同使用场景下选择合适的使用方法。 集群网络构成 集群中节点都位于VPC中，节点使用VPC的网络，容器的网络是使用专门的网络插件来管理。 节点网络 节点网络为集群内主机（节点，图中的Node）分配IP地址，您需要选择VPC中的子网用于CCE集群的节点网络。子网的可用IP数量决定了集群中可以创建节点数量的上限（包括Master节点和Node节点），集群中可创建节点数量还受容器网络的影响，在容器网络模型中会进一步说明。 容器网络 为集群内容器分配IP地址。CCE继承Kubernetes的IPPerPodPerNetwork的容器网络模型，即每个Pod在每个网络平面下都拥有一个独立的IP地址，Pod内所有容器共享同一个网络命名空间，集群内所有Pod都在一个直接连通的扁平网络中，无需NAT可直接通过Pod的IP地址访问。Kubernetes只提供了如何为Pod提供网络的机制，并不直接负责配置Pod网络；Pod网络的具体配置操作交由具体的容器网络插件实现。容器网络插件负责为Pod配置网络并管理容器IP地址。 当前CCE支持如下容器网络模型。 容器隧道网络：容器隧道网络在节点网络基础上通过隧道封装另构建的独立于节点网络平面的容器网络平面，CCE集群容器隧道网络使用的封装协议为VXLAN，后端虚拟交换机采用的是openvswitch，VXLAN是将以太网报文封装成UDP报文进行隧道传输。 VPC网络：VPC网络采用VPC路由方式与底层网络深度整合，适用于高性能场景，节点数量受限于虚拟私有云VPC的路由配额。每个节点将会被分配固定大小的IP地址段。VPC网络由于没有隧道封装的消耗，容器网络性能相对于容器隧道网络有一定优势。VPC网络集群由于VPC路由中配置有容器网段与节点IP的路由，可以支持集群外直接访问容器实例等特殊场景。 不同容器网络模型，容器网络的性能、组网规模、适用场景各不相同，在容器网络模型对比章节，将会详细介绍不同容器网络模型的功能特性，了解这些有助于您选择容器网络模型。 服务网络 服务（Service）是Kubernetes内的概念，每个Service都有一个固定的IP地址，在CCE上创建集群时，可以指定Service的地址段（即服务网段）。服务网段不能和节点网段、容器网段重叠。服务网段只在集群内使用，不能在集群外使用。

本节介绍云容器引擎的最佳实践:CoreDNS配置优化实践。 概述 DNS作为k8s的关键基础服务，在配置不合理，集群规模较大时，DNS容易出现解析超时、解析失败等现象。本文介绍Kubernetes集群中CoreDNS配置优化的最佳实践，帮助您避免此类问题。 前提条件 创建一个云容器引擎集群，具体操作步骤请参见新建云容器引擎集群。 通过kubectl连接集群，详情请参见通过kubectl连接集群。 安装CoreDNS插件（推荐安装CoreDNS最新版本），详情请参见CoreDNS介绍。 实践方案 CoreDNS配置优化方案包含客户端和服务端的实践。 在客户端，您可以通过使用合适的容器镜像，优化域名解析请求，增加节点DNS缓存等方式来降低解析时延和减少解析异常。 优化域名解析请求 选择合适的容器镜像 避免IPVS缺陷导致的DNS概率性解析超时 使用节点DNS缓存（NodeLocal DNSCache） 谨慎调整节点的DNS配置 在服务端，您可以合理的调整CoreDNS部署状态或者调整CoreDNS配置来提升集群CoreDNS的可用性和吞吐量。 监控CoreDNS运行状态 合理调整CoreDNS部署状态 合理配置CoreDNS

支持普通集成的天翼云服务列表 天翼云工作流支持通过OpenAPI集成多个服务，涵盖以下产品分类： 产品分类 产品名称 存储 混合存储网关、云硬盘、弹性文件服务、媒体存储、云备份、云硬盘备份、对象存储、云主机备份、海量文件服务 OceanFS、云容灾、对象存储（经典版）I型、并行文件 网络与CDN 弹性IP、天翼云SDWAN、NAT网关、VPN连接、云间高速、虚拟私有云、弹性负载均衡、共享流量包、智能边缘云、云专线CDA、应用加速、边缘安全加速平台、CDN加速、智能DNS、VPC终端节点、全站加速、科研助手 计算 弹性云主机、天翼云电脑（政企版）、函数计算、弹性高性能计算、镜像服务、弹性伸缩服务、物理机、云骁智算平台、数据加密 数据库 关系数据库SQL Server版、关系数据库PostgreSQL版、分布式关系型数据库、关系数据库MySQL版、数据传输服务、文档数据库服务、数据管理服务、分布式缓存服务Redis版、时序数据库Influx版、分布式融合数据库HTAP、云数据库ClickHouse 监控与管理 云日志服务、应用性能监控 应用服务 API网关、EasyCoding敏捷开发平台、软件开发生产线CodeArts 数据库 关系型数据库MySQL版（CTRDS）、关系型数据库PostgreSQL版、关系型数据库SQL Server版、云数据库GaussDB、分布式关系型数据库、分布式融合数据库HTAP、文档数据库服务、时序数据库Influx版、分布式缓存服务Redis版 人工智能 AI能力开放平台、慧聚一站式智算服务平台 大数据 云搜索服务、大数据管理平台 DataWings、翼MapReduce 容器与中间件 应用服务网格、弹性容器实例、分布式容器云平台、容器镜像服务、分布式消息服务RabbitMQ、分布式消息服务RocketMQ、微服务应用平台MSAP、云容器引擎、分布式消息服务Kafka、微服务引擎注册配置中心、微服务引擎MSE、应用性能监控apm、分布式容器云平台CCSE ONE 安全及管理 云防火墙（原生版）、统一身份认证、密钥管理、服务器安全卫士（原生版）、云监控、Web应用防火墙（原生版）、证书管理服务、DDoS高防（边缘云版）、云堡垒机、Web应用防火墙（边缘云版）、云审计 企业应用 云通信短信 视频 视频直播、智能视图服务、云点播 专属云 专属云（计算独享型） 价格 账务 其他 数据库审计、云日志服务、轻量型云主机、云原生网关、API网关 说明 ：具体支持的服务和API请参考天翼云OpenAPI文档。

本节介绍订购智算集群。 集群开通 您可以通过云容器引擎控制台快速创建云容器引擎（智算版）集群。 云容器引擎（智算版）集群支持GPU等异构节点的部署，基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境，您可以实现多种场景的混合部署。 约束与限制 创建节点过程中会使用域名方式从OBS下载软件包，需要能够使用云上内网DNS解析OBS域名，否则会导致创建不成功。为此，节点所在子网需要配置为 内网DNS地址，从而使得节点使用内网DNS。在创建子网时DNS默认配置为内网DNS，如果您修改过子网的DNS，请务必确保子网下的DNS服务器可以解析OBS服务域名，否则需要将DNS改成内网DNS。 集群一旦创建以后，不支持变更以下项： 变更集群类型。 变更企业项目。 变更集群的网络配置，如所在的虚拟私有云VPC、子网、容器网段、服务网段、IPv6、kubeproxy代理（转发）模式。 变更网络模型，例如“容器隧道网络”更换为“VPC网络”。 操作步骤 登录云容器引擎控制台 1. 登录云容器引擎控制台，在左侧导航栏选择集群。 2. 在集群列表页面，单击页面右上角的创建集群。 3. 选择智算版标签页。

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。

卸载探针 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，单击其下的探针管理选项。 3. 在探针管理 页面，选择云容器引擎页签。 4. 在列表中找到目标主机，单击操作列的卸载按钮。 5. 在弹出的对话框中单击确定 ，系统将发起探针卸载流程。 6. 单击操作列的执行记录，可查看探针的操作历史记录。 7. 卸载结束后，列表中的探针安装状态 更新为未安装。 注意 探针列表中的连接状态表示目标资源探针与故障演练服务控制面的连通状态，此状态有一定延迟。 云容器引擎探针通过插件形式安装在容器集群中，可登录云容器引擎控制台查看相关插件实例（ctgchaosinjectoragent 、ctgchaosbladeoperator）。

本章介绍使用限制内容。 配额 容器镜像服务对单个用户的组织数量限定了配额。 当前容器镜像服务的配额如下表所示。如果您需要添加更多的组织，请提交工单申请。 资源类型 配额 组织数量 5 上传镜像限制 使用客户端上传镜像，镜像的每个layer大小不能超过10G。 使用页面上传镜像，每次最多上传10个文件，单个文件大小（含解压后）不得超过2G。 特性限制 苏州和广州4资源池已开启IPV6双栈特性，您使用Docker或containerd容器镜像时，能够同时兼容IPV4和IPV6协议。

Node节点 Node节点是集群的计算节点，即运行容器化应用的节点。 kubelet：kubelet主要负责同Container Runtime打交道，并与API Server交互，管理节点上的容器。 kubeproxy：应用组件间的访问代理，解决节点上应用的访问问题。 Container Runtime：容器运行时，如Docker，最主要的功能是下载镜像和运行容器。 Master节点数量与集群规模 在CCE中创建集群，Master节点可以是1个或3个，3个Master节点会按高可用部署，确保集群的可靠性。 Master节点的规格决定集群管理Node节点的规模，创建集群时可以选择集群管理规模，这个规模就是指的集群可以有多少个Node节点，例如50节点、200节点等。 集群的网络 从网络的角度看，集群的节点都位于VPC之内，节点上又运行着容器，每个容器都需要访问，节点与节点、节点与容器、容器与容器都需要访问。 集群的网络可以分成三个网络来看。 节点网络：为集群内节点分配IP地址。 容器网络：为集群内容器分配IP地址，负责容器的通信，当前支持多种容器网络模型，不同模型有不同的工作机制。 服务网络：服务（Service）是用来解决访问容器的Kubernetes对象，每个Service都有一个固定的IP地址。 在创建集群时，您需要为各个网络选择合适的网段，确保各网段之间不存在冲突，每个网段下有足够的IP地址可用。 集群创建后不支持修改容器网络模型 ，您需要在创建前做好规划和选择。 强烈建议您在创建集群前详细了解集群的网络以及容器网络模型，具体请参见容器网络模型。

参数名称 说明 regionId 资源池ID，可参考 accountId 账号ID，可用代替 instanceId 容器镜像服务实例ID namespaceName 命名空间名称 repositoryName 镜像仓库名称 chartNamespaceName Chart命名空间名称 chartRepositoryName Chart仓库名称

本节介绍了用户指南;存储概述。 存储概述 云容器引擎的存储功能基于Kubernetes容器存储接口（CSI），与天翼云存储服务（如云硬盘，弹性文件服务、对象存储、并行文件和海量文件等）深度融合，完全兼容Kubernetes原生的存储服务，包括 EmptyDir、HostPath、ConfigMap 和 Secret 等各种存储类型。 天翼云容器引擎集成云存储服务和原生存储服务，为应用程序提供可靠、高性能的存储解决方案。 存储类型概览 由于Container 中的文件在磁盘上是临时存放的，为了解决持久化存储以及同一 Pod 中多个容器共享文件，Kubernetes提出使用数据卷（Volume）作为Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。 云容器引擎从实现方式以及存储介质上对数据卷进行划分，主要有两类： 存储类型 说明 容器存储接口 OutofTree形式存储卷，使用标准的容器存储接口形成自定义存储插件，用户可以通过PVC/PV的形式实现挂载 。 存储介质为天翼云存储，包括云硬盘、弹性文件、对象存储等类型， 一般用于存储可用性要求较高的数据，或部分数据需要共享的场景。 云容器引擎通过 cstorcsi 实现该能力。 Kubernetes原生存储 InTree形式存储卷，通过Kubernetes代码仓库统一构建、编译、发布，比如ConfigMap一般用于给Pod注入配置数据、Secret一般用于给Pod传递敏感信息。 容器存储类型概览如下: 云硬盘 弹性文件 对象存储 并行文件 海量文件 概念 云硬盘（CTEVS，Elastic Volume Service）是一种可弹性扩展的块存储设备，可以为弹性云主机和弹性裸金属服务器提供高性能、高可靠的块存储服务。天翼云硬盘规格丰富，满足不同场景的业务需求，适用于文件系统、数据库、开发测试等场景。 弹性文件服务（CTSFS，Scalable File Service）提供按需扩展的高性能文件存储，可为云上多个弹性云服务器、容器、裸金属服务器提供共享访问，具备高可用性和高数据持久性，为海量的小文件、低延迟高IOPS型应用提供有力支持。 对象存储（CTZOS，Zettabyte Object Storage）是天翼云为客户提供的一种海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的无限存储服务。 并行文件服务 HPFS（CTHPFS，High Performance File Storage）是由天翼云提供的高性能并行文件存储，具有高性能，高可靠性，高可扩展性的特点，充分满足影视渲染、自动驾驶等计算和数据密集型场景的需求。 海量文件服务OceanFS（）是天翼云推出的全托管、可扩展海量文件系统，满足海量数据、高带宽型应用场景的需求。OceanFS能够弹性扩展至PB规模，具备高可用性和持久性。 数据存储逻辑 存放的是二进制数据，无法直接存放文件，如果需要存放文件，需要先格式化文件系统后使用。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 采用文件存储方式，会以文件和文件夹的层次结构来整理和呈现数据。 采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 动态存储卷 支持 支持 支持 支持 支持 静态存储卷 支持 支持 支持 支持 支持 支持数据共享 共享盘支持 支持 支持，一般用于共享读场景，不建议用于写场景。 支持 支持 存储容量 10~ 32768GB 500~ 19480GB 不限制存储空间大小，理论上可无限扩容。 512GB~10PB 100GB~4PB 应用场景 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如影视渲染、气象分析、石油勘探、EDA仿真、基因分析、AI训练、自动驾驶等计算和数据密集型场景的需求。 如HPC、媒体处理、文件共享、内容管理和Web服务等多种场景。 产品规格 参见：点这里 参见：点这里 参见：点这里 参见：点这里 参见：点这里 计费说明 参见：点这里 参见：点这里 参见：点这里 参见：点这里 参见：点这里

概述 云原生API网关支持丰富的服务策略配置，可以实现后端服务级别的策略配置，包括负载均衡、超时、重试等配置。 操作步骤 1. 点击服务列表项操作栏的策略配置按钮或者服务名称进入服务详情页面。 2. 点击策略的编辑按钮，进入配置状态。 3. 填写配置项参数，点击保存完成修改。 策略配置项和支持的服务类型 配置项 说明 支持的服务类型 负载均衡策略 后端多实例的负载均衡策略，当前支持： 1. 轮询（Round Robin） 2. 一致性哈希（CHash） 3. 指数加权移动平均法（EWMA） 4. 最小连接数（Least Conn） 容器/注册中心/固定地址/DNS域名服务 超时策略 当前支持配置连接超时（默认10s）、发送超时（默认60s）、接收超时（默认60s） 容器/注册中心/固定地址/DNS域名服务 重试策略 1. 重试次数，默认为0，表示不重试 2. 重试超时时间：原请求和重试的总耗时超过该时间则不再继续重试 容器/注册中心/固定地址/DNS域名服务

本节介绍了模板市场的用户指南。 模板市场是云容器引擎基于Kubernetes Helm提供的应用模板管理和应用发布的能力，您可以将模板（Chart）上传到模板市场，然后利用模板市场实现模板的快速部署与后期管理，大幅简化Kubernetes资源的配置部署过程。 操作场景 上传模板和发布模板均使用到“模板市场”。上传模板需将模板上到“模板市场”容器镜像服务（CRS）实例命名空间中。发布模板则使用已经上传的模板部署工作负载。 前提条件 上传模板前，您需要存在一个可用集群。 发布模板前，您需要先上传模板。 操作步骤 上传模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，点击“上传模板”按钮。 步骤 3，在上传界面中，选择“镜像服务实例”，如需新增实例请到容器镜像服务控制台。 步骤 4，在上传界面中，选择“命名空间”，如需新增实例请到容器镜像服务控制台。 步骤 5，上传模板包（chart），完成后使用helm package 命令打包。 步骤 6，点击“提交”按钮，完成上传。 发布模板： 步骤 1，登录云容器引擎控制台，在左侧导航栏中选择“模板市场”。 步骤 2，在左侧二级导航栏中选择“模板市场”，选择具体的模板包。 步骤 3，在模板版本列表中选择具体的模板包版本。 步骤 4，在模板包版本中点击“发布”按钮。 步骤 5，在右侧的弹窗中填写“实例名称”，选择待发布的“集群名称”和“命名空间”，按需编辑“values”，点击“确认”完成发布。

本文介绍弹性容器实例ECI的基本概念。 ECI相关概念 使用ECI涉及的相关概念如下表所示。 概念 说明 容器（Container） 容器是轻量的、可执行的独立软件包，是镜像运行的实体 容器组（Container Group） 容器组是一组可以被调度到同一台宿主机上的容器集合。这些容器共同构成了容器组的生命周期，并共享容器组的网络和存储资源。一个容器组即一个ECI实例，其概念与Kubernetes的Pod概念类似 镜像（Image） 镜像是一个特殊的文件系统，包含容器应用运行所需的程序、库文件、配置等。Docker镜像是容器应用打包的标准格式，在部署容器化应用时，您需要指定镜像，该镜像可以来自于Docker Hub、天翼云容器镜像服务CRS或者您的私有Registry 镜像缓存（ImageCache） 镜像缓存用于加速拉取镜像，减少ECI实例启动耗时。受网络、镜像大小等因素影响，镜像拉取是ECI实例启动的主要耗时，提前制作镜像缓存可以加速拉取镜像 数据卷（Volume） 数据卷是容器组的共享存储资源。您可以将外部数据卷挂载到指定的容器组，容器组中声明的数据卷由容器组中的所有容器共享 标签（Tag） 标签是附加在容器组上的一系列Key/Value键值对。标签需要在创建容器组时设置，每个容器组最多可以拥有20个标签，其中key值必须唯一。标签的概念与Kubernetes的Label概念类似 虚拟节点（Virtual Node） 基于Kubernetes社区的Virtual Kubelet技术，ECI可以通过虚拟节点的方式接入到Kubernetes集群中，即ECI实例并不会运行在一个集中式的真实节点上，而是会被打散分布在整个天翼云的资源池中

本节介绍了容器镜像服务的产品优势。 简单易用 使用控制台对镜像操作，简单易用，支持镜像的全生命周期管理。 安全保障 支持容器镜像安全扫描，识别镜像中所有已知的漏洞信息。 开放兼容 全面支持社区Registry V2协议，支持使用CLI以及原生API方式管理镜像。 无缝集成 与云容器引擎无缝集成，构建云原生一站式解决方案。

创建并挂载 HPFS 极速缓存 HPKV 需使用 HPFS 并行文件系统作为三级存储层，具体操作如下： 1. 创建文件系统 登录并行文件服务 HPFS 控制台，创建文件系统。文件系统需选择与 GPU 物理机规格相匹配的集群，否则将无法正常挂载。集群匹配关系的详细说明，请参见产品能力地图。 具体创建操作请参见创建文件系统。 2. 挂载文件系统至 GPU 物理机 将创建好的 HPFS 文件系统挂载至 GPU 物理机的 /mnt/hpfs 目录，以便推理服务读写缓存数据。 具体挂载操作请参见HPFSPOSIX 客户端挂载。 部署 HPKV 模板 完成基础资源准备后，需将 HPKV 的容器镜像与模板文件上传至容器镜像服务与模板市场，具体操作如下： 1. 获取 HPKV 模板文件 HPKV 模板文件为 .tgz 格式的压缩包。您可通过工单申请，在问题描述中填写：并行文件服务 HPFS，申请试用 HPKV 服务。 通过客户经理获取模板文件的下载链接，将 HPKV 模板文件下载至 GPU 物理机上挂载的 HPFS 文件系统目录中。 2. 开通并配置容器镜像服务 HPKV 部署需使用容器镜像服务存放相关镜像与模板文件。 1. 开通企业版 ：登录容器镜像服务控制台，开通企业版实例。具体操作请参见开通企业版实例。 2. 创建命名空间 ：在实例中创建用于存放 HPKV 镜像的命名空间。具体操作请参见容器镜像命名空间。 3. 创建镜像仓库 ：在命名空间下创建镜像仓库，用于存放 HPKV 容器镜像。具体操作请参见容器镜像仓库。 4. 创建 Chart 仓库 ：在实例中创建 Chart 仓库，用于存放 HPKV 模板文件（.tgz 包），注意仓库名称必须和模版文件的名称一致，具体操作请参见HelmChart命名空间、HelmChart镜像仓库。 3. 推送容器镜像至镜像仓库 1. 导入镜像 ：将获取的容器镜像 tar 包下载至本地。通过客户经理获取容器镜像的下载链接，将容器镜像同样下载至 GPU 物理机上挂载的 HPFS 文件系统目录中。 2. 使用 Docker 命令导入： shell yum install y docker vim /etc/docker/daemon.json { "runtimes": { "nvidia": { "args": [], "path": "nvidiacontainerruntime" } }, "dataroot": "/data/dockerdata" } shell systemctl restart docker docker ps docker load i 3. 上传镜像 ：登录镜像仓库，将导入的镜像推送至已创建的镜像仓库。具体操作请根据控制台指引操作或参见推送和拉取容器镜像。 4. 推送模板文件至 Chart 仓库 1. 登录 GPU 物理机节点：通过 SSH 登录已纳管的 GPU 物理机。 2. 推送模板 ：将获取的 .tgz 模板文件推送至 Chart 仓库。具体操作请根据控制台指引操作或参见推送和拉取Helm Chart。 5. 下载模型文件 通过客户经理获取模型文件的下载链接，将模型文件同样下载至 GPU 物理机上挂载的 HPFS 文件系统目录中。 6. 使用模板发布应用 1. 查看模板：在容器平台的“模板市场”中，进入“我的模板”，即可看到已上传的 HPKV 模板。 2. 获取凭证 ：在容器平台的“配置管理”中，进去“镜像拉取凭证”，创建镜像拉取凭证，具体操作请参见镜像拉取凭证。 3. 发布模板 ：在模板包版本中点击“发布”按钮后，在右侧的弹窗中填写“实例名称”，选择待发布的“集群名称”和“命名空间”，按下面示例编辑“values”，点击“确认”完成发布。具体操作请参见模板市场。 shell image: repository: ds0001registryshanghai15.crsinternal.ctyun.cn/XXXXXX/XXXXXX pullPolicy: IfNotPresent imagePullSecrets: name: XXXXXX commandArgs: /opt/start.sh 64g true && exec env VLLMENABLECTKVCTrue VLLMCTKVCSDKPATH/usr/local/kvstore/lib/ VLLMCTKVCGRPCPORT50051 vllm serve /mnt/hpfs/modelscope/models/Qwen/Qwen2.532BInstruct dtypeauto blocksize64 servedmodelname Qwen2.532BInstruct enableautotoolchoice toolcallparser hermes pipelineparallelsize 1 tensorparallelsize 4 port 8000 cpuoffloadgb0 enforceeager gpumemoryutilization0.95 maxmodellen32768 maxnumbatchedtokens32768 disablelogrequests kvtransferconfig '{"kvconnector":"KVStoreConnectorV1", "kvrole":"kvboth"}' resources: limits: hugepages2Mi: 200Gi memory: 300Gi requests: hugepages2Mi: 200Gi memory: 300Gi service: type: NodePort port: 8000 nodePort: 31800 关键参数说明 参数 说明 kvtransferconfig 启用极速缓存 HPKV 功能，kvconnector 指定连接器类型，kvrole 设置为 kvboth 表示同时支持读写缓存，无需修改 repository 需要设置为容器镜像的下载地址，参见第3步 imagePullSecrets 需要设置为镜像拉取的凭证，参见第6步 “ /mnt/hpfs/modelscope/models/Qwen/Qwen2.532BInstruct” 需要设置为模型文件下载地址，参见第5步 7. 验证服务启动 通过 curl 命令发送推理请求，验证缓存是否生效： shell curl shell curl X POST H "ContentType: application/json" d '{ "model": "/home/user/models/Qwen/Qwen2.50.5BInstruct/", "prompt": "请介绍一下天翼云", "maxtokens": 100 }'

创建并挂载 HPFS 极速缓存 HPKV 需使用 HPFS 并行文件系统作为三级存储层，具体操作如下： 1. 创建文件系统 登录并行文件服务 HPFS 控制台，创建文件系统。文件系统需选择与 GPU 物理机规格相匹配的集群，否则将无法正常挂载。集群匹配关系的详细说明，请参见产品能力地图。 具体创建操作请参见创建文件系统。 2. 挂载文件系统至 GPU 物理机 将创建好的 HPFS 文件系统挂载至 GPU 物理机的 /mnt/hpfs 目录，以便推理服务读写缓存数据。 具体挂载操作请参见HPFSPOSIX 客户端挂载。 部署 HPKV 模板 完成基础资源准备后，需将 HPKV 的容器镜像与模板文件上传至容器镜像服务与模板市场，具体操作如下： 1. 获取 HPKV 模板文件 HPKV 模板文件为 .tgz 格式的压缩包。您可通过工单申请，在问题描述中填写：并行文件服务 HPFS，申请试用 HPKV 服务。 通过客户经理获取模板文件的下载链接，将 HPKV 模板文件下载至 GPU 物理机上挂载的 HPFS 文件系统目录中。 2. 开通并配置容器镜像服务 HPKV 部署需使用容器镜像服务存放相关镜像与模板文件。 1. 开通企业版 ：登录容器镜像服务控制台，开通企业版实例。具体操作请参见开通企业版实例。 2. 创建命名空间 ：在实例中创建用于存放 HPKV 镜像的命名空间。具体操作请参见容器镜像命名空间。 3. 创建镜像仓库 ：在命名空间下创建镜像仓库，用于存放 HPKV 容器镜像。具体操作请参见容器镜像仓库。 4. 创建 Chart 仓库 ：在实例中创建 Chart 仓库，用于存放 HPKV 模板文件（.tgz 包），注意仓库名称必须和模版文件的名称一致，具体操作请参见HelmChart命名空间、HelmChart镜像仓库。 3. 推送容器镜像至镜像仓库 1. 导入镜像 ：将获取的容器镜像 tar 包下载至本地。通过客户经理获取容器镜像的下载链接，将容器镜像同样下载至 GPU 物理机上挂载的 HPFS 文件系统目录中。 2. 使用 Docker 命令导入： shell yum install y docker vim /etc/docker/daemon.json { "runtimes": { "nvidia": { "args": [], "path": "nvidiacontainerruntime" } }, "dataroot": "/data/dockerdata" } systemctl restart docker docker ps docker load i 3. 上传镜像 ：登录镜像仓库，将导入的镜像推送至已创建的镜像仓库。具体操作请根据控制台指引操作或参见推送和拉取容器镜像。 4. 推送模板文件至 Chart 仓库 1. 登录 GPU 物理机节点：通过 SSH 登录已纳管的 GPU 物理机。 2. 推送模板 ：将获取的 .tgz 模板文件推送至 Chart 仓库。具体操作请根据控制台指引操作或参见推送和拉取Helm Chart。 5. 下载模型文件 通过客户经理获取模型文件的下载链接，将模型文件同样下载至 GPU 物理机上挂载的 HPFS 文件系统目录中。 6. 使用模板发布应用 1. 查看模板：在容器平台的“模板市场”中，进入“我的模板”，即可看到已上传的 HPKV 模板。 2. 获取凭证 ：在容器平台的“配置管理”中，进去“镜像拉取凭证”，创建镜像拉取凭证，具体操作请参见镜像拉取凭证。 3. 发布模板 ：在模板包版本中点击“发布”按钮后，在右侧的弹窗中填写“实例名称”，选择待发布的“集群名称”和“命名空间”，按下面示例编辑“values”，点击“确认”完成发布。具体操作请参见模板市场。 shell image: repository: ds0001registryshanghai15.crsinternal.ctyun.cn/XXXXXX/XXXXXX pullPolicy: IfNotPresent imagePullSecrets: name: XXXXXX commandArgs: /opt/start.sh 64g true && exec env VLLMENABLECTKVCTrue VLLMCTKVCSDKPATH/usr/local/kvstore/lib/ VLLMCTKVCGRPCPORT50051 vllm serve /mnt/hpfs/modelscope/models/Qwen/Qwen2.532BInstruct dtypeauto blocksize64 servedmodelname Qwen2.532BInstruct enableautotoolchoice toolcallparser hermes pipelineparallelsize 1 tensorparallelsize 4 port 8000 cpuoffloadgb0 enforceeager gpumemoryutilization0.95 maxmodellen32768 maxnumbatchedtokens32768 disablelogrequests kvtransferconfig '{"kvconnector":"KVStoreConnectorV1", "kvrole":"kvboth"}' resources: limits: hugepages2Mi: 200Gi memory: 300Gi requests: hugepages2Mi: 200Gi memory: 300Gi service: type: NodePort port: 8000 nodePort: 31800 关键参数说明 参数 说明 kvtransferconfig 启用极速缓存 HPKV 功能，kvconnector 指定连接器类型，kvrole 设置为 kvboth 表示同时支持读写缓存，无需修改 repository 需要设置为容器镜像的下载地址，参见第3步 imagePullSecrets 需要设置为镜像拉取的凭证，参见第6步 “ /mnt/hpfs/modelscope/models/Qwen/Qwen2.532BInstruct” 需要设置为模型文件下载地址，参见第5步 7. 验证服务启动 通过 curl 命令发送推理请求，验证缓存是否生效： shell curl shell curl X POST H "ContentType: application/json" d '{ "model": "/home/user/models/Qwen/Qwen2.50.5BInstruct/", "prompt": "请介绍一下天翼云", "maxtokens": 100 }'

本节介绍了云容器引擎的计费项及其计费方式。 一套专有版容器集群实例包括IaaS云资源（如：弹性云主机/弹性裸金属、云硬盘、ELB等），涉及计费的资源如下表所示。 计费项 计费项说明 计费方式 备注 IaaS云资源（参照天翼云一类节点计费说明） 计算资源（vCPU和内存） 包年/包月、按需计费 专有版集群，需购买Master节点承载K8S集群控制面，一般建议3/5台Master节点 IaaS云资源（参照天翼云一类节点计费说明） 存储资源（GB） 包年/包月、按需计费 专有版集群，需购买Master节点承载K8S集群控制面，一般建议3/5台Master节点 IaaS云资源（参照天翼云一类节点计费说明） ELB（绑定API Server使用） 包年/包月、按需计费 专有版集群，需购买Master节点承载K8S集群控制面，一般建议3/5台Master节点 其他可选的云资源 NAT网关 按需计费 非必须，用于Pod访问外网 其他可选的云资源 EIP 按需计费 非必须，用于外网 API Server绑定使用 其他可选的云资源 Ingress的ELB及EIP 按需计费 非必须，用于暴露loadbalancer服务的Ingress插件 其他可选的云资源 云日志 按需计费 非必须，用于容器日志采集存储检索 其他可选的云资源 容器镜像服务 个人版免费/企业版包周期计费 非必须，用于部署容器时拉取容器镜像 一套托管版容器集群实例包括集群管理、IaaS云资源（如：弹性云主机、云硬盘、ELB等），其中涉及计费的资源如下表所示。 计费项 计费项说明 计费方式 备注 托管基础版 管理10节点（非高可用） 包年/包月、按需计费 说明 托管基础版建议个人学习用途，不承诺sla，不建议生产系统使用。 托管pro版 管理50/200/1000/2000节点（高可用） 包年/包月、按需计费 说明 托管基础版建议个人学习用途，不承诺sla，不建议生产系统使用。 IaaS云资源（参照天翼云一类节点计费说明） 计算资源（vCPU和内存） 包年/包月、按需计费 说明 托管基础版建议个人学习用途，不承诺sla，不建议生产系统使用。 IaaS云资源（参照天翼云一类节点计费说明） 存储资源（GB） 包年/包月、按需计费 说明 托管基础版建议个人学习用途，不承诺sla，不建议生产系统使用。 IaaS云资源（参照天翼云一类节点计费说明） ELB（绑定API Server使用） 包年/包月、按需计费 说明 托管基础版建议个人学习用途，不承诺sla，不建议生产系统使用。 其他可选的云资源 NAT网关 按需计费 非必须，用于Pod访问外网 其他可选的云资源 EIP 按需计费 非必须，用于外网 API Server绑定使用 其他可选的云资源 Ingress的ELB及EIP 按需计费 非必须，用于暴露loadbalancer服务的Ingress插件 其他可选的云资源 云日志 按需计费 非必须，用于容器日志采集存储检索 其他可选的云资源 容器镜像服务 个人版免费/企业版包周期计费 非必须，用于部署容器时拉取容器镜像