创建项目和应用 在左侧导航栏，选择应用列表。在应用列表点击新增项目。展开新增完成的项目，在应用管理下创建应用，技术栈选择 StaticResource。 项目关联环境 展开项目树，在环境管理下将步骤1创建的环境关联上。 创建容器应用实例并部署 在左侧导航栏，选择容器应用实例 > 应用发布 > 应用实例。在应用实例左上角点击创建应用实例。 基本信息 项目/应用：选择步骤2创建的应用 应用实例名称：无需修改，使用默认名称即可 技术栈版本：选择1.24.0staticresourcetar 接入方式：选择制品 镜像目标架构：云容器引擎是ARM架构勾选linux/arm64，云容器引擎是X86架构勾选linux/amd64或不勾 应用实例版本：无需修改，使用默认版本即可 企业项目：选择default 部署配置 选择集群：选择步骤1导入到环境中的云容器引擎 部署包来源：选择自定义程序包 上传包：上传前端应用包 制品版本：输入制品版本 完成以上信息填写后，点击下一步进入到预览页面，确认信息无误后，点击创建按钮，完成应用实例创建。 应用实例创建完成后，直接点击查看实例详情按钮，到实例详情页面。点击上方发布应用实例按钮，进入到应用发布界面。点击右下角发布按钮，进入到发布单详情界面。等待发布单完成初始化后再点击发布按钮进行应用发布。应用开始发布后，可点击应用实例发布单，查看应用发布具体信息。

本节介绍了RBAC授权的用户指南。 操作场景 角色绑定（Role Binding）是将角色中定义的权限赋予一个或者一组用户。它包含若干主体（用户、组或服务账户）的列表和对这些主体所获得的角色的引用。 RoleBinding 在指定的名字空间中执行授权，而 ClusterRoleBinding 在集群范围执行授权。一个 RoleBinding 可以引用同一的名字空间中的任何 Role。 或者，一个 RoleBinding 可以引用某ClusterRole 并将该 ClusterRole 绑定到RoleBinding 所在的名字空间。如果你希望将某 ClusterRole 绑定到集群中所有名字空间，你要使⽤ClusterRoleBinding。 前提条件 已创建云容器引擎集群，具体操作请参见创建⼀个集群。若已有容器集群，⽆需重复操作。 操作步骤 注意 子账号来自于天翼云的 ，请提前创建好子用户，并需子用户登陆天翼云后才可以同步到云容器引擎控制台。 为⼦账号授权或调整子账号权限： 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要授权的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择安全管理 > 授权，进入角色授权页面。 4、点击管理权限操作单个子账号权限，或选择多个子账号后点击添加权限为多个子账号批量授权，点击后进入集群RBAC配置页面。 5、在集群RBAC配置页面中，可以对子账号已有的用户权限进行调整或为子账号新增权限，权限可以限定单个命名空间或不限制命名空间（集群权限），⽤户可设置的权限有内置权限（管理员、运维人员、开发人员、受限人员）和自定义权限，选择自定义权限可选择集群中创建的任意Cluster Role进行授权。 6、点击下⼀步完成授权。

本节介绍智算套件概述。 前提条件 已创建云容器引擎智算版集群。 套件介绍 套件名称 版本 套件说明 驱动管理 1.0.2 为GPU云主机或物理机的算力调度提供硬件驱动。 模型预热 1.8.0 将模型从对象存储预热到本地盘，大幅提升模型部署效率。 智算套件控制面引擎 1.0.5 提供高可用控制面，管理智算套件控制台正常运行。 故障诊断 1.0.3 为集群提供集群巡检、故障诊断等能力。 网络 1.0.3 为集群容器提供使用RDMA网络的能力，包括IB和RoCE。 弹性数据集 1.0.0 支持数据集版本管理，提供弹性加载能力。 弹性训练 1.0.5 为集群提供AI任务接入，兼容主流AI框架和工具，包括TensorFlow、PyTorch、Horovod、Spark等。 GPU安全容器 1.0.0 支持Kata安全容器运行时，满足业务高安全需求。 智能调度 1.0.9 为集群提供智能任务调度策略，可支持Gang、Capacity、Binpack/Spread和Queue等智能调度。 监控 1.0.7 为集群提供硬件监控能力，可采集GPU/NPU，显存等，支持可视化查看GPU的分配、使用和健康状态。

使用示例 pod中直接使用HostPath 使用kubectl连接集群，创建示例yaml文件hostpathpodexample.yaml： apiVersion: v1 kind: Pod metadata: name: testpd spec: containers: image: registry.k8s.io/testwebserver name: testcontainer volumeMounts: mountPath: /testpd name: testvolume volumes: name: testvolume hostPath: 主机节点上目录位置 path: /data 此字段为可选 type: Directory 执行以下命令，创建Pod kubectl apply f hostpathpodexample.yaml 查看创建的Pod： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“容器组”，在列表查看。 PV和PVC方式定义HostPath 使用kubectl连接集群，创建示例yaml文件hostpathpvexample.yaml: apiVersion: v1 kind: PersistentVolume metadata: name: hostpathpv labels: type: local spec: capacity: storage: 1Gi accessModes: ReadWriteOnce hostPath: path: "/data" apiVersion: v1 kind: PersistentVolumeClaim metadata: name: hostpathpvc spec: accessModes: ReadWriteOnce resources: requests: storage: 1Gi volumeName: "hostpathpv" 执行以下命令，创建PV、PVC kubectl apply f hostpathpvexample.yaml 查看创建的PV、PVC： 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”，在持久卷和持久卷声明列表查看。

本节介绍了云容器引擎的最佳实践：会话保持。 不使用会话保持 前提条件 创建一个nginx工作负载，并确保工作负载的实例个数大于1，工作负载不需要其他的额外特殊配置。 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意Session Affinity不需要设置，保持默认值即可。 测试验证 发起服务调用，在集群节点上执行这个命令发起对服务的100次调用 > for i in {1..100};do curl 10.96.116.221:80;done; 上述curl命令中的IP和端口来自如下地方： 观察工作负载日志，查看Pod实例的日志输出。 结论：服务请求会随机的转发到任一个Pod实例。 集群内请求会话保持 1、前提条件 创建一个nginx工作负载，同上。 创建一个ClusterIP类型的服务（Service）并关联到上述nginx工作负载，注意需要展开高级设置，并设置Session Affinity为客户端IP。 2、测试验证 发起服务调用，同上。观察工作负载日志，查看Pod实例的日志输出。 结论：服务请求会全部转发到某一个Pod实例，进行会话保持。 集群外NodePort访问请求会话保持 1、前提条件 创建一个nginx工作负载，同上。创建一个NodePort类型的服务（Service）并关联到上述nginx工作负载，指定一个合法的主机端口，注意需要展开高级设置，并设置Session Affinity为客户端IP。 2、测试验证 发起服务调用；在集群外执行这个命令发起对服务的100次调用 > for i in {1..100};do curl 10.142.232.160:30080;done; 上述curl命令中的IP可以是集群的vip或者集群任意节点IP，端口是服务（Service）中指定的主机端口。 观察工作负载日志，查看Pod实例的日志输出。 结论：集群外的请求会全部转发到某一个Pod实例，进行会话保持。

本节介绍了：创建一个应用集群——退订集群的用户指引。 在云容器引擎控制台，在集群选项卡可以点击 更多 > 退订对集群实例进行退订。 说明 退订容器集群，可选择删除集群订购时选择的IaaS资源，建议DELETE删除全部IaaS资源，否则需到对应的云产品控制台进行手动清理。

本节介绍网络的用户指南：集群网络概述。 集群网络分为主机和容器两个维度，主机位于VPC中使用VPC网络，容器网络则使用容器网络插件来管理。 节点网络 VPC为集群内主机分配IP地址，订购集群时选择VPC中的子网用于集群的主机网络，子网可用IP数量直接限制了集群节点规模。 容器网络 约束条件 容器网络CNI插件为Pod分配IP地址，云容器引擎提供的CNI插件均符合kubernetes容器网络模型，具体约束如下： 1.每个Pod都拥有一个独立IP地址，Pod内容器均共享一个网络命名空间； 2.任意Pod之间均可直接通信，无需NAT； 3.任意Pod与节点间均可直接通信，无需NAT。 网络插件 当前云容器引擎提供如下CNI插件： calico容器网络：使用calico IPIP模式。该模式下，calico依旧使用BGP分发节点的容器路由信息，但在节点网络基础上通过IPIP隧道技术构建独立于节点网络平面的容器网络平面，IPIP将发给容器的IP报文封装成发给目的节点的IP报文进行隧道传输； cubecni容器网络：是云原生网络方案，直接基于VPC网络中的弹性网卡和IP资源构建容器网络。Pod通过弹性网卡资源直接分配VPC的子网IP地址，无需额外指定虚拟Pod地址段。 Cubecni和Calico对比如下： 。 对比项 Cubecni Calico隧道模式 容器网络平面 构建Underlay网络，容器和节点均在同个网络平面，支持VPC内多集群Pod直接互通及VPC内直接互通 构建Overlay网络，基于集群节点网络构建 一层覆盖网络，不支持VPC内多集群Pod直接互通及VPC内直接互通 容器网络性能 无解封包开销，整体性能优于Overlay网络，其中Cubecni独占ENI模式性能无限接近主机 有解封包损耗 节点规模 不直接限制节点规模 受限于BGP Peer连接数等限制 网络访问控制 支持网络策略Network Policy，其中Cubecni独占ENi模式支持Pod粒度安全组配置 支持网络策略Network Policy 源地址审计 Pod访问VPC网络资源，源地址是容器IP，不经节点SNAT，便于审计 Pod访问VPC网络资源，需经节点SNAT，不便于审计 地址管理 无需按节点分配地址段，随用随分配，地址无浪费 每个节点提前分配虚拟地址段 ELB 支持ELB直通Pod，性能更优 不支持ELB直通Pod，需通过NodePort转发

对于在APM中监控的各类型应用,请按照本文所述的相应方法更新Java探针版本。 如何为虚拟机部署的应用更新探针？ 如果您需要更新虚拟机部署的应用Java探针版本，您需要在 应用接入 里面点击下载按钮，下载最新Java探针，替换掉旧版本的探针，然后重新启动应用即可。 如何为云容器引擎部署的应用更新探针？ 如果您需要更新容器服务应用的Java探针版本，在开启APM的基础上，重新部署工作负载即可。 1. 登录天翼云【云容器引擎】控制中心，在左侧导航栏选择集群，在右侧页面进入集群详情。 2. 在左侧导航栏选择工作负载 > 有状态/无状态，找到对应的工作负载。 3. 点击重新部署，选择需要的部署方式，点击确定。 如何为其他类型的应用更新探针？ 目前仅支持两种接入方式，其他类型正在扩充中，请关注产品动态的更新提醒。

本章节介绍如何通过镜像部署微服务应用到容器 概述 在微服务云应用平台中接入您的应用进行发布，所支持的介质类型大体上可分为制品（JAR/WAR/TAR包等）、镜像等，您可以按实际需求选择接入的方式。 本文介绍如何通过镜像部署微服务应用到容器。 通过镜像部署微服务应用到容器 前提条件 1. 您已开通微服务云应用平台 2. 您已订购一个云容器引擎实例 3. 您已订购一个nacos注册中心实例 创建环境和导入资源 在左侧导航栏，选择环境管理。在环境列表左上角点击创建环境。环境创建好后，将云容器引擎和nacos注册中心导入到环境中。 创建项目和应用 在左侧导航栏，选择应用列表。在应用列表点击新增项目。展开新增完成的项目，在应用管理下创建应用，技术栈选择 SpringCloud。 项目关联环境 展开项目，在环境管理下将步骤1创建的环境关联上。 创建容器应用实例并部署 基本信息 项目/应用：步骤2创建的应用 应用实例名称：无需修改，使用默认名称即可 技术栈版本：选择1.0.0j180jar 接入方式：选择镜像 应用实例版本：无需修改，使用默认版本即可 企业项目：选择default 部署配置 选择集群：选择步骤1导入到环境中的云容器引擎 镜像类型：选择Demo镜像（支持自购镜像仓库、Demo镜像和MSAP仓库镜像） 选择镜像：选择springcloudprovidernacos.jar镜像使用1.0.0版本 完成以上信息填写后，点击下一步进入到预览页面，确认信息无误后，点击创建按钮，完成应用实例创建。 应用实例创建完成后，直接点击查看实例详情按钮，到实例详情页面。点击上方发布应用实例按钮，进入到应用发布界面。点击右下角发布按钮，进入到发布单详情界面。等待发布单完成初始化后再点击发布按钮进行应用发布。应用开始发布后，可点击应用实例发布单，查看应用发布具体信息。

操作场景 CCE支持配置工作负载日志策略，便于日志的统一收集、管理和分析，以及按周期防爆处理。 本章节向您介绍如何采集容器标准输出日志。如果您需要通过配置日志策略的方式采集容器内路径日志，请参见采集容器内路径日志。 操作步骤 步骤 1 在创建工作负载时，添加容器后，展开“容器日志”。 步骤 2 保留默认配置，完成工作负载的创建。 步骤 3 查看日志。 工作负载创建完成后，访问nginx。进入工作负载详情页，单击右上角的“日志”按钮可查看日志详情。日志约需要等待5分钟查看。 说明：云容器引擎服务对接了应用运维管理服务AOM提供日志查看、检索功能。

插件卸载 1. 登录云容器引擎管理控制台。 2. 在集群列表页点击进入指定集群。 3. 进入主菜单“插件”点击“插件市场”，选择cstorcsi，点击“卸载”。

照通过kubectl命令行使用云盘快照 1、创建快照类（VolumeSnapshotClass） 使用kubectl连接集群，创建示例yaml文件vscexample.yaml： plaintext apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshotClass metadata: name: {名称} annotations: snapshot.storage.kubernetes.io/isdefaultclass: "false" 是否默认存储类 driver: disk.csi.cstor.com parameters: snapshotType: "STANDARD" 快照类型有STANDARD和FAST两种 快照存储库名字，当snapshotType为STANDARD时必填，当为FAST时无需填写 snapshotRepository: {仓库名} deletionPolicy: {删除策略} 执行以下命令，创建VolumeSnapshotClass： plaintext kubectl apply f vscexample.yaml 查看创建的VolumeSnapshotClass： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“快照与备份”，在快照类列表查看。 2、创建快照（VolumeSnapshot） 使用kubectl连接集群，创建示例yaml文件vsexample.yaml： plaintext apiVersion: snapshot.storage.k8s.io/v1 kind: VolumeSnapshot metadata: name: {名称} namespace: {命名空间} spec: volumeSnapshotClassName: {快照类} source: persistentVolumeClaimName: {PVCname} 执行以下命令，创建VolumeSnapshot： plaintext kubectl apply f vsexample.yaml 查看创建的快照： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“快照与备份”，在快照列表查看。 3、基于快照创建PVC 使用kubectl连接集群，创建示例yaml文件pvcvsexample.yaml： plaintext apiVersion: v1 kind: PersistentVolumeClaim metadata: name: {名称} namespace: {命名空间} spec: storageClassName: {存储类名称} dataSource: name: {VolumeSnapshot名称} kind: VolumeSnapshot apiGroup: snapshot.storage.k8s.io accessModes: {访问模式} resources: requests: storage: {容量} volumeMode: {卷模式} 执行以下命令，创建PVC： plaintext kubectl apply f pvcvsexample.yaml 查看创建的PVC： 登录“云容器引擎”管理控制台，在集群列表页点击进入指定集群，进入主菜单“存储”——“持久卷声明”，在列表查看。

本节介绍了POD联网使用案例的用户指南。 本文介绍如何在容器集群创建的pod中，实现访问公网。 准备工作 已创建云服务引擎集群； 已在容器集群中创建pod，该pod需要进行公网访问。 操作步骤 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段； 步骤二：购买弹性IP; 步骤三：购买NAT网关及配置路由； 步骤四：配置SNAT规则； 步骤五：pod内测试连通性。 步骤一：确定要访问公网的pod ip，确定其所属vpc的子网网段 1、首先确定容器集群部署所用网络插件类型，步骤如下 登录天翼云“云容器引擎”管理控制台； 选择指定资源池，进去集群列表； 点击进入指定集群； 在“集群信息”“基本信息”中查看网络插件； 2、确定访问公网的pod所属vpc子网网段 以无状态部署为例： “工作负载”“无状态”，选择命名空间，进入指定deployment； 进入deployment实例详情，查看pod列表； 如果网络插件是calico，那么记录实例所在节点ip： 如果网络插件是cubecni，那么记录pod ip： 在“虚拟私有云”“子网” 中，查看上述记录ip所属ip网段；

本文主要介绍如何采集Nginx日志。 Nginx日志是运维网站的重要信息，天翼云云日志服务支持通过Nginx分词模式快速配置Nginx日志采集规则。本文介绍如何通过云日志服务控制台创建Nginx接入配置。 前提条件 1. 登录云日志服务控制台。 2. 左侧菜单栏点击“日志接入”，进入接入管理页面。 3. 在“数据导入”模块中，点击“Nginx日志”。 4. 根据nginx服务部署模式，选择接入场景为“云主机场景”或者“云容器引擎”场景。以下步骤以云主机场景为例，云容器引擎场景可参考云容器引擎接入说明。 5. 选择目标日志项目和日志单元，单击下一步。 6. 在选择主机组页面，选择目标主机组。 7. 在采集配置步骤中，提取模式选择“nginx模板分词”，Nginx日志配置、正则表达式以及抽取结果的配置说明如下表。其余配置字段可参考接入云主机文本日志。 字段 说明 Nginx日志配置 此处填写Nginx日志模版，通常以logformat开头，Nginx日志模版配置可前往/etc/nginx/nginx.conf或 /usr/local/nginx/conf/nginx.conf查看。如： c logformat main '$remoteaddr $remoteuser [$timelocal] ' '"$request" $status $bodybytessent ' '"$httpreferer" "$httpuseragent"'; 正则表达式 将根据上面的 Nginx 日志模板自动生成日志提取正则表达式，如： c (S+)ss(S+)s[(d+S+d+:d+:d+:d+)s+S+]s"(S+)s+(S+)s+S+"s(S+)s(S+)s"([^"])"s"([^"])". 样例日志 正则表达式下方的样例日志中填写一条实际的 Nginx 日志，用于验证上述提取模式配置是否正确。 抽取结果 点击样例日志右方的验证按钮，验证通过后，可为每个字段设定名称或直接使用默认值。 8. 创建索引。默认开启全文索引，您也可以根据需要手动创建字段索引用于字段查询。 9. 点击完成，即可完成导入任务创建。等待1分钟左右，在查询日志界面能查询到日志，则说明导入成功。

插件名称 插件简介 CoreDNS域名解析（系统资源插件，必装） CoreDNS插件是一款通过链式插件的方式为Kubernetes提供域名解析服务的DNS服务器。 CCE容器存储（everest，必装） Everest是一个云原生容器存储系统，基于CSI为Kubernetes v1.15.6及以上版本集群对接云存储服务的能力。 CCE节点故障检测 nodeproblemdetector（简称：npd）是一款监控集群节点异常事件的插件，以及对接第三方监控平台功能的组件。它是一个在每个节点上运行的守护程序，可从不同的守护进程中搜集节点问题并将其报告给apiserver。nodeproblemdetector可以作为DaemonSet运行，也可以独立运行。 Kubernetes Dashboard Kubernetes Dashboard是Kubernetes集群基于Web的通用UI，集合了命令行可以操作的所有命令。它允许用户管理在集群中运行应用程序并对其进行故障排除，以及管理集群本身。 CCE集群弹性引擎 集群自动扩缩容插件autoscaler，是根据pod调度状态及资源使用情况对集群的工作节点进行自动扩容缩容的插件。 metricsserver MetricsServer是集群核心资源监控数据的聚合器。 CCE容器弹性引擎 ccehpacontroller插件是一款CCE自研的插件，能够基于CPU利用率、内存利用率等指标，对无状态工作负载进行弹性扩缩容。 prometheus（停止维护） Prometheus是一套开源的系统监控报警框架。在云容器引擎CCE中，支持以插件的方式快捷安装Prometheus。 Kubernetes Web终端（停止维护） webterminal是一款支持在Web界面上使用Kubectl的插件。它支持使用WebSocket通过浏览器连接Linux，提供灵活的接口便于集成到独立系统中，可直接作为一个服务连接，通过cmdb获取信息并登录服务器。 CCE AI套件（NVIDIA GPU） gpubeta插件是支持在容器中使用GPU显卡的设备管理插件，仅支持Nvidia驱动。 Volcano调度器 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。 nginxingress控制器 nginxingress为Service提供了可直接被集群外部访问的虚拟主机、负载均衡、SSL代理、HTTP路由等应用层转发功能。 节点本地域名解析加速 NodeLocal DNSCache通过在集群节点上作为守护程序集运行DNS缓存代理，提高集群DNS性能。

本节主要介绍功能特性 客户端/控制台上传镜像 客户端上传镜像，是指在安装了容器引擎客户端的机器上使用docker命令将镜像上传到容器镜像服务的镜像仓库。 从页面上传镜像，是指直接通过控制台页面将镜像上传到容器镜像服务的镜像仓库。 共享私有镜像 镜像上传后，您可以共享私有镜像给其他帐号，并授予下载该镜像的权限。 被共享的用户需要登录容器镜像服务控制台，在“我的镜像 > 他人共享”页面查看共享的镜像。被共享的用户单击镜像名称，可进入镜像详情页面查看镜像版本、下载指令等。 添加触发器 容器镜像服务可搭配云容器引擎CCE一起使用，实现镜像版本更新时自动更新使用该镜像的应用。您只需要为镜像添加一个触发器，通过触发器，可以在每次生成新的镜像版本时，自动执行更新动作，如：自动更新使用该镜像的应用。 组织管理 组织用于隔离镜像仓库，每个组织可对应一个公司或部门，将其拥有的镜像集中在该组织下。在不同的组织下，可以有同名的镜像。同一IAM用户可属于不同的组织。

本节介绍使用在离线混部插件安装与卸载的用户指南 通过安装或卸载在离线应用混部插件，您可以顺利开启或关闭混部能力。 适用场景 首次安装混部插件，启用混部能力。 需要卸载混部插件，关闭混部相关功能。 安装插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“安装”按钮进行安装混部插件。 2. 系统将自动开始部署混部插件，过程通常需要数分钟。 3. 部署完成后，页面状态会自动刷新为“已部署”。 卸载插件步骤 1. 登录云容器引擎控制台，选择指定集群后，在左侧菜单栏选择“混合部署混部插件维护”，点击“卸载”按钮进行卸载混部插件。 2. 系统将自动移除混部插件。 3. 卸载完成后，页面状态会变为“未安装”。

本文介绍弹性容器实例ECI的产品定义。 弹性容器实例（简称ECI）是基于天翼云自研的、敏捷安全的Serverless容器运行服务，具备极速启动、安全可靠、成本低的特点，完全免运维，按使用量付费。 产品概述 天翼云弹性容器实例ECI提供了多种部署方式，包括通过OpenAPI和控制台部署容器应用。此外，您还可以通过天翼云云容器引擎和 Serverless容器引擎产品部署业务，并无缝使用天翼云网络、存储等其它资源服务。无论是哪种部署方式，弹性容器实例ECI都将为您提供快速响应的容器运行环境，实现极高的成本效益。 在使用弹性容器实例ECI时，所有容器都基于完全隔离的资源，您可以按照应用场景的实际需求进行定制和管理，从而更好地支持您的业务发展。同时，弹性容器实例ECI提供了丰富的应用实例化配套服务，包括数据存储、负载均衡、弹性伸缩、监控告警等，从而可以为您提供可靠、稳定、高效的容器运行环境。 产品架构 弹性容器实例 ECI 向下基于天翼云计算、网络及存储构建坚实底座，容器镜像服务CRS 提供了容器镜像全生命周期的托管服务。向上无缝集成天翼云Serverless容器引擎服务，方便用户管理其业务负载。在应用形态上，适用于大数据计算、事件驱动、DevOps、AI大模型等各类应用场景。

本节介绍网络的用户指南：LoadBalancer类型Service 云容器引擎支持将Service通过负载均衡ELB向外暴露， 云容器引擎集群内置CCM（Cloud Controller Manager）插件，当Service的类型为LoadBalancer时，CCM插件会为Service配置负载均衡，并根据Service信息配置好负载均衡的后端服务器组、健康检查和监听规则等，使得用户可以通过负载均衡访问该Service。以下是使用负载均衡的步骤指引。 使用已有负载均衡暴露服务 前提条件 用户已提前在负载均衡控制台创建ELB实例，ELB实例需要与Service所在的容器集群在同一个VPC网络下。 注意事项 不同Service可以同时复用同一个负载均衡实例，复用同一个负载均衡实例需要避免不同Service使用相同的服务端口，否则存在监听配置被覆盖的情况 不能复用由CCM自动创建的或集群ApiServer使用的负载均衡实例 当Service删除时，使用已有的负载均衡不会被删除 集群Master节点不作为负载均衡实例的后端 操作步骤 1. 登录 云容器引擎 控制台，点击进入想要操作的集群，在左侧菜单选择“网络” “服务”； 2. 如下图，点击“新建”按钮新建服务，按照参数说明配置相关的参数； 服务访问方式：选择负载均衡 负载均衡：可根据业务需要选择私网访问或公网访问，集群内或同一VPC内访问建议选择私网访问即可；选择“使用已有负载均衡”；负载均衡实例列表会根据选择的私网/公网访问方式显示出对应的实例，选择想要使用的负载均衡实例即可 标签：根据需要可以为服务配置标签 注解：根据需要可以为服务配置注解 外部流量策略：Cluster或Local。Cluster策略下，集群所有可用工作节点都会挂载到负载均衡实例；Local策略下，只有Service对应的Pod所在节点会挂载到负载均衡实例 端口映射：配置好协议、容器端口及服务端口，其中容器端口为应用本身暴露的端口，服务端口则会作为负载均衡实例的监听端口 工作负载绑定：选择服务要关联的工作负载，也可以配置自定义标签关联 3. 创建服务后，在服务列表可以看到该服务，通过服务的集群外访问地址即可以访问该服务。

本文主要介绍环境 测试资源组的说明与使用约束 测试资源组包含共享资源组和私有资源组两种类型，共享资源组为系统默认提供，私有资源组需要自行创建。 共享资源组的执行节点已绑定弹性IP，当被测应用有网络访问限制时，建议创建私有资源组。 当并发大于10000或者40000QPS或者总带宽大于100Mb时，建议创建私有资源组。 JMeter测试任务只可以使用私有资源组。 创建私有资源组 1、登录性能测试控制台，在左侧导航栏中选择“测试资源”，单击“云容器CCE资源准备”。 2、（可选）首次使用时，请根据提示信息，授权性能测试创建私有资源组。 3、进入创建资源组页面后，如果是首次使用没有云容器引擎服务CCE集群，需要先执行步骤4创建集群然后再创建资源组。如果已有可用的云容器引擎服务CCE集群，直接执行步骤5创建资源组。 4、创建集群（使用IPv4场景）。 单击页面上方的“创建集群”，进入购买CCE集群页面。 说明 集群管理规模选择与执行节点个数相关，例如，需要20个执行节点，那么集群调试节点规模选择50节点即可满足业务需求。 CCE集群的网络模型建议选择“容器隧道网络”，容器网段和服务网段需要与被测对象保持一致。 单击“下一步：创建节点”，设置节点参数。 说明 节点规格至少为vCPU为4核，内存8GB。 操作系统需选择欧拉EulerOS。 创建的节点数量至少需要2台（1台调试节点、1台执行节点），具体数量由压测对象要求规格决定。例如，压测10万并发用户数，vCPU为4核，内存8GB的资源需要21个执行节点（1个调试节点，20个执行节点）。 当CCE集群节点与被测应用不在同一VPC网络时，建议CCE集群节点绑定弹性IP。可使用已有的弹性IP，如果没有弹性IP也可以选择自动创建，选中后将根据您的配置创建弹性IP，并自动为每个节点进行分配。当创建的弹性IP数量小于节点个数时，会将弹性IP随机绑定到节点上。 单击“下一步：安装插件”，默认选择即可。 单击“下一步：配置确认”，请检查配置，检查无误后，勾选“我已知晓上述限制”，单击“提交”等待集群创建，集群创建预计需要610分钟。创建成功后，返回性能测试控制台。 5、创建集群（使用IPv6场景）。 单击页面上方的“创建集群”，进入购买CCE集群页面。创建集群操作请参考“帮助中心 > 云容器引擎> 用户指南 > 集群管理 > 购买集群”，设置集群参数。 说明 集群管理规模选择与执行节点个数相关，请根据需要压测的并发用户数，创建对应规格的节点。例如，需要20个执行节点，那么创建集群时集群规模选择50节点即可满足业务需求。 CCE集群的网络模型建议选择“容器隧道网络”，容器网段和服务网段需要与被测对象保持一致。 如果使用IPv6功能，创建虚拟私有云时，默认子网需勾选“开启IPv6”。虚拟私有云开启IPv6功能后，将自动为子网分配IPv6网段，暂不支持自定义设置IPv6网段。该功能一旦开启，将不能关闭。 单击“下一步：创建节点”，选择“稍后添加”。 说明 使用IPv6功能时，不能在云容器引擎服务里直接创建节点，需要在弹性云主机服务里创建支持IPv6的节点后，再到云容器引擎服务里纳管节点。 单击“下一步：安装插件”，默认选择即可。 单击“下一步：配置确认”，请检查配置，检查无误后，勾选“我已知晓上述限制”，单击“提交”等待集群创建，集群创建预计需要610分钟。 6、创建节点（使用IPv6场景）。 单击页面左上角服务列表，搜索并进入“弹性云主机”页面，单击“创建弹性云主机”创建支持IPv6的节点，支持IPv6的节点规格请咨询弹性云主机服务技术支持，节点规格选择示例如下图。创建弹性云主机参数配置请参考“帮助中心 > 弹性云主机 > 快速入门 > 创建弹性云主机”。 说明 节点规格至少为vCPU为4核，内存8GB。 创建的节点数量至少需要2台（1台调试节点、1台执行节点），具体数量由压测对象要求规格决定。例如，压测10万并发用户数，vCPU为4核，内存8GB的资源需要21个执行节点（1个调试节点，20个执行节点）。 当CCE集群节点与被测应用不在同一VPC网络时，建议CCE集群节点绑定弹性IP。可使用已有的弹性IP，如果没有弹性IP也可以选择自动创建。自动创建弹性IP时，带宽设置尽可能选择较大值，否则可能影响压测效果。系统根据您的配置创建弹性IP，并自动为每个节点进行分配。当创建的弹性IP数量小于节点个数时，会将弹性IP随机绑定到节点上。 网络配置需选择“自动分配IPv6地址”。 节点创建成功后，单击页面左上角服务列表，搜索并进入“云容器引擎”页面，选择“资源管理 > 节点管理”，单击“纳管节点”，纳管已创建成功的节点。完成纳管节点后，返回性能测试服务控制台。 7、创建资源组。 在左侧导航栏中选择“测试资源”，单击“云容器CCE资源准备”。 参照下表设置基本信息。 创建私有资源组 参数 参数说明 资源组名称 新建私有资源组的名称，例如：Webtestdemo。 节点集群 在下拉框选择已创建的CCE集群。 调试节点 执行压测的调试机。调试节点在资源组创建成功后不可修改。 执行节点 执行压测的执行机，即在压测过程中能够提供自身性能数据的施压目标机器。 单击“创建”。

约束与限制 仅1.19及以上集群支持调小容器运行时和Kubelet组件使用的数据盘容量。 调整数据盘大小功能只支持云硬盘，不支持本地盘（本地盘仅在节点规格为“磁盘增强型”或“超高I/O型”时可选）。 如何选择合适的数据盘 在选择合适的数据盘大小时，需要结合以下考虑综合计算： 在拉取镜像过程中，会先从镜像仓库中下载镜像tar包然后解压，最后删除tar包保留镜像文件。在tar包的解压过程中，tar包和解压出来的镜像文件会同时存在，占用额外的存储空间，需要在计算所需的数据盘大小时额外注意。 在集群创建过程中，节点上可能会部署必装插件（如Everest插件、coredns插件等），这些插件会占用一定的空间，在计算数据盘大小时，需要为其预留大约2G的空间。 在应用运行过程中会产生日志，占用一定的空间，为保证业务正常运行，需要为每个Pod预留大约1G的空间。 OverlayFS类型 OverlayFS类型节点上的容器引擎和容器镜像空间默认占数据盘空间的90%（建议维持此值），这些容量全部用于dockersys分区，计算公式如下： 容器引擎和容器镜像空间：默认占数据盘空间的90%，其空间大小 数据盘空间 90% dockersys分区（/var/lib/docker路径）：容器引擎和容器镜像空间（默认占90%）都在/var/lib/docker目录下，其空间大小 数据盘空间 90% Kubelet组件和EmptyDir临时存储：占数据盘空间的10%，其空间大小 数据盘空间 10% 在OverlayFS类型的节点上，由于拉取镜像时，下载tar包后会存在解压过程，该过程中tar包和解压出来的镜像文件会同时存在于dockersys空间，会占用约2倍的镜像实际容量大小，等待解压完成后tar包会被删除。因此，在实际镜像拉取过程中，除去系统插件镜像占用的空间后，需要保证dockersys分区的剩余空间大于2倍的镜像实际容量。为保证容器能够正常运行，还需要在dockersys分区预留出相应的Pod容器空间，用于存放容器日志等相关文件。 因此在选择合适的数据盘时，需满足以下公式： dockersys分区容量 > 2镜像实际总容量 + 系统插件镜像总容量（约2G） + 容器数量 单个容器空间（每个容器需预留约1G日志空间） 说明 当容器日志选择默认的json.log形式输出时，会占用dockersys分区，若容器日志单独设置持久化存储，则不会占用dockersys空间，请根据实际情况估算单个容器空间。 例如：假设节点的存储类型是OverlayFS，节点数据盘大小为20G。根据上述计算公式，默认的容器引擎和容器镜像空间比例为90%，则dockersys分区盘占用：20G90% 18G，且在创建集群时集群必装插件可能会占用2G左右的空间。倘若此时您需要部署10G的镜像tar包，但是由于解压tar包时大约会占用20G的dockersys空间，再加上必装插件占用的空间，超出了dockersys剩余的空间大小，极有可能导致镜像拉取失败。

本节介绍云容器引擎的最佳实践： 容器中域名解析的最佳实践。 Pod的DNS解析行为 Kubernetes以Pod为最小可创建、管理、部署单元，Pod内部包含一个或一组共享namespace和cgroup的紧密关联的容器。容器内部的DNS解析行为与Pod的DNS解析行为概念上是对等的。 Pod中的DNS查询行为直接受Pod的/etc/resolv.conf配置文件的影响，Kubelet在拉起Pod时，会根据Pod规约中dnsPolicy的配置为Pod生成/etc/resolv.conf配置。 默认情况下，Pod的dnsPolicy设置为clusterFirst, Pod的/etc/resolv.conf值类似: nameserver 172.20.0.10 search .svc.cluster.local svc.cluster.local cluster.local options ndots:5 各字段解释如下: nameserver : 域名解析服务器 search : 域名查找后缀规则，会在 .svc.cluster.local svc.cluster.local cluster.local三个域中搜索匹配的记录 options : 域名解析选项，KV值格式，典型的有ndots，表示解析的域名字符串内的点字符数量超过ndots值，则认为是完整域名，直接解析，如不足，则追加.svc.cluster.local后缀 默认情况下, nameserver值为云容器引擎内置的CoreDNS service ClusterIP, Kubernetes在CoreDNS中为普通Service赋予一个形如 mysvc.mynamespace.svc.clusterdomain.example的DNS A记录,该名称会解析成Service对应的clusterIP。 Pod访问集群内部Service域名时，根据域名后缀规则依次查询Service名称，获得Service对应的ClusterIP。 Pod访问集群外部域名时，根据Pod规约的dnsPolicy值不同，使用Pod所在节点配置的DNS或者使用CoreDNS所在节点的配置DNS服务器进行解析。

本文主要介绍云日志服务的日志管理概述。 登录云日志服务控制台，您可在日志管理页查看资源统计、日志应用、日志项目、日志单元等信息。 资源统计 资源统计展示当前账号、当前资源池下，所有日志的标准存储量、读写流量、加工流量与转储流量，以及这些指标的日环比数据。 详细信息，请参考资源统计。 日志应用 当前支持接入云主机应用文本日志与云容器引擎应用日志。详情请见接入云主机文本日志与接入云容器引擎应用日志。 日志项目列表 可查看当前创建的所有日志项目与日志单元，并可进行新建、收藏等操作。详情请见管理日志项目与管理日志单元。

本文介绍如何设置应用访问策略。 在实际环境中，对服务的访问会有两种来源：集群内部的程序、集群外部。云容器引擎提供ClusterIP和Nodeport两种访问方式。 操作步骤 1.进入应用创建流程中的【添加服务】步骤>点击【添加服务】，填写相应的配置参数，配置服务参数说明如下： 参数 参数说明 服务名称 新建服务的名称 服务协议簇 分为IPv4与IPv6两种类型的服务协议簇 访问方式 “集群内访问 ( ClusterIP )”、“节点访问（Nodeport）” 协议 TCP/UDP 容器端口 容器中应用启动监听的端口 访问端口 映射到容器的应用端口 NodePort 节点上 2.单击【确认】，完成服务的创建。

本节介绍了通过kubectl访问集群的用户指南。 前提条件 您已经创建了一个天翼云的账号，并且有一个云容器引擎集群。 您已经安装并配置好了kubectl工具。如果尚未安装，请参考安装和设置kubectl。 获取集群的访问凭证 登录云容器引擎控制台，单击集群名称进入集群。 在集群信息页中，点击连接信息。 点击内网访问，复制kubeconfig文件内容，将该内容复制到$HOME/.kube/config文件下。 配置kubectl 打开终端，设置KUBECONFIG环境变量，使kubectl使用正确的配置文件： plaintext export KUBECONFIG$HOME/.kube/config 验证配置文件是否正确： plaintext kubectl config view 这将显示当前kubeconfig文件的内容，确保包含您下载的集群配置信息。 验证连接 使用以下命令验证与Kubernetes集群的连接： plaintext kubectl clusterinfo 您应该看到集群控制平面和服务的相关信息。 列出所有命名空间以确认kubectl与集群连接正常： plaintext kubectl get namespaces 成为第一个赞同者

本章节介绍如何在服务网格中使用本地限流 前提条件 1. 已开通云容器引擎，至少有一个云容器引擎集群实例。产品入口：云容器引擎。 2. 开通天翼云服务网格实例。 操作步骤 我们以bookinfo应用为例演示本地限流能力，首先在default命名空间部署bookinfo应用。 然后在default命名空间部署针对productpage服务的限流策略，token数量最大为5，每2秒重新填充5个token： apiVersion: istio.ctyun.cn/v1beta1 kind: LocalRateLimiter metadata: name: productpagelimit spec: workloadSelector: 匹配工作负载 labels: app: productpage context: SIDECARINBOUND statPrefix: httplocalratelimiter configs: name: productpage routeConfig: vhost: name: 'inboundhttp9080' rateLimitConfig: tokenBucket: maxTokens: 5 tokensPerFill: 5 fillInterval: 2s filterEnabled: runtimeKey: localratelimitenabled defaultValue: numerator: 100 denominator: HUNDRED filterEnforced: runtimeKey: localratelimitenforced defaultValue: numerator: 100 denominator: HUNDRED responseHeadersToAdd: appendAction: OVERWRITEIFEXISTSORADD header: key: xlocalratelimit value: 'true' 我们使用gostresstesting工具验证效果，如下图所示，结果状态码中有200和429（请求被限流）；200的个数每2秒增加5个，符合我们设定的2秒重新填充5个token的设定；429状态码在持续增加。 单独请求productpage服务可以看到请求被限流的情况：

本节介绍了容器镜像服务常见问题:计费类。 容器镜像服务是否收费？ 容器镜像服务分为个人版和企业版，目前个人版免费，企业版按实例数收费。 容器镜像服务企业版支持什么规格？ 企业版提供标准规格，相比个人版（3个命名空间限额，100个镜像仓库限额，10G存储空间），企业版（15个命名空间限额，1000个镜像仓库限额，专属对象存储）更符合企业需要，并且企业版支持订购时增加额外的限额。

3、创建工作负载 使用kubectl连接集群，创建示例yaml文件stsexample.yaml： plaintext apiVersion: "apps/v1" kind: "StatefulSet" metadata: name: "hpfstest" namespace: "default" spec: podManagementPolicy: "OrderedReady" replicas: 1 revisionHistoryLimit: 10 serviceName: "" template: spec: containers: image: "nginx:1.25alpine" imagePullPolicy: "IfNotPresent" name: "container1" resources: limits: cpu: "100m" memory: "256Mi" requests: cpu: "100m" memory: "256Mi" terminationMessagePath: "/dev/terminationlog" terminationMessagePolicy: "File" volumeMounts: mountPath: "/ccetmp" name: "volume1" dnsPolicy: "ClusterFirst" restartPolicy: "Always" schedulerName: "defaultscheduler" securityContext: {} terminationGracePeriodSeconds: 30 volumes: name: "volume1" persistentVolumeClaim: claimName: {YOURPVCNAME} 替换为步骤2中的PVC名称 updateStrategy: rollingUpdate: partition: 0 type: "RollingUpdate" 执行以下命令，创建StatefulSet plaintext kubectl apply f stsexample.yaml 查看创建的有状态负载：登录“云容器引擎”管理控制台；在集群列表页点击进入指定集群；进入主菜单“工作负载”——“有状态”，在列表查看。 验证数据持久化 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“工作负载”——“有状态”，进入负载详情； 在Pod列表页，选择“远程登录”，进入到容器内执行以下命令： 1、向/ccetmp 目录下写一个文件，执行echo "Hello World" > /ccetmp/test.log 2、查看/ccetmp目录下文件，执行ls /ccetmp，预期结果如下: plaintext test.log 退出“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常； 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /ccsetmp/test.log，预期结果如下： plaintext Hello World 以上步骤说明，pod删除重建后，重新挂载存储卷，数据仍然存在， 说明数据可持久化保存。

通过在天翼云Prometheus监控服务中开启默认服务发现功能，您可以采集云容器引擎中符合Prometheus默认采集规则的监控指标，以进行集群运维和性能分析。 使用限制 仅支持容器环境实例。 相关费用 使用默认服务发现将产生自定义指标相关费用。更多信息，请参见计费说明。 前提条件 已创建容器环境实例，即容器集群。 已通过接入中心接入集群。详情请查看容器可观测接入。 注意 1. 如果集群不是从接入中心接入Prometheus，默认服务发现功能会开启失败。 2. 容器集群中需要暴露监控指标的Pod需要配置符合Prometheus默认采集规则的Annotations。 操作指南 步骤一：开启默认服务发现 1. 登录云容器引擎管理控制台。 2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择工作负载 > 容器组。 3. 点击目标Pod操作列的编辑，新增以下Annotations注解。 annotations: prometheus.io/path: /metrics 指标暴露的HTTP Path。 prometheus.io/port: "xxxx" 指标暴露端口。 prometheus.io/scrape: "true" 是否抓取当前Pod的指标。 4. 点击更新。 步骤二：开启默认服务发现 1. 登录应用性能监控APM控制台，点击左侧菜单栏Prometheus监控。 2. 在Prometheus监控菜单下，点击接入管理。 3. 在已接入环境页签，查看容器环境列表，点击目标容器环境操作列的指标采集按钮，进入指标采集页面。 4. 在指标采集页签，点击默认服务发现，进入默认服务发现的配置页面。 5. 在默认服务发现页面，点击功能启用按钮，开启默认服务发现能力。后续在指标采集页签中，即可查看当前扫描的符合默认服务发现的所有Pod列表。

为了更好的采集体验，LTS会不断更新ICAgent版本。当系统提示您有新的ICAgent版本时，您可以按照如下操作步骤进行升级。 云日志服务主机管理界面仅支持升级安装在Linux环境中ICAgent，不支持升级Windows环境中的ICAgent。 操作步骤 1. 在云日志服务管理控制台，单击“主机管理”。 2. 单击“主机”切换至主机页签。 3. 选择“普通主机”，在主机列表中选中一个或多个待升级ICAgent前的复选框，单击“升级ICAgent”。 选择“CCE集群”，在右侧下拉框中，选择待升级ICAgent的集群，单击“升级ICAgent”。 说明 首次创建的CCE集群，默认集群下的主机已安装了ICAgent 且上报日志到AOM，采集容器标准输出到AOM的开关处于开启状态；如需将日志上报至LTS则执行升级ICAgent操作时，关闭采集容器标准输出到AOM的开关。建议使用“接入日志 > 云服务接入 > 云容器引擎CCE”直接采集容器标准输出到LTS，不推荐采集到AOM。 CCE集群ID（ClusterID）： 每个集群为固定的ID。 升级ICAgent时，LTS将为您的CCE集群创建对应的日志组和主机组。且该日志组和主机组的名称为k8slog{ClusterID}。您可以创建接入配置（云服务接入>云容器引擎CCE）将当前CCE集群的日志接入到该日志组。 当集群里的主机未安装ICAgent或ICAgent版本过低时，单击“升级ICAgent”操作，可对该集群里的所有主机安装ICAgent。 4. 在“升级ICAgent”对话框中单击“确定”。 ICAgent开始升级，升级ICAgent预计需要1分钟左右，请耐心等待。待ICAgent的状态由“升级中”变为“运行”时，表示升级成功。 说明 如果升级后，界面显示ICAgent状态异常或者其它升级失败场景，请直接登录节点使用安装命令重新安装ICAgent即可（覆盖式安装，无需卸载操作）。

场景优势 低门槛 通用治理能力沉淀到框架，开发人员只需聚焦业务 简单易用 提供GUI一站式治理控制台 准实时 运行状态实时监控，配置下发实时生效 建议搭配使用： 弹性云主机、云容器引擎、应用运维管理

本节主要介绍计费项与产品价格。 云容器引擎（CCE）在使用过程中涉及“容器管理集群”和“IaaS基础设施”两个部分的费用： 1、 容器管理集群： 容器集群及控制节点的资源费用。按照每个集群的规格（是否高可用）、集群规模（最大支持的工作节点数）的差异收取不同的费用。 说明 集群规模是指用户在该集群下可创建或购买的云主机/物理机最大总量。 容器管理集群价格： 集群类型 高可用 集群管理规模 按小时（元/小时） 包月（元/月） 混合集群 否 50节点 0.97 421 混合集群 否 200节点 1.88 800 混合集群 否 1000节点 3.69 1557 混合集群 是 50节点 2.91 1263 混合集群 是 200节点 5.64 2400 混合集群 是 1000节点 11.07 4671 混合集群 是 2000节点 20.93 9780.9 2、IaaS基础设施： 集群工作节点所使用的IaaS基础设施费用，包括集群创建使用过程中自动创建或手动加入的相关资源，如云主机、云硬盘、弹性IP/带宽、负载均衡等，价格参照天翼云相应产品价格说明。