本章节介绍如何将部署在云容器引擎的应用通过安装cubems插件实现应用接入 概述 部署在云容器引擎的应用可以直接通过安装cubems插件实现应用接入。 环境规划 1.开通微服务云应用平台MSAP 开通 微服务云应用平台。 2.环境信息配置 使用微服务治理中心前，需要为应用提前规划环境、项目和分组信息。您可通过进入微服务治理控制台>应用治理>应用接入>云容器引擎进行配置，也可跳转至微服务云应用平台创建。 网络通路 1.DNS配置 上报域名为内网域名，需要在DNS配置文件（/etc/resolv.conf）首行添加nameserver 100.95.0.1 才生效。 2.创建VPC终端节点 使用微服务治理中心前，需要在目标VPC中创建终端节点。创建路径：微服务治理中心控制台>应用治理>应用接入>ECS集群>网络通路。 进入应用接入页面。 点击云容器引擎，选择VPC，点击创建终端节点。 点击确定授权并创建VPC终端节点。 点击确定后，刷新页面，显示VPC的终端节点状态为已创建。

本节介绍了云容器引擎的最佳实践：ELB访问控制配置。 应用场景 云容器引擎实例支持通过EIP+ELB暴露APIServer服务，用户可通过配置ELB的访问控制限制访问APIServer的入口流量。 注意事项 若配置ELB访问控制白名单，请放通以下流量，确保CCE控制台正常访问集群。 端口 协议 源地址 说明 全部 TCP 198.19.128.0/20 VPCE内网地址段，控制台通过VPCE访问APIServer

本节介绍了云容器引擎的最佳实践：集群网络地址段规划实践。 在云容器引擎创建集群时，需要根据具体业务需求规划VPC大小和数量、子网大小和数量、容器网段和服务网段。本文介绍集群各类地址作用，以及如何规划地址段。 约束与限制 使用VPN方式访问集群时，需注意VPN网络与集群所在的VPC网段、容器网段和服务网段不能冲突。 集群各网段基本概念 VPC网段 虚拟私有云（Virtual Private Cloud，VPC）是隔离的、私密的网络环境，可以自定义网络地址、路由表、安全组等。同时，虚拟私有云提供丰富的网络连接，可以满足云上虚拟私有云互访、公网访问、通过专线或者VPN与线下IDC互通等网络场景。 子网网段 云资源（例如云服务器、数据库服务等）须部署在子网内，同子网内网络默认互通，同VPC下不同子网之间默认互通。子网网段创建后无法修改，请合理规划网络。 下图所示，VPC网段结构： 容器网段（Pod网段） 订购集群时，可指定容器网段（即Pod网段）。针对选择的网络插件，容器网段有不同限制： 1、Calico IPIP隧道网络： 可指定一个私有地址段作为容器网段，该地址段仅在集群内有效。网段大小影响后续可添加节点数及可创建Pod数上线，建议使用大网段，例如172.16.0.0/16，如下所示： VPC网段 容器网段 Service网段 最大可分配Pod地址数 192.168.0.0/16 172.16.0.0/16 10.96.0.0/16 65536 容器网段不能与节点所在的VPC网段重叠。例如节点使用子网网段192.168.1.0/24，所属VPC网段为192.168.0.0/16，则不能使用与192.168.0.0/16重叠的网段作为容器网段。

本节介绍云容器引擎的最佳实践：CoreDNS配置优化实践。 概述 DNS作为k8s的关键基础服务，在配置不合理，集群规模较大时，DNS容易出现解析超时、解析失败等现象。本文介绍Kubernetes集群中CoreDNS配置优化的最佳实践，帮助您避免此类问题。 前提条件 创建一个云容器引擎集群，具体操作步骤请参见新建云容器引擎集群。 通过kubectl连接集群，详情请参见通过kubectl连接集群。 安装CoreDNS插件（推荐安装CoreDNS最新版本），详情请参见CoreDNS介绍。 实践方案 CoreDNS配置优化方案包含客户端和服务端的实践。 在客户端，您可以通过使用合适的容器镜像，优化域名解析请求，增加节点DNS缓存等方式来降低解析时延和减少解析异常。 优化域名解析请求 选择合适的容器镜像 避免IPVS缺陷导致的DNS概率性解析超时 使用节点DNS缓存（NodeLocal DNSCache） 谨慎调整节点的DNS配置 在服务端，您可以合理的调整CoreDNS部署状态或者调整CoreDNS配置来提升集群CoreDNS的可用性和吞吐量。 监控CoreDNS运行状态 合理调整CoreDNS部署状态 合理配置CoreDNS

本节主要介绍云容器引擎产品的API中资源池ID列表。 云容器引擎的资源池列表 资源池 资源池ID（Region ID） 专有版 托管版 华东1 bb9fdb42056f11eda1610242ac110002 √ 华北2 200000001852 √ √ 西南1 200000002368 √ √ 华南2 200000002530 √ √ 上海36 200000001790 √ 青岛20 200000001703 √ 长沙42 200000002401 √ √ 南昌5 200000002527 √ 武汉41 200000001781 √ √ 杭州7 200000003329 √ √ 太原4 200000002689 √ 郑州5 200000002586 √ 西安7 200000001851 √ √ 芜湖4 200000003327 √ 呼和浩特3 200000003573 √ 乌鲁木齐7 200000004098 √ √ 庆阳2 200000003664 √

本文介绍如何使用云容器引擎Serverless版。 本文介绍如何通过控制台创建Serverless集群、使用镜像部署应用以及查看容器信息。 前提条件 已开通并授权云容器引擎。 已登录弹性容器实例控制台开通服务。 操作步骤 创建Serverless集群 1.登录云容器引擎控制台。 2.在控制台的左侧导航栏中点击“集群”。 3.在集群列表页面中，单击页面右上角的“创建集群”，进入订购页后单击“Serverless版”。 4.在订购Serverless容器引擎页面中，完成集群的基本配置。部分配置说明如下： 配置项 描述 实例名称 填写集群的实例名称 企业项目 按需选择企业项目 计费模式 默认使用按需计费模式 Kubernetes版本 显示当前Serverless集群支持的Kubernetes版本 部署方式 支持单可用区部署、多可用区部署 可用区 按需选择可用区 API Server访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。同时，您也可以选择是否使用EIP暴露API Server，选择不开放时，则无法通过外网访问集群API Server 虚拟私有云 集群所使用的VPC，支持使用已有的VPC或创建虚拟私有云 所在子网 集群所使用的子网，支持使用已有的子网或创建子网 默认安全组 安全组是一种虚拟防火墙，能够控制实例的出入站流量，Serverless集群会自动生成一条默认的安全组，以确保容器之间能正常通信 启用IPv6 启用IPv6双栈将创建双栈Serverless集群 Service CIDR 设置Service CIDR。Service网段不能与VPC及VPC内已有集群使用的网段重复，并且Service地址段也不能和Pod地址段重复。集群创建成功后不能再修改该网段 自定义证书SAN 按需添加自定义的IP或域名，以实现对客户端的访问控制 集群本地域名 填写集群的本地域名 集群删除保护 设置是否启用集群删除保护，防止通过控制台或者API误删除集群 集群标签 为集群绑定标签，作为云资源的标识 集群描述 按需对集群进行描述说明 时区 集群所要使用的时区 5.集群配置完成后，单击“下一步”。 6.按需进行插件配置，配置完成后，单击“确认配置”。 7.确定产品名称、基础配置以及费用无误后提交订单。 8.集群创建成功后，您可以进入云容器引擎控制台，在集群选项卡中可以看到新创建的集群。点击集群名称进入集群详情界面，可以查看集群相关信息。

容器与中间件 云服务名称 作用范围 系统策略名称 系统策略描述 分布式消息服务Kafka 全局 KAFKA viewer 只读用户 分布式消息服务Kafka 全局 KAFKA user 管理员 分布式消息服务Kafka 全局 KAFKA admin 超级管理员 分布式消息服务RabbitMQ 全局 AMQP viewer 只读用户 分布式消息服务RabbitMQ 资源池 AMQP user 管理员 分布式消息服务RabbitMQ 全局 AMQP admin 超级管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0只读管理员 4.0只读管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0超级管理员 4.0超级管理员 分布式消息服务RabbitMQ 全局 RabbitMQ4.0普通管理员 4.0普通管理员 分布式消息服务RocketMQ 全局 MQ2 viewer 只读用户 容器云服务引擎CCSE 全局 MQ2 user 管理员 容器云服务引擎CCSE 全局 MQ2 admin 超级管理员 容器云服务引擎CCSE 全局 RocketMQMQ2 viewer 只读访问分布式消息服务RocketMQMQ2的权限 容器云服务引擎CCSE 全局 RocketMQMQ2 admin 分布式消息服务RocketMQMQ2管理权限 容器云服务引擎CCSE 全局 CCSE admin CCSE超级管理员权限 容器云服务引擎CCSE 全局 CCSE user CCSE管理员权限 容器云服务引擎CCSE 全局 CCSE viewer CCSE只读用户权限 微服务应用平台MSAP 全局 MSAP管理员 管理员策略 微服务应用平台MSAP 全局 MSAP普通用户 MSAP普通用户策略

本文主要介绍安全容器与普通容器。 安全容器和普通容器相比，它最主要的区别是每个容器（准确地说是pod）都运行在一个单独的微型虚拟机中，拥有独立的操作系统内核，以及虚拟化层的安全隔离。因为云容器引擎CCE的容器安全隔离比独立拥有私有Kubernetes集群有更严格的要求。通过安全容器，不同容器之间的内核、计算资源、网络都是隔离开的，保护了Pod的资源和数据不被其他Pod抢占和窃取。 CCE Turbo集群下单节点支持普通容器和安全容器，您可以根据业务需求选择使用，两者的区别如下： 分类 安全容器 Docker普通容器 Containerd普通容器 容器所在节点类型 物理机 虚拟机 虚拟机 容器引擎 Containerd Docker Containerd 容器运行时 Kata runC runC 容器内核 独占内核 与宿主机共享内核 与宿主机共享内核 容器隔离方式 轻量虚拟机 Cgroups和Namespace Cgroups和Namespace 容器引擎存储驱动 Device Mapper OverlayFS2 OverlayFS Pod Overhead 内存：100MiBCPU：0.1CorePod Overhead为安全容器本身资源占用。比如Pod申请的limits.cpu 0.5Core和limits.memory 256MiB，那么该Pod最终会申请0.6Core的CPU和356MiB的内存。 无 无 最小规格 内存：256MiBCPU：0.25Core安全容器的CPU核数（单位为Core）与内存（单位为GiB）配比建议在1:1至1:8之间。例如CPU为0.5Core，则内存范围建议在512MiB4GiB间。 无 无 容器引擎命令行 crictl docker crictl Pod的计算资源 CPU和内存的request和limit必须一致 CPU和内存的request和limit可以不一致 CPU和内存的request和limit可以不一致 hostnetwork 不支持 支持 支持

本章主要介绍 步骤六：部署应用（CCE篇） 部署服务提供可视化、自动化部署服务。提供丰富的部署步骤，有助于用户制定标准的部署流程，降低部署成本，提升发布效率。 为了可以更快的、更稳定的持续地交付软件，开发团队需要一部分自助化部署服务的能力，以减轻部分后续维护工作。 本章节介绍开发人员Chris如何将发布件部署至云容器引擎。若您需要了解如何署至ECS，请参照步骤六：部署应用（ECS篇）操作。 预置应用简介 样例项目中预置了如下表所示的3个应用，本章节以应用“phoenixcdcce”为例进行讲解。 预置应用 预置应用 应用说明 phoenixsamplestandalone 部署至ECS流程对应的应用。 phoenixcdcce 部署至CCE流程对应的应用。 phoenixsampletest 部署至测试环境对应的应用。 购买并配置云容器引擎 本文档中使用的是云容器引擎CCE。 步骤 1 登录云容器引擎服务器，购买CCE集群。 其中集群及节点的必要配置建议参照下表，表中未涉及的可根据实际情况选择。 CCE集群购买配置 配置分类 配置项 配置建议 ::: 基础配置 计费模式 选择“按需计费”。 基础配置 集群版本 根据需要选择，建议选择最新版本。 网络配置 网络模型 选择“容器隧道网络”。 网络配置 虚拟私有云 选择已有的虚拟私有云，若列表中没有合适的选项，单击“创建虚拟私有云”完成创建。 网络配置 控制节点子网 选择已有的子网，若列表中合适的选项，单击“创建子网”完成创建。 网络配置 容器网段 勾选“自动设置网段”。 节点配置 配置分类 配置项 配置建议 ::: 计算配置 计费模式 选择“按需计费”。 计算配置 节点类型 选择“弹性云服务器虚拟机”。 计算配置 节点规格 选择“通用型”、2核8G及以上规格即可。 计算配置 容器引擎 选择“Docker”。 计算配置 操作系统 选择公共镜像中的Euler镜像。 计算配置 节点名称 输入自定义名称 。 计算配置 登录方式 选择“密码”。 计算配置 密码 输入自定义密码 。 网络配置 节点IP 选择“随机分配”。 网络配置 弹性公网IP 选择“自动创建”。

本节介绍云容器引擎的最佳实践：使用hostAliases配置Pod /etc/hosts。 使用场景 DNS配置不满足要求时，可以通过配置 hostAliases 向pod的“/etc/hosts”文件中添加域名解析条目。 操作步骤 进入云容器引擎集群控制台 选择工作负载>无状态>创建Deployment 点击高级配置，设置主机别名配置 远程登录pod查看配置的 hostAliases 是否正常，执行如下命令：

本节介绍了云容器引擎的最佳实践：某量子云平台迁移项目。 项目概述 某量子云平台对外提供量子计算机实验/实操服务，其应用架构由他云迁移到天翼云，通过天翼云实现应用组件化和容器化，通过K8S统一部署和管理业务。 该平台包括官网、博客网站、web管理后台等系统。 容器支撑方案 迁移使用的容器架构图如下： 研发迭代更高效：使用crs镜像服务一键部署应用 便于扩容快弹性高：使用HPA弹缩pod 解决内外网互连互通：使用Nginx+Spring GateWay实现内外网流量隔离和路由转发 底层资源占用少：使用csi插件动态挂载sfs存储 助力运维更便捷：使用云日志插件采集容器日志 最终效果 2023年6月迁移至天翼云试运行，12月已付费容器并运营至今，现业务稳定运行。

场景说明 云原生容器引擎、FaaS函数计算引擎、智算平台根据波峰波谷按需启动ECI实例来满足用户降本增效提速的需求。 能够实现 多种计算引擎统一调度：提供 Pod级别的运行底座支撑不同计算引擎调度。 快速弹性扩缩 ：满足用户流量波峰波谷的资源快速扩缩。

本文介绍云容器引擎的规格。 当前容器集群支持以下规格，具体以当前资源池页面显示为准： 集群规模 Kubernetes版本 Worker节点规格 Worker节点挂载云硬盘类型 基础版 最大容纳50节点 1.15/1.18 2C4G、4C8G、8C32G、16C64G 普通IO、高IO 高级版 最大容纳50节点 1.15/1.18 2C4G、4C8G、8C32G、16C64G、32C128G 普通IO、高IO

本节介绍了：节点容器运行时的用户指南。 容器运行时介绍 容器运行时是负责管理节点上容器的生命周期。Kubernetes通过 Kubelet 的 Container Runtime Interface（CRI）与容器运行时交互，控制容器的创建与管理。 基于 Containerd性能更好、更稳定、占用资源更少等优点，云容器引擎选择 Containerd作为容器运行时的解决方案。 云容器引擎早期在 Kubernetes v1.23上还支持选择 Docker，当前则需提工单申请，未来会移除对 Docker的支持，强烈建议您使用 Containerd或迁移到 Containerd。 云容器引擎选择 Containerd作为容器运行时的解决方案，对比 Docker，Containerd的优点如下： 1. 调用链更短 Containerd： Kubelet > CRI plugin（在 Containerd中）> Containerd Docker： K8s v1.23及以下版本：Kubelet > Dockershim（在 Kubelet中）> Docker > Containerd K8s v1.24及以上版本：Kubelet > cridockerd > Docker > Containerd 2. CPU和内存占用更少 3. 稳定性和安全性更好 4. Pod 启动更快 Containerd 和 Docker的常用命令对比 Containerd 支持两种命令行工具：ctr和 crictl。其中，ctr是 Containerd 的客户端工具，crictl是兼容 CRI 的容器运行时的命令行工具。crictl 可以用来检查和调试 Kubernetes节点上容器运行时和应用程序。 操作 Docker crictl ctr 上传镜像 docker push crictl push ctr n k8s.io i push 拉取镜像 docker pull crictl pull ctr n k8s.io i pull 查看镜像详情 docker inspect crictl inspecti 无 列出本地镜像列表 docker images crictl images ctr n k8s.io i ls 删除本地镜像 docker rmi crictl rmi ctr n k8s.io i rm 创建容器 docker create crictl create crt n k8s.io c create 启动容器 docker start crictl start crt n k8s.io run 连接容器 docker attach crictl attach 无 进入容器 docker exec crictl exec 无 查看容器详情 docker inspect crictl inspect crt n k8s.io c info 查看容器日志 docker logs crictl logs 无 查看容器资源使用情况 docker stats crictl stats 无 更新容器资源限制 docker update crictl update 无 停止容器 docker stop crictl stop 无 列出容器列表 docker ps crictl ps crt n k8s.io c ls 删除容器 docker rm crictl rm crt n k8s.io c del 启动 Pod 无 crictl start 无 运行 Pod 无 crictl runp 无 查看 Pod详情 无 crictl inspectp 无 停止 Pod 无 crictl stopp 无 列出 Pod列表 无 crictl pods 无 删除 Pod 无 crictl rmp 无

本文主要介绍入门指引。 本文旨在帮助您了解云容器引擎（Cloud Container Engine，简称CCE）的基本使用流程以及相关的常见问题，帮助您快速上手容器服务。 使用步骤 完整的云容器引擎使用流程包含以下步骤： 图 CCE使用流程 步骤 1 注册帐号，并授予IAM用户相应的权限。 帐号无需授权即可拥有所有权限，由帐号创建的IAM子用户需要授予相应的权限才能使用CCE。 步骤 2 创建集群。 如果您需要创建普通Kubernetes集群，请参见 集群。 步骤 3 通过镜像或编排模板创建工作负载（应用）。 步骤 4 查看部署后工作负载的状态和日志信息，对工作负载进行相应的升级、伸缩和监控等。 常见问题 1. 我不懂kubernetes，是否可以使用CCE？ 可以使用，CCE管理控制台操作简单，并提供新手入门指导文档，您可以快速了解并使用CCE。 2. 我不会制作镜像，是否可以使用CCE？ CCE除了提供“我的镜像”功能用于存储您自行创建的镜像外，您还可以基于开源镜像创建容器应用。 3. 如何使用CCE创建工作负载？ 创建工作负载非常简单，您只需要先创建一个集群，再创建工作负载即可。详细步骤请参考 ）。 4. 如何创建一个可以在公网访问的工作负载？ 云容器引擎为满足多种复杂场景下工作负载间的互相访问，提供了不同的访问方式，从而满足不同场景提供不同访问通道。 5. 我有多个工作负载（在同个集群中），它们之间需要互相访问，应该怎么办？ 集群内访问表示工作负载暴露给同一集群内其他工作负载访问的方式，可以通过“集群内部域名”访问。 集群内部域名格式为“ . .svc.cluster.local: ”，例如“nginx.default.svc.cluster.local:80”。

容器服务配置说明 配置 说明 命名空间 后端服务部署在云容器引擎中的命名空间。 servicePort 对应云容器引擎Service中定义的服务端口，每个端口可以定义为一个独立的云原生网关服务。 websocket支持 websocket开关，打开之后支持websocket流量代理到后端。 协议 后端服务的协议，支持HTTP、HTTPS、GRPC、GRPCS、DUBBO，默认为HTTP。 mTLS 是否打开后端服务双向TLS认证（后端服务对网关证书认证）。 证书文件 后端服务开启双向TLS认证后，云原生网关提供的证书文件。 私钥文件 后端服务开启双向TLS认证后，云原生网关提供的私钥文件。 创建注册中心服务 前置条件 1. 已开通云原生网关实例和同VPC下的注册配置中心实例（Nacos引擎），已添加注册配置中心实例作为云原生网关的服务来源 2. 后端服务已部署并注册到注册配置中心 操作流程 1. 进入微服务引擎MSE控制台 2. 在顶部菜单栏选择资源池 3. 单击左侧导航栏云原生网关 > 网关列表 4. 您可以在网关列表页单击需要查看的网关实例ID或者 实例名称 ，也可以单击操作列中的管理按钮 5. 单击左侧导航栏 服务列表 6. 单击左上角按钮 创建服务 7. 在弹出的页面中选择MSE Nacos服务来源，选择要添加的服务所在的命名空间 8. 在服务列表中选择要添加的服务，根据需求做不同的配置

本节介绍了云容器引擎的产品优势。 大规模实践 电信IT系统大规模应用落地，集群部署规模近千套。 以应用为中心 结合微服务云应用平台帮助用户快速开发、构建、部署和运维分布式应用，提供一站式容器服务。 简单易用 一键创建 Kubernetes 集群，基于控制台轻松地实现 Kubernetes 集群的扩容和缩容。 安全稳定 支持高可用部署，提供集群备份恢复插件和安全容器能力，保障应用安全运行。

本章节介绍故障演练服务中云容器探针相关功能。 概述 云容器引擎探针 是安装在云容器引擎 （CCE ）上，用于执行具体故障注入动作的代理程序（Agent）。 前置条件 为弹性云主机安装探针之前，需要先建立故障演练服务控制面与目标主机的网络连通性，具体是通过创建VPC终端节点实现的。 连通检查 ：在探针管理 页面的列表中，查看目标主机的VPC通路 状态。若状态为已连接，则表示网络通路正常。 创建终端节点 ：若网络未连通，可以选择目标主机并触发创建终端节点操作，故障演练服务将自动完成创建过程。 说明 详细的创建步骤，请参考《创建VPC终端节点》一节。 如需进一步了解VPC终端节点产品功能与计费标准，请参考相对应产品的官方文档。 安装/更新探针 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，单击其下的探针管理选项。 3. 在探针管理 页面，选择云容器引擎页签。 4. 在列表中找到目标主机，单击操作列的安装/更新按钮。 5. 在弹出的对话框中单击确定 ，系统将发起探针安装/更新流程。 6. 单击操作列的执行记录，可查看探针的操作历史记录。 7. 安装结束后，列表中的探针安装状态 更新为已安装。

本章节介绍故障演练服务中云容器探针相关功能。 概述 云容器引擎探针 是安装在云容器引擎 （CCE ）上，用于执行具体故障注入动作的代理程序（Agent）。 前置条件 为弹性云主机安装探针之前，需要先建立故障演练服务控制面与目标主机的网络连通性，具体是通过创建VPC终端节点实现的。 连通检查 ：在探针管理 页面的列表中，查看目标主机的VPC通路 状态。若状态为已连接，则表示网络通路正常。 创建终端节点 ：若网络未连通，可以选择目标主机并触发创建终端节点操作，故障演练服务将自动完成创建过程。 说明 详细的创建步骤，请参考《创建VPC终端节点》一节。 如需进一步了解VPC终端节点产品功能与计费标准，请参考相对应产品的官方文档。 安装/更新探针 1. 登录应用高可用服务控制台。 2. 在左侧导航栏中，定位到故障演练 菜单，选择要操作的目标应用 ，单击其下的探针管理选项。 3. 在探针管理 页面，选择云容器引擎页签。 4. 在列表中找到目标主机，单击操作列的安装/更新按钮。 5. 在弹出的对话框中单击确定 ，系统将发起探针安装/更新流程。 6. 单击操作列的执行记录，可查看探针的操作历史记录。 7. 安装结束后，列表中的探针安装状态 更新为已安装。

云容器引擎产品服务协议，详情请参见这里。

本文介绍了制作节点自定义镜像的相关操作和使用流程。 自定义镜像概述 云容器引擎支持将公有镜像和私有镜像作为集群节点的主机镜像。 天翼云支持基于已有的弹性云主机（ECS）实例或弹性裸金属服务器（EBM）创建私有镜像。通过使用私有镜像，用户可以快速部署多个配置相同的实例，避免每次创建时重复进行环境配置。本文主要介绍云容器引擎中私有镜像的制作流程。 自定义镜像限制 1. 目前仅支持基于特定操作系统类型创建自定义镜像： 弹性云主机：CTyunOS23.01、CTyunOS2.0.1、CentOS7.9、Ubuntu18.04、Ubuntu20.04、Ubuntu22.04、Anolis8.4、openEuler22.03、UnitechOSV20、KylinV10SP3 弹性裸金属服务器：CTyunOS23.01、CTyunOS2.0.1、CentOS7.9 2. 弹性裸金属服务器的镜像不支持跨可用区（AZ）和跨资源池（Region）使用。 3. 弹性云主机的镜像不支持跨资源池（Region）使用。 4. 用户需要使用天翼云的镜像服务功能创建自定义镜像，不支持用户上传自有镜像的方式创建自定义镜像。 5. 自定义镜像仅用于worker节点创建。 创建自定义镜像 创建自定义镜像的主要分为五个步骤: 1. 在天翼云创建弹性云主机（ECS）或弹性裸金属服务器（EBM）实例，为节约成本可选择按量付费类型。 2. 获取并运行云容器引擎提供的镜像初始化脚本，以安装节点所需的Agent组件。 3. 在ECS或EBM实例中完成用户自定义配置。 4. 关闭ECS或EBM实例。 5. 通过镜像服务的私有镜像功能，将实例保存为私有镜像。 后续订购云容器实例或创建节点池时，可在私有镜像列表中选用已创建的镜像。

服务名称 详细描述 弹性云主机（ECS） 编译构建服务可以自定义ECS的Slave节点，用户可以自定义ECS的构建执行资源。 部署服务支持将用户的应用部署到用户购买的ECS资源上。 详细内容请参见 云容器引擎（CCE） 编译构建服务可以自定义CCE的Slave节点，用户可以自定义CCE的构建执行资源。 部署服务支持将用户的应用部署到用户购买的CCE资源上。 详细内容请参见 应用管理和运维平台（ServiceStage） 部署服务支持ServiceStage的部署，用户可以直接使用ServiceStage的应用托管功能。 详细内容请参见 容器镜像服务（SWR） 编译构建服务拉取和推送镜像。 部署服务获取镜像仓地址。 详细内容请参见

云容器引擎产品服务等级协议，详情请参见这里。

本页主要介绍云容器引擎产品的API使用说明。 OpenAPI门户提供了产品的API 文档、API调试、SDK中心等。 关于用户如何使用云容器引擎产品API的详细介绍，请参见使用API。您可以在OpenAPI门户可以了解到具体的调用前必知、API概览、如何调用API以及具体的API的接口详细说明。 Java SDK：ccesdkjavav2.0.5.tar.gz Go SDK：ccesdkgov2.0.3.tar.gz

资源名称 数量 软件开发生产线CodeArts 开通基础版即可。 云容器引擎CCE 1 云主机ECS 1

本文介绍云容器引擎的使用流程。 完整的容器服务使用流程包括以下步骤： 使用流程 说明 环境设置 创建集群前，您需要进行必要的环境设置。 说明： 如果用户已有“虚拟私有云”和“安全组”“子网”，可直接使用，不需额外创建。 . 创建虚拟私有云，提供一个隔离的、用户自主配置和管理的虚拟网络环境，提升公有云中资源的安全性，简化用户的网络部署； . 创建子网，在虚拟私有云下创建子网，用于集群部署； . 配置安全组，确保集群创建过程中使用的端口开放。 创建集群 CCE支持创建Kubernetes集群(即虚拟机集群)，后续还将提供裸机集群。 选择部署方式 CCE支持两类部署方式，用户可基于自身需求选择。 . 选择开源镜像：基于开源docker镜像创建容器应用，无需上传私有镜像。如：天翼云官方镜像； . 选择开源镜像：基于开源docker镜像创建容器应用，无需上传私有镜像。如：天翼云官方镜像； . 上传并选择私有镜像：您可基于业务需求制作私有docker镜像，上传到CCE。基于该私有镜像创建容器应用。 创建容器应用 CCE支持无状态及有状态容器应用。 . 无状态应用：在运行中始终不保存任何数据或状态，例如nginx； . 有状态应用：在运行中需要基于数据或状态运行，例如redis。 应用运维 CCE支持容器应用监控、日志，提供全生命周期管理能力。

本节介绍了云容器引擎安全责任共担模型。 在云容器引擎 CCE 中，安全合规遵循责任共担原则。具体而言，云容器引擎 CCE 承担着集群控制面组件（涵盖 Kubernetes 控制平面组件与 etcd）及集群服务相关天翼云基础设施的默认安全保障责任。本文将详细阐述天翼云云容器引擎 CCE 的安全责任共担模型。 天翼云负责 在管控面侧，天翼云凭借完善的平台安全能力，负责保障管控面侧基础设施（涵盖计算、存储、网络等各类云服务资源）的安全。针对集群节点操作系统或 K8s 组件层面出现的安全漏洞，天翼云会及时发布相关公告，并提供对应的漏洞补丁或版本更新支持。天翼云还会围绕企业云原生应用生命周期中安全防护的典型场景，提供必要的安全防护功能及最佳实践指导。 客户负责 客户方安全管理与运维人员需承担部署于云上的业务应用安全防护责任，以及云上资源的安全配置与更新工作，具体包括以下内容： 依据天翼云发布的公告，采用其提供的补丁或版本升级方式，及时对操作系统、集群侧系统组件、运行时等存在的漏洞进行修复和版本更新 遵循安全原则对 CCE 集群、节点池及网络等进行参数配置，防止因参数或权限设置不当而给攻击者留下可乘之机 根据实际使用需求，按照权限最小化原则，完成账号、角色的授权，做好凭据管理，部署实施相关安全策略，并保障应用自身参数配置的安全性 负责应用制品的供应链安全 保障应用敏感数据及应用运行时的安全 CCE采用双层的权限体系，即IAM+RBAC。当删除 IAM 用户或 IAM 角色时，并不会同步移除该用户或角色所拥有的集群 KubeConfig 中的 RBAC 权限。因此，在删除离职员工或非受信人员的 IAM 用户或 IAM 角色前，需先吊销其 KubeConfig 权限。

本节介绍了用户指南：使用ZOS动态存储卷。 云容器引擎支持使用天翼云对象存储持久卷。cstorcsi插件支持使用对象存储动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录满足数据持久化需求。 前提条件 已创建容器集群。 已在插件市场安装存储插件cstorcsi，且插件正常运行。（建议使用>4.0的CSI版本） 容器集群所在资源池已开通对象存储服务。 使用限制 参见对象存储使用限制 通过控制台使用对象存储动态存储卷 1 、创建保密字典 进入天翼云对象存储控制台，进入Access Key管理； 查看对象存储密钥，并记录； 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“配置管理”——“保密字典”，选择命名空间，单击左上角“创建”。 输入名称、内容，内容项变量名分别是AK、SK（变量名大写），变量值分别对象上一步中获取到的密钥；点击提交； 注意 注意绿色框内，当填入AKSK内容时，需要将base64编码关闭，维持图上的状态。

容器环境 容器集群一般会涉及大量数据采集，因此通常将单个容器集群定义为一个单独的监控环境。针对容器环境，Prometheus监控为天翼云容器引擎服务提供了一套自动化管理流程，可轻松部署采集探针并处理数据。 云服务环境 云服务环境主要针对常规云产品数据的采集，默认以资源池为维度创建。 主机环境 云主机的数据采集主要依赖网络传输，因此通常将一个VPC设定为一个单独的监控环境。目前主机环境监控暂未开放。

资源 数量 云容器引擎CCE 1 API网关专享版实例 1

本节主要介绍相关术语解释。 使用云容器引擎服务，会涉及到以下基本概念： 集群： 是指容器运行所需云资源的集合，包含了若干台云主机、负载均衡器等云资源。 实例（Pod）： 由相关的一个或多个容器构成一个实例，这些容器共享相同的存储和网络空间。 工作负载： Kubernetes资源对象，用于管理Pod副本的创建、调度以及整个生命周期的自动控制。 Service： 由多个相同配置的实例（Pod）和访问这些实例（Pod）的规则组成的微服务。 Ingress： Ingress是用于将外部HTTP（S）流量路由到服务（Service）的规则集合。 Helm应用 ：Helm是管理Kubernetes应用程序的打包工具，提供了Helm Chart在指定集群内图形化的增删改查。 镜像仓库 ：用于存放Docker镜像，Docker镜像用于部署容器服务。 您在使用前可以了解更多Kubernetes相关知识，具体请参见：<

本节介绍了云容器引擎的最佳实践; 集群命名空间RBAC授权。 应用现状 云容器引擎的权限控制有两种：集群权限和命名空间权限，以下篇幅将介绍云容器引擎针对集群权限的ClusterRole的创建、权限绑定和验证做简单介绍。 RBAC（RoleBased Access Control） 是基于角色（Role）的访问控制。您可以通过RBAC将权限和集群角色关联，以达到为不同的角色成员配置不同的权限，从而降低账号的安全风险。RBAC的Kubernetes对象的Role或者ClusterRole中包含一组代表相关权限的规则。Role用来在某个命名空间内设置访问权限，ClusterRole则是用于为集群范围的资源定义访问权限。 权限策略说明 您可自行编写权限策略，或通过云容器引擎的控制台创建自定义策略。 ClusterRole创建 针对您要定义集群范围的角色，那么请使用ClusterRole。下面是一个创建ClusterRole的YAML示例。 apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: clusterRoletest rules: apiGroups: metrics.k8s.io resources: pods verbs: get list watch 关于ClusterRole或者Role的更多信息，请参见Role和ClusterRole。 预置角色权限说明 预置角色 集群内RBAC权限 管理员 对集群所有命名空间下 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的读写权限 运维人员 对集群所有命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限， 对集群节点、存储卷、命名空间、配额的只读权限 开发人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 读写权限 受限人员 对集群所有命名空间或所选命名空间下控制台可见 Kubernetes 资源的 RBAC 只读权限 自定义 权限由您所选择的 ClusterRole 决定，请在确定所选 ClusterRole 对各类资源的操作权限后再进行授权，以免子账号获得不符合预期的权限