关联产品 计费说明链接 微服务引擎微服务治理中心 云容器引擎 应用性能监控APM 云日志服务ALS 容器镜像服务 微服务引擎注册配置中心

本节介绍了该产品的服务协议。 弹性容器实例产品服务协议，详情请参见这里。

容器存储是为容器工作负载提供存储的组件，支持多种类型的存储，同一个工作负载（pod)可以使用任意数量的存储。 说明： Kubernetes1.13版本之前的CCE集群不支持端到端容器存储扩容功能，PVC容量与存储容量不一致。 存储类型选择 创建工作负载时，可以使用以下类型的存储。建议将工作负载pod数据存储在云存储上。若存储在本地磁盘上，节点异常无法恢复时，本地磁盘中的数据也将无法恢复。 本地硬盘：将容器所在宿主机的文件目录挂载到容器的指定路径中（对应Kubernetes的HostPath），也可以不填写源路径（对应Kubernetes的EmptyDir），不填写时将分配主机的临时目录挂载到容器的挂载点，指定源路径的本地硬盘数据卷适用于将数据持久化存储到容器所在宿主机，EmptyDir（不填写源路径）适用于容器的临时存储。配置项（ConfigMap）是一种用于存储工作负载所需配置信息的资源类型，内容由用户决定。密钥（Secret）是一种用于存储工作负载所需要认证信息、密钥的敏感信息等的资源类型，内容由用户决定。详情参见本地磁盘存储。 云硬盘存储卷：CCE支持将云硬盘创建的硬盘挂载到容器的某一路径下。当容器迁移时，挂载的云硬盘将一同迁移。这种存储方式适用于需要永久化保存的数据。详情参见云硬盘存储卷。 文件存储卷：CCE支持创建SFS存储卷并挂载到容器的某一路径下，也可以使用底层SFS服务创建的文件存储卷，SFS存储卷适用于多读多写的持久化存储，适用于多种工作负载场景，包括媒体处理、内容管理、大数据分析和分析工作负载程序等场景。详情参见文件存储卷。 极速文件存储卷：CCE支持创建SFS Turbo极速文件存储卷并挂载到容器的某一路径下，极速文件存储具有按需申请，快速供给，弹性扩展，方便灵活等特点，适用于DevOps、容器微服务、企业办公等应用场景。详情参见极速文件存储卷。 快照与备份：CCE通过云硬盘为您提供快照功能，云硬盘快照指的是云硬盘数据在某个时刻的完整拷贝或镜像，是一种重要的数据容灾手段，当数据丢失时，可通过快照将数据完整的恢复到快照时间点。详情参见快照与备份。

说明 若租户需要接入日志服务（传入了日志参数），ECI会通过ITIAM创建名为eciAgentAlsDelegate的委托，拿到临时AKSK，并持续续约，直至该租户在该资源池所有ECI实例都退订。 若用户需要接入日志服务（传入了日志参数），ECI会检查该租户在该资源池是否订购了云日志服务，若没有订购，ECI会替租户订购该资源池的云日志服务。 每个容器可以有多组 Ctyunlogseci{key}，对应不同的日志采集路径。 若租户传入的 Ctyunlogseci{key} 中的key在云日志已经存在，ECI不会再创建采集规则，请确保采集规则内容正确。 ECI创建的日志资源在退订ECI实例时不会回收，请租户自行回收避免额外日志计费。 若传入的环境变量命名不符合上述规范，ECI将忽略该环境变量创建对应的默认日志资源。 任何不提供Ctyunlogseci{key}的输入组都会被忽略，比如提供了Ctyunlogseci{key}project 但没有提供Ctyunlogseci{key}，ECI将会忽略该组值，因为ECI不知道采集路径。 示例 1. 容器container1采集标准输出日志。 shell containers: env: name: Ctyunlogseciecialsdefaultlogrulestdoutyfgw9480 value: stdout image: registrytest.crsinternal.ctyun.cn/opensource/tomcat:9.0jdk8corretto name: container1 2. 容器container2采集标准输出日志并指定日志项目、日志单元。 shell containers: env: name: Ctyunlogseciecialsdefaultlogrulestdoutyfgw9480 value: stdout name: Ctyunlogseciecialsdefaultlogrulestdoutyfgw9480project value: myproject name: Ctyunlogseciecialsdefaultlogrulestdoutyfgw9480unit value: myunit image: registrytest.crsinternal.ctyun.cn/opensource/tomcat:9.0jdk8corretto name: container2 3. 容器container3采集容器内指定文件日志。 shell containers: env: name: Ctyunlogseciecialsdefaultlogrulefilesvba7129 value: /var/log/.log image: registrytest.crsinternal.ctyun.cn/opensource/tomcat:9.0jdk8corretto name: container3 4. 容器container4采集容器内指定文件日志并指定日志项目、日志单元。 shell containers: env: name: Ctyunlogseciecialsdefaultlogrulefilesvba7129 value: /var/log/.log name: Ctyunlogseciecialsdefaultlogrulefilesvba7129project value: someproject name: Ctyunlogseciecialsdefaultlogrulefilesvba7129unit value: someunit image: registrytest.crsinternal.ctyun.cn/opensource/tomcat:9.0jdk8corretto name: container4 5. 容器container5同时采集标准输出日志和指定文件日志。 shell containers: env: name: Ctyunlogseciecialsdefaultlogrulestdoutyxrw9035 value: stdout name: Ctyunlogseciecialsdefaultlogrulefileyxrw9035 value: /var/log/.log image: registrytest.crsinternal.ctyun.cn/opensource/tomcat:9.0jdk8corretto name: container5

本节介绍了：DNS FAQ的用户指南。 如何进入CoreDNS Pod执行命令？ 问题现象 使用 kubectl n kubesystem exec it {coredns pod} bash及类似命令发现无法进入到CoreDNS Pod中执行或者查看相关信息。 问题原因 CoreDNS所使用的容器镜像是基于Scratch构建，不具备Shell执行环境，所以无法使用bash命令进入。 解决方案 可以使用nsenter的方式访问CoreDNS Pod所处的容器网络环境。 kubernetes中的服务的域名不能通过coredns正确解析 问题现象 kubernetes中的服务建立成功后，无法通过域名访问。 问题原因 kubernetes中的服务的域名的格式不对。 解决方案 使用完整的域名格式进行解析，servicename.nsname.svc.cluster.local。

注解 说明 默认值 kubernetes.AOM.log.stdout 容器标准输出采集参数，不配置默认将全部容器的标准输出上报至AOM，可配置采集指定容器或全部不采集。 示例： 全部不采集kubernetes.AOM.log.stdout: '[]' 采集container1和container2容器。kubernetes.AOM.log.stdout: '["container1","container2"]' metrics.alpha.kubernetes.io/customendpoints AOM监控指标上报参数，可将指定指标上报是AOM服务。 prometheus.io/scrape Prometheus指标上报参数，值为true表示当前负载开启上报。 prometheus.io/path Prometheus采集的url路径。 /metrics prometheus.io/port Prometheus采集的endpoint端口号。 prometheus.io/scheme Prometheus采集协议，值可以填写http或https kubernetes.io/ingressbandwidth Pod的入口带宽 kubernetes.io/egressbandwidth Pod的出口带宽

本章节介绍云容器集群节点磁盘填充故障演练。 背景介绍 失控的日志文件、未经清理的临时数据或异常进程持续写入，都可能导致云容器引擎（CCE）节点的磁盘空间被耗尽。这种情况会直接导致Pod无法写入新数据、服务功能异常，甚至因 ephemeralstorage 压力过大而被kubelet驱逐。本演练模拟磁盘空间被占满的场景，帮助您检验系统的磁盘空间监控告警、日志轮转机制以及应用在无可用存储空间时的处理逻辑。 基本原理 通过dd命令将数据写入文件。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍微服务云应用平台相关名词解释 MSAP 本系统即微服务云应用平台（MicroService Application Platform）的英文简称。 云容器引擎 云容器引擎是天翼云产品，提供高度可扩展的、高性能的Kubernetes集群、一站式容器服务。 ECS 弹性云主机（Elastic Cloud Server）是天翼云产品，可随时获取、弹性扩展，由 CPU、内存、镜像、云硬盘组成，结合多种能力打造安全应用环境，确保服务稳定运行。 应用性能监控 应用性能监控是天翼云产品，帮助您进行应用性能管理。通过无入侵式探针接入的方式，无需您修改代码，就能够对应用进行全方位监控，帮助您快速定位出错接口和慢接口，重现调用参数，发现系统瓶颈，从而大幅提升线上问题诊断的效率。 微服务治理中心 微服务治理中心是天翼云微服务引擎的子产品，兼容SpringCloud、Dubbo等开源微服务框架，支持无侵入的接入应用，提供标签路由、灰度发布、无损上下线、服务降级、服务鉴权等服务治理的能力。。 注册配置中心 注册配置中心是天翼云微服务引擎的子产品，面向业界主流开源微服务项目，致力于帮助用户发现、配置和管理微服务，实现动态服务发现、服务配置、服务元数据及流量管理等功能，通过微服务注册配置中心，您可以更敏捷、更简单地构建、交付和管理微服务平台。

本节介绍云容器引擎的最佳实践：容器内获取客户端源IP。 客户端真实源IP地址可以用于分析网站流量和用户行为。通过分析来源IP地址，可以了解用户的地理位置、浏览器偏好和其他用户行为指标。这些数据可以用于优化网站设计、定位目标受众和改善用户体验。 在容器化场景下，客户端和容器服务端之间可能存在多种代理服务器，外部请求在经过多次转发后，容器中服务无法获取到客户端真实源IP。 场景介绍 不同请求类型，获取客户端真实IP说明如下： 类型 说明 HTTP/HTTPS请求 通过在ELB监听器开启XForwardedFor，业务应用可以通过XForwardedFor头部提取到源地址，从而获得客户端真实IP。 TCP请求 通过在后端主机配置TOA插件获取客户端的真实源IP地址。TOA是操作系统的内核模块，需要在ELB后端主机中安装TOA插件，以实现后端主机可获取客户端真实源IP地址的目的。 对于HTTP/HTTPS请求，具体实现分为以下两类： 服务类型 说明 负载均衡 ELB访问方式，是通过弹性负载均衡ELB产品来实现负载均衡。通过创建LoadBalancer SVC时，指定注解方式开启XForwardedFor。当通过ELB访问工作负载时，可以通过XForwardedFor头部提取到源地址。 节点端口（NodePort） NodePort访问方式，是将容器端口映射到节点端口，实现获取客户端源IP有以下方式： 当配置SVC外部流量策略为Local时，表示请求不经过转发，可以获取客户端源ip； 当配置SVC外部流量策略为Cluster时，需要通过手动创建监听器及后端主机组，开启XForwardedFor实现。

步骤二：数据迁移 本步骤中，您将对集群依赖服务的数据服务，例如镜像及云存储、云数据库、分布式缓存、分布式消息等，进行跨资源池迁移。 容器镜像跨资源池同步参考：同账号跨实例同步。 云数据库迁移，可使用 数据传输服务DTS。天翼云DTS是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输，致力于解决远距离、毫秒级异步数据传输难题。 其他云上数据迁移需求，请参考对应云产品提供的迁移服务及指引。 步骤三：目标集群创建与纳管 在这个阶段，您将评估目标集群所需规格信息并创建对应的天翼云CCE集群；然后将该目标集群关联到分布式容器云平台CCE One注册集群。 云容器引擎允许用户对集群资源进行个性化选取，以精准匹配其多样化的业务诉求。如下所示的表中，列举了集群的指标参数，并提供了参考规划选择；用户应依据自身业务的确切需求，对相关设置做出合理调配，其间，我们建议尽可能保持与原集群性能配置的一致性水平。 主要指标参数 指标参数说明 本示例规划 kubernetes版本 1.27.8 1.29.3 1.29.3 网络插件 cubecni：cubecni 是云容器引擎自研的网络插件，支持基于 Kubernetes 标准的网络策略来定义容器间的访问策略。 calico：使用社区 calico CNI 插件的IP模式。 cubecni apiserver访问 API Server的访问需要依赖ELB实例，您可根据需要选择合适的ELB规格，系统将根据该规格创建一个私网ELB实例。规格选择请见：[了解ELB实例规格](

本节介绍该产品服务协议。 产品服务协议，详情参见天翼云云容器引擎服务协议。

卸载文件系统后，文件系统中的数据会丢失吗？ 不会，卸载只是解除了文件系统与云主机之间的关系，不会影响文件系统中的数据。您可以再次将文件系统挂载到云主机上使用。 文件系统被冻结有何影响？ 预付费用户的账户欠费会导致按量付费的文件系统实例冻结，包年包月的文件系统过期未续订会被冻结，冻结后实例保留期15天，期间若未续订或账户充值，实例将被释放，数据无法找回。 冻结之后的文件系统实例无法读写，文件系统自动卸载，此时计算服务中无法查询到挂载目录，当续订或充值之后，文件系统将自动重新挂载并恢复读写，在计算服务中将自动恢复可见，不必执行手动挂载。 前缀为.nfs的文件是什么？怎么产生的？ 当一个应用程序已经打开了某个文件时，如果删除了该文件，会在文件所在目录下生成一个前缀为.nfs的临时文件。这个临时文件是由NFS（Network File System）创建的，用于在访问进程关闭后自动删除。 为什么卸载旧弹性文件系统并重新挂载新弹性文件系统后，容器Pod仍将数据写入旧弹性文件系统？ 问题描述： 当将文件系统挂载到云主机并通过本地存储卷（HostPath）映射的方式将文件系统的挂载目录映射到容器时，容器中的挂载信息与云主机相互独立。因此，当云主机对文件系统挂载目录进行卸载或者挂载新的文件系统时，已经启动的容器仍然会使用其启动时挂载的旧弹性文件系统。 解决方案： 为了使容器能够使用新的弹性文件系统挂载目录，需要在云主机上重新挂载新的弹性文件系统，并重启容器Pod。通过这样的操作，容器将能够使用最新的弹性文件系统挂载目录。

本节介绍了云容器引擎的最佳实践：服务发布。 灰度发布和蓝绿发布 当对服务进行版本更新升级时，需要使用到滚动升级、分批暂停发布、蓝绿发布以及灰度发布等发布方式。本文将介绍在云容器引擎集群中如何通过Nginx Ingress Controller来实现应用服务的灰度发布。 背景信息 灰度及蓝绿发布是为新版本创建一个与老版本完全一致的生产环境，在不影响老版本的前提下，按照一定的规则把部分流量切换到新版本，当新版本试运行一段时间没有问题后，将用户的全量流量从老版本迁移至新版本。 其中AB测试就是一种灰度发布方式，一部分用户继续使用老版本的服务，将一部分用户的流量切换到新版本，如果新版本运行稳定，则逐步将所有用户迁移到新版本。 云容器引擎控制台灰度发布功能的用法如下。 canary注解方式：使用canary Annotation配置蓝绿发布与灰度发布，canary Annotation是社区官方实现的灰度发布方式。 应用场景 基于客户端请求的流量切分场景：假设当前线上环境，您已经有一套服务Service A对外提供7层服务，此时上线了一些新的特性，需要发布上线一个新的版本Service A'。但又不想直接替换Service A服务，而是希望将请求头中包含foobar或者Cookie中包含foobar的客户端请求转发到Service A'服务中。待运行一段时间稳定后，可将所有的流量从Service A切换到Service A'服务中，再平滑地将Service A服务下线。 基于服务权重的流量切分场景：假设当前线上环境，您已经有一套服务Service B对外提供7层服务，此时修复了一些问题，需要发布上线一个新的版本Service B'。但又不想将所有客户端流量切换到新版本Service B'中，而是希望将20%的流量切换到新版本Service B'中。待运行一段时间稳定后，再将所有的流量从Service B切换到Service B'服务中，再平滑地将Service B服务下线。 针对以上多种不同的应用发布需求，天翼云容器云服务引擎Ingress Controller支持了多种流量切分方式：基于Request Header的流量切分，适用于灰度发布以及AB测试场景。基于Cookie的流量切分，适用于灰度发布以及AB测试场景。基于Query Param的流量切分，适用于灰度发布以及AB测试场景。基于服务权重的流量切分，适用于蓝绿发布场景。

操作场景 节点访问 ( NodePort )是指在每个节点的IP上开放一个静态端口，通过静态端口对外暴露服务。节点访问 ( NodePort )会路由到ClusterIP服务，这个ClusterIP服务会自动创建。通过请求 : ，可以从集群的外部访问一个NodePort服务。 约束与限制 “节点访问 ( NodePort )”默认为VPC内网访问，如果需要使用弹性IP通过公网访问该服务，请提前在集群的节点上绑定弹性IP。 创建service后，如果服务亲和从集群级别切换为节点级别，连接跟踪表将不会被清理，建议用户创建service后不要修改服务亲和属性，如需修改请重新创建servcie。 同一个节点内的容器不支持访问externalTrafficPolicy为local的service。 工作负载创建时设置 您可以在创建工作负载时通过控制台设置Service访问方式，本节以nginx为例进行说明。 步骤 1 参考创建无状态负载(Deployment)、创建有状态负载(StatefulSet)或创建守护进程集(DaemonSet)，在“工作负载访问设置”步骤，单击“添加服务”。 访问类型：选择“节点访问 ( NodePort )”。 说明： 如果需要使用弹性IP通过公网访问该服务，请提前在集群的节点上绑定弹性IP。 Service 名称：自定义服务名称，可与工作负载名称保持一致。 服务亲和： − 集群级别：集群下所有节点的IP+访问端口均可以访问到此服务关联的负载，服务访问会因路由跳转导致一定性能损失，且无法获取到客户端源IP。 − 节点级别：只有通过负载所在节点的IP+访问端口才可以访问此服务关联的负载，服务访问没有因路由跳转导致的性能损失，且可以获取到客户端源IP。 端口配置： − 协议：请根据业务的协议类型选择。 − 容器端口：容器镜像中工作负载实际监听的端口，取值范围为165535。 − 访问端口：容器端口映射到节点私有IP上的端口，建议选择“自动生成”。 自动生成：系统会自动分配端口号。 指定端口：指定固定的节点端口，默认取值范围为3000032767。若指定端口时，请确保同个集群内的端口唯一性。 步骤 2 完成配置后，单击“确定”。 步骤 3 单击“下一步：高级设置”进入高级设置页面，直接单击“创建”。 步骤 4 单击“查看工作负载详情”，在访问方式页签下获取访问地址，例如“192.168.0.160:30358”。 工作负载创建完成后设置 您可以在工作负载创建完成后对Service进行配置，此配置对工作负载状态无影响，且实时生效。具体操作如下： 步骤 1 登录CCE控制台，在左侧导航栏中选择“工作负载 > 无状态负载 Deployment”，在工作负载列表页单击要设置Service的工作负载名称。 说明： 如果当前Service被关联到Ingress，则更新Service的端口信息后Ingress将不可用，需要删除重建。 步骤 2 在“Service”页签，单击“添加Service”。 步骤 3 在“添加Service”页面，访问类型选择“节点访问 ( NodePort )”。 说明： 如果需要使用弹性IP通过公网访问该服务，请提前在集群的节点上绑定弹性IP。 步骤 4 设置节点访问参数： Service 名称：自定义服务名称，可与工作负载名称保持一致。 集群名称：工作负载所在集群的名称，此处不可修改。 命名空间：工作负载所在命名空间，此处不可修改。 关联工作 负载：要添加Service的工作负载，此处不可修改。 服务亲和： − 集群级别：集群下所有节点的IP+访问端口均可以访问到此服务关联的负载，服务访问会因路由跳转导致一定性能损失，且无法获取到客户端源IP。 − 节点级别：只有通过负载所在节点的IP+访问端口才可以访问此服务关联的负载，服务访问没有因路由跳转导致的性能损失，且可以获取到客户端源IP。 端口配置： − 协议：请根据业务的协议类型选择。 − 容器端口：容器镜像中工作负载程序实际监听的端口，需用户确定。nginx程序实际监听的端口为80。 − 访问端口：容器端口映射到节点私有IP上的端口，建议选择“自动生成”。 自动生成：系统会自动分配端口号。 指定端口：指定固定的节点端口，默认取值范围为3000032767。若指定端口时，请确保同个集群内的端口唯一性。 步骤 5 单击“创建”。工作负载已添加“节点访问 ( NodePort )”的服务。 验证访问方式 步骤 1 在管理控制台首页，单击“计算 > 弹性云主机”。 步骤 2 在弹性云主机页面，找到同一VPC内任意一台云服务器，并确认连接到访问地址中IP与端口的安全组是开放的。 步骤 3 单击“远程登录”，弹出登录页面，输入用户密码登录。 步骤 4 使用curl命令访问工作负载验证工作负载是否可以正常访问。 说明： 节点访问(NodePort)会在集群内节点上分配一个虚拟IP，即可以在集群内部通过虚拟IP的验证方式验证。其中，虚拟IP访问端口默认与容器端口一致。 如果需要使用弹性IP通过公网访问该服务，请提前在集群的节点上绑定弹性IP。 curl 192.168.0.160:30358 其中“192.168.0.160:30358”为步骤4中获取到的访问地址，即节点虚拟IP+访问端口。 回显如下表示访问成功。 Welcome to nginx! body { width: 35em; margin: 0 auto; fontfamily: Tahoma, Verdana, Arial, sansserif; } Welcome to nginx! If you see this page, the nginx web server is successfully installed and working. Further configuration is required. For online documentation and support please refer to Thank you for using nginx. 更新Service 您可以在添加完Service后，更新此Service的端口配置，操作步骤如下： 步骤 1 登录CCE控制台，在左侧导航栏中选择“资源管理 > 网络管理”，在Service页签下，选择对应的集群和命名空间，单击需要更新端口配置的Service后的“更新”。 步骤 2 在更新Service页面，访问类型选择“节点访问 ( NodePort )”。 步骤 3 更新节点访问参数： Service 名称：您创建的Service名称，此处不可修改。 集群名称：工作负载所在集群的名称，此处不可修改。 命名空间：工作负载所在命名空间，此处不可修改。 关联工作负载：要添加Service的工作负载，此处不可修改。 服务亲和： − 集群级别：集群下所有节点的IP+访问端口均可以访问到此服务关联的负载，服务访问会因路由跳转导致一定性能损失，且无法获取到客户端源IP。 − 节点级别：只有通过负载所在节点的IP+访问端口才可以访问此服务关联的负载，服务访问没有因路由跳转导致的性能损失，且可以获取到客户端源IP。 端口配置： − 协议：请根据业务的协议类型选择。 − 容器端口：容器镜像中工作负载程序实际监听的端口，需用户确定。nginx程序实际监听的端口为80。 − 访问端口：容器端口映射到节点私有IP上的端口，建议选择“自动生成”。 自动生成：系统会自动分配端口号。 指定端口：指定固定的节点端口，默认取值范围为3000032767。若指定端口时，请确保同个集群内的端口唯一性。 步骤 4 单击“更新”。工作负载已更新Service。

本章节介绍如何通过页面上传镜像。 操作场景 从页面上传镜像，是指直接通过控制台页面将镜像上传到容器镜像服务的镜像仓库。 约束与限制 每次最多上传10个文件，单个文件大小（含解压后）不得超过2G。 仅支持上传1.11.2及以上容器引擎客户端版本制作的镜像压缩包。 前提条件 已创建组织，请参见创建组织。 镜像已保存为tar或tar.gz文件，具体请参见制作镜像压缩包。 操作步骤 步骤 1 登录容器镜像服务控制台。 步骤 2 在左侧导航栏选择“我的镜像”，单击右上角“页面上传”。 步骤 3 在弹出的窗口中选择组织，单击“选择镜像文件”，选择要上传的镜像文件。 说明 多个镜像同时上传时，镜像文件会按照顺序逐个上传，不支持并发上传。 图 上传镜像 步骤 4 单击“开始上传”。 待任务进度显示“上传完成”，表示镜像上传成功。

本章节介绍云容器ETCD节点宕机故障演练。 背景介绍 云容器引擎（CCE）中，Etcd 节点是集群的分布式数据存储核心。硬件故障、系统内核异常、软件组件崩溃、网络中断及数据同步异常等因素，均可能导致 Etcd 节点故障。Etcd 节点故障会造成集群配置读写失败、状态同步异常，进而导致 Master 节点管控功能受限，Pod 调度、扩缩容等操作失效，影响上层业务稳定性，本演练可测试系统应对 Etcd 节点故障的恢复能力。 基本原理 通过停止Etcd 节点上的服务，模拟Etcd 节点故障。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎实例。 添加故障动作 ：单击立即添加 ，在列表中选择Etcd节点故障动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 故障节点：故障动作的目标节点。

本文主要介绍添加触发器 操作场景 容器镜像服务可搭配云容器引擎CCE一起使用，实现镜像版本更新时自动更新使用该镜像的应用。您只需要为镜像添加一个触发器，通过触发器，可以在每次生成新的镜像版本时，自动执行更新动作，如：自动更新使用该镜像的应用。 前提条件 更新应用镜像版本之前，请确保已创建容器应用，将镜像部署到云容器引擎CCE或云容器实例CCI。 如未创建，请登录云容器引擎工作负载页面进行创建，具体创建方法请参见云容器引擎用户指南。 操作步骤 步骤 1 登录容器镜像服务控制台。 步骤 2 在左侧导航栏选择“我的镜像”，单击右侧镜像名称，进入镜像详情页。 步骤 3 选择“触发器”页签，单击“添加触发器”，填写相关参数，然后单击“确定”。 图 添加触发器 表 触发器 参数 说明 触发器名称 自定义触发器的名称。字母开头，由字母、数字、下划线、中划线组成，下划线、中划线不能连续且不能作为结尾，164个字符。 触发条件 支持如下三种触发条件，当镜像有新版本时，触发部署应用。 全部触发：有新的镜像版本生成或镜像版本发生更新时，触发部署。 指定版本号触发：有指定镜像版本生成或更新时，触发部署。 正则触发：有符合正则表达式的镜像版本生成或更新时，触发部署。正则表达式规则如下： − ：匹配不包含路径分隔符“/”的任何字段。 − ：匹配包含路径分隔符“/”的任何字段。 −? ：匹配任何单个非“/”的字符。 −{选项1, 选项2, ...}：同时匹配多个选项。 触发动作 当前仅支持更新容器的镜像，需指定更新的应用，以及该应用下的容器。 触发器状态 选择“启用”。 触发器类型 选择“云容器引擎CCE”。 选择应用 选择要更新镜像的容器。 示例1：触发条件为“全部触发” 假设有一个欢迎页面为“Hello, SWR!”的Nginx镜像（版本号为v1），使用该镜像创建了名称为“nginx”的无状态负载，该负载提供对外访问。 为Nginx镜像添加触发器。 触发器名称填写“Alltags”，触发条件选择“全部触发”，选择使用了Nginx镜像的无状态负载及容器。 为Nginx镜像新增一个v2版本，该版本的欢迎页面为“Hello, SoftWare Repository for Container!”。 确认是否触发成功。 在“触发器”页签，单击图标，查看触发结果为“成功”。 图 触发结果 工作负载的访问页面已变更为“Hello, SoftWare Repository for Container!”。 示例2：触发条件为“正则触发” 假设有一个欢迎页面为“Hello, SWR!”的Nginx镜像（版本号为v1），使用该镜像创建了名称为“nginx”的无状态负载，该负载提供对外访问。 为Nginx镜像添加触发器。 触发器名称填写“Tagsregularexpression”，触发条件选择“正则触发”，输入正则表达式：^v2.（匹配以v2开头的版本号），选择使用了Nginx镜像的无状态负载及容器。 为Nginx镜像新增一个v1.0.0版本，该版本的欢迎页面为“Hello, SWR! (v1.0.0)”。 为Nginx镜像再新增一个v2.0.0版本，该版本的欢迎页面为“Hello, SWR! (v2.0.0)”。 确认是否触发成功。 在“触发器”页签，单击图标，查看触发结果。可以看出，只有v2.0.0版本被触发了应用的自动更新，符合设置的正则表达式规则。 图 触发结果示例 工作负载的访问页面已变更为“Hello, SWR! (v2.0.0)”。

实例到期后，还能防护节点吗？ 购买的实例到期后如未按时续费，公有云平台会提供一定的保留期。 保留期内，平台会冻结服务，用户配置的各类防护策略将不再生效。 保留期满，用户若仍未续费，平台会清除实例资源，资源被释放，释放后无法恢复。 容器安全卫士实例可以降低版本和规格吗？ 容器安全卫士实例不支持降级，同时已绑定的防护节点也不支持单独退订。 如您需要降低当前规格，您可以先退订当前实例，再重新购买较低版本的实例。 容器安全卫士是否支持自动续订？ 支持。 您可以在购买套餐时勾选自动续订，也支持在使用过程中，在订单中心中设置自动续订。 容器安全卫士是如何计算并限制防护节点个数的？ 根据购买防护节点数据量进行限制，若在线防护节点数超过购买防护节点数量时，将不允许开启防护。 若当前版本包含的防护节点个数不够用时，如何处理？ 若当前版本包含的防护节点个数不够用时，您可以扩容购买节点。 续费时是否可同时变更容器安全卫士版本或规格？ 续费时不能同时变更的规格。您只能为当前的容器安全卫士实例版本规格进行续费，增加使用时长。 您可以在续费完成后，对容器安全卫士实例版本进行升级。

为减少安全隐患和稳定性风险，云容器引擎建议用户及时升级kubernetes版本。用户使用云容器引擎控制台升级集群的Kubernetes版本，本文介绍集群升级前后的注意事项、升级流程、操作步骤等。 升级集群的好处 云容器引擎使用kubernetes的原生v . . 版本语义，目前尚只支持4个次要版本，分别为v1.23.3, v1.25.6, v1.27.8, v1.29.3版本。云容器引擎会定期发布支持的Kubernetes版本并逐步停止对过期版本的技术支持。建议使用v1.23.3版本的用户建议尽快升级到更高版本kubernetes，已获得更好的使用体验。 主动升级集群有以下好处： 降低安全和稳定性风险：随着Kubernetes版本迭代，会不断优化及修复发现的安全及稳定性漏洞，长久使用过期版本集群会给业务带来安全和稳定性风险。 享受更好的维护支持：对于过期Kubernetes版本，云容器引擎不再提供安全补丁和问题修复，也无法保证过期版本的技术支持质量。使用新版本能够让您享受更好的技术支持和答疑服务。 使用新版本的新功能：随着社区Kubernetes版本的演进，新版本包含新的功能和改进，云容器引擎也将适配新版本，为您带来更好的开发和运维体验。

本文主要介绍存储管理类问题。 一、CCE支持的存储在持久化和多节点挂载方面的区别是怎样的？ 容器存储是为容器工作负载提供存储的组件，支持多种类型的存储，同一个工作负载（pod)可以使用任意数量的存储。 当前云容器引擎CCE支持本地磁盘存储、云硬盘存储卷、文件存储卷、对象存储卷和极速文件存储卷。 各类存储的区别和对比如下： 各类存储的区别和对比 存储类型 持久化存储 伴随容器自动迁移 多节点挂载 本地磁盘存储 支持 不支持 不支持 云磁盘存储卷（EVS） 支持 支持 不支持 对象存储卷（OBS） 支持 支持 支持，可由多个节点或工作负载共享 文件存储卷（SFS） 支持 支持 支持，可由多个节点或工作负载共享 极速文件存储卷（SFS Turbo） 支持 支持 支持，可由多个节点或工作负载共享 CCE存储类型选择 创建工作负载时，可以使用以下类型的存储。建议将工作负载pod数据存储在云存储上。若存储在本地磁盘上，节点异常无法恢复时，本地磁盘中的数据也将无法恢复。 本地硬盘：将容器所在宿主机的文件目录挂载到容器的指定路径中（对应Kubernetes的HostPath），也可以不填写源路径（对应Kubernetes的EmptyDir），不填写时将分配主机的临时目录挂载到容器的挂载点，指定源路径的本地硬盘数据卷适用于将数据持久化存储到容器所在宿主机，EmptyDir（不填写源路径）适用于容器的临时存储。配置项（ConfigMap）是一种用于存储工作负载所需配置信息的资源类型，内容由用户决定。密钥（Secret）是一种用于存储工作负载所需要认证信息、密钥的敏感信息等的资源类型，内容由用户决定。 云硬盘存储卷：CCE支持将EVS创建的云硬盘挂载到容器的某一路径下。当容器迁移时，挂载的云硬盘将一同迁移。这种存储方式适用于需要永久化保存的数据。 文件存储卷：CCE支持创建SFS存储卷并挂载到容器的某一路径下，也可以使用底层SFS服务创建的文件存储卷，SFS存储卷适用于多读多写的持久化存储，适用于多种工作负载场景，包括媒体处理、内容管理、大数据分析和分析工作负载程序等场景。 对象存储卷：CCE支持创建OBS对象存储卷并挂载到容器的某一路径下，对象存储适用于云工作负载、数据分析、内容分析和热点对象等场景。 极速文件存储卷：CCE支持创建SFS Turbo极速文件存储卷并挂载到容器的某一路径下，极速文件存储具有按需申请，快速供给，弹性扩展，方便灵活等特点，适用于DevOps、容器微服务、企业办公等应用场景。

配置说明 服务资源权限配置，比如创建用户组和具体权限配置，均需要跳转到IAM控制台进行具体操作。 示例流程 图1：给用户授予分布式容器云平台权限流程。 1. 创建用户组并授权。 在IAM控制台创建用户组，并授予分布式容器云平台权限，例如「分布式容器云平台CCE Oneviewer 」策略。 2. 创建用户并加入用户组。 在IAM控制台创建用户，并将其加入1中创建的用户组。 3. 用户登录并验证权限。 用户使用子账号登录控制台，验证权限是否生效。本次示例授予该子账号「分布式容器云平台CCE Oneviewer」只读策略，因此可以通过以下方式进行验证： 只读策略不允许写操作：单击左侧导航栏“舰队联邦 > 舰队管理”，如果创建舰队时提示无访问权限，表示权限配置已生效。 只读策略允许读操作：单击左侧导航栏“集群资源 > 注册集群”，执行查询注册集群列表操作，如果注册集群列表正常访问，则表示配置已生效。

本章节介绍云容器集群Pod CPU高负载故障演练。 背景介绍 在 CCE 环境中，Pod CPU 异常升高不仅影响自身稳定性，还可能与同节点其他服务争抢资源，引发连锁问题。因此，模拟 Pod 的高 CPU 负载可用于验证系统的弹性、容错机制、监控告警能力及自动扩缩容策略。 基本原理 启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本章节介绍云容器集群Pod CPU高负载故障演练。 背景介绍 在 CCE 环境中，Pod CPU 异常升高不仅影响自身稳定性，还可能与同节点其他服务争抢资源，引发连锁问题。因此，模拟 Pod 的高 CPU 负载可用于验证系统的弹性、容错机制、监控告警能力及自动扩缩容策略。 基本原理 启动自定义程序，空跑for循环来消耗CPU时间片。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

当前开通应用服务网格CSM需要您先开通云容器引擎实例，开通服务网格时需要您先选择已经开通的云容器引擎集群，用于部署服务网格控制面。应用服务网格CSM架构图如下： 当前应用服务网格CSM支持多集群模式，主集群（Primary）用于部署网格控制面，通过ELB向其他从集群（Remote）暴露控制面服务（包括xDS、webhook等接口）。

本节介绍了容器镜像服务实例系统账号的用户指南。 概述 系统账号可以按照命名空间维度配置读写权限，适合使用于 CI/CD 流水线和 Kubernetes 集群中。 前提条件 已开通容器镜像服务企业版实例 创建系统账号 1. 进入容器镜像服务控制台。 2. 点击已开通的企业版实例名称。 3. 左侧导航栏点击访问控制 访问凭证 ，点击系统账号标签页。 4. 点击新建按钮创建系统账号. 参数 说明 名称 系统账号的名称。请注意，名称将自动增加 crs$ 前缀以标识系统账号，如名称填写 testaccount，则实际使用的名称为 crs$testaccount。 描述 系统账号的描述。 过期时间 可选永不过期或指定过期时间。 权限范围 配置覆盖全部命名空间或仅覆盖指定命名空间，若选择仅覆盖指定命名空间，则需要勾选指定的命名空间及其对应的权限类型。 权限类型 配置命名空间的只读或读写权限，只读权限不支持推送镜像。 5. 完成创建将弹出对话框展示系统账号名称和密码，请妥善保存，页面关闭后将无法再次查看。 6. 列表页可查看已创建的系统账号，操作栏的禁用/启用 按钮可以修改系统账号的启用状态，更新 按钮可以修改系统账号的配置，删除按钮可以删除系统账号。

本小节介绍企业主机安全的计费模式。 计费模式概述 主机安全服务提供包年/包月、按需计费两种计费模式，以满足不同场景下的用户需求。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期进行结算。购买周期越长，享受的折扣越大。 按需计费：一种后付费模式，即先使用再付费，按照主机安全服务实际使用时长计费，秒级计费，按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用，无需提前预置资源，从而降低预置过多或不足的风险。 计费模式 包年/包月 按需计费 ::: 付费方式 预付费按照订单的购买周期结算。 后付费按照主机安全服务实际使用时长计费。 计费周期 按订单的购买周期计费。 秒级计费，按小时结算。 适用计费项 配额版本：基础版、专业版、企业版、旗舰版、网页防篡改版和容器版。 配额版本：企业版、容器版。 关闭防护计费 按订单的购买周期计费。主机、容器关闭防护对包年/包月计费无影响。 关闭防护后不计费。 升级规格 基础版、专业版、企业版支持升级规格。 不支持升级规格。 适用场景 适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。对于长期使用者，推荐该方式。 适用于主机、容器防护需求波动的场景，可以随时开通，随时删除。

日志采集器在机器上的安装位置？ 云主机：登录云主机执行以下命令，在进程信息中可查看采集器安装路径。 systemctl status lmtagent 云容器引擎：执行以下命令，在进程信息中可查看采集器安装路径。 ps efgrep lmtagent 如何在容器集群中部署日志采集插件？ 需要再容器集群中安装ctglogoperator插件，安装步骤详情请查看云容器引擎用户指南插件市场。 使用采集器过程中，CPU占用较高怎么处理？ 若在使用采集器过程中，服务器的CPU占用较高，请确认您在云日志服务控制台中配置的日志采集路径下是否有大量的日志文件，若存在大量文件，建议定时清理，以减少采集器在收集日志过程中带来的系统资源占用。 针对云容器引擎场景，如果要采集的日志量很大或者有突发流量，v2.0.0及以下版本，会有资源超限保护策略，会触发采集pod重启，如果采集日志量超过2M/s，强烈建议调整默认资源限制到2C2G或者更高，调整入口：云容器引擎控制台 【选择对应集群】 插件 插件实例 找到 ctglogoperator，点击右侧更新，修改如下配置部分后，点击确定保存即可。 将以下配置部分： resources: limit: cpu: "1000m" memory: "1024Mi" request: cpu: "10m" memory: "200Mi" selfMonitor: cpuUsageLimit: 10 memUsageLimit: 1000 修改为： 改成 resources: limit: cpu: "2000m" memory: "2048Mi" request: cpu: "10m" memory: "200Mi" selfMonitor: cpuUsageLimit: 10 memUsageLimit: 2000

本节介绍了: cstorcsi插件的用户指南。 云容器引擎服务提供cstorcsi插件，基于Kubernetes容器存储接口（CSI），深度融合天翼云存储服务云硬盘、弹性文件存储、对象存储、并行文件和海量文件等，并完全兼容Kubernetes原生的存储服务。 插件介绍 cstorcsi插件包括cstorcsiprovisioner和cstorcsinodeplugin两部分。 cstorcsiprovisioner以无状态负载形态部署，通过将云存储服务的功能与 Kubernetes 的存储框架无缝集成，使用户能够通过 Kubernetes API 动态创建和删除存储卷，而无需直接与云存储服务进行交互； cstorcsinodeplugin以守护进程形态部署在所有节点，将存储卷与节点上的容器运行时进行集成，并提供对存储卷的挂载、卸载和快照等操作的支持，以使容器可以方便地使用存储卷提供的持久性存储功能。 版本推荐 目前CSI版本中，4.0及以上版本为新版插件，4.0以下版本为旧版插件。两版插件的实现逻辑存在差异，建议优先采用新版插件。 新版插件完全兼容旧版插件的所有功能，不存在兼容性问题。 插件安装 前提条件 大部分资源池插件安装无需配置用户AK和SK，仅少部分资源池在安装前需要配置。如需配置AK和SK，请先到天翼云门户“用户”“安全设置”“用户AccessKey”中获取AK和SK。 预付费账号请检查天翼云账户余额是否在100元以上，cstorcsi插件开通的存储为按需付费方式，需要账户余额在100元以上才可正常开通。 强烈建议使用CStorCSI的最新版本，至少选择4.0及其以上版本，越高的版本具备更多特性，更好的性能，更好的兼容性。最新CSI版本兼容之前的CSI版本。

参数 示例值 描述 ccse.ctyun.cn/eniinstanceid portxxx ECI容器实例的网卡ID k8s.ctyun.cn/eciinstanceid ecixxxxx ECI容器实例的ID k8s.ctyun.cn/eciinstancecpu "1.0" ECI容器实例CPU大小 k8s.ctyun.cn/eciinstancemem "1.0" ECI容器实例Memory大小 k8s.ctyun.cn/eciinstancezone cnxxxxxxxxpublicctcloud ECI容器实例所在可用区名称 k8s.ctyun.cn/ecivpc vpcxxxxxx ECI容器实例所属VpcId k8s.ctyun.cn/ecisubnet subnetxxxxxx ECI容器实例所属子网ID k8s.ctyun.cn/ecisecuritygroup sgxxxxxx ECI容器实例所在的安全组ID k8s.ctyun.cn/ecirequestid 80e90ccca5b54034acae7c0c8eeb376f 请求ID k8s.ctyun.cn/k8sversion v1.25.6 集群版本 k8s.ctyun.cn/clusterdns 10.96.0.10 集群DNS服务器的IP地址 k8s.ctyun.cn/clusterdomain cluster.local 集群本地域名 k8s.ctyun.cn/vkversion v1.2.020240829 cubevk版本

本文介绍如何查看容器列表及列表参数说明。 在容器安全的实时监测页面，支持按“节点”和“命名空间”进行分类查看集群中的容器信息。 操作步骤 1. 登录容器安全卫士控制台。 2. 在左侧导航栏选择“容器安全 > 实时检测”，进入容器实时检测页面。 3. 分类查看容器信息：选择“节点”和“命名空间”页签，可以更直观地分类查看集群中各个节点和各个命名空间上的容器信息。 4. 查看汇总统计信息：容器列表上方汇总展示了当前节点或命名空间中各类型的容器数量，包括运行中容器、特权容器、节点启动容器、有漏洞的容器和有异常行为的容器等，单击想要查看的容器类型，下方容器列表会根据单击选择的条件进行筛选。 5. 随着在左侧树形结构中的选择改动，右侧统计结果将响应式动态变化。 6. 查看容器列表：容器列表内，支持按照“容器名称”、“镜像名称”、“Pod名称”、“容器标签”、“容器IP”、“容器类型”、“运行状态”、“安全状态”等进行筛选查询。 容器列表内各参数说明如下： 参数 说明 容器名称 容器的名称。 容器类型 容器类型分为集群启动容器、节点启动容器和特权容器。 Pod名称 容器所属Pod的名称。 应用 容器所提供的应用服务，如kubernetes、apache、nginx等。 镜像名称 关联镜像是指该容器基于哪个镜像构建的。 运行状态 运行状态分为运行中、停止运行、已暂停、已删除。 安全状态 安全状分为“有异常”和“无异常”，有异常是指触发了安全策略产生告警的容器。 7. 查看图标说明：在容器列表左下角，可查看容器列表中图标的说明信息，前三个图标（节点启动容器、集群启动容器、特权容器）表示的是容器类型，其余图标表示的是容器列表中的应用。

本章节介绍云容器集群节点内存高负载故障演练。 背景介绍 当云容器引擎（CCE）节点的内存被异常占用（例如，由应用内存泄漏、缓存数据无限制膨胀或资源限制配置不当引起），其内存使用率会飙升。一旦可用内存耗尽，系统可能会频繁进行内存交换，甚至触发 OOM Killer（OutOfMemory Killer）强制终止 Pod，导致服务中断。本演练模拟节点内存资源被持续占用的高负载场景，帮助您检验 Pod 的资源限制和服务质量配置、评估 kubelet 的驱逐策略，验证 HPA（水平Pod自动伸缩）的有效性。 基本原理 启动自定义程序不断申请内存，模拟主机内存负载升高。 注意 设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的节点列表。 5. 在弹出的对话框中，单击添加节点。 6. 勾选您希望进行故障演练的一个或多个节点 ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。

本节介绍了该产品的服务等级协议。 弹性容器实例产品服务等级协议，详情请参见这里。