本节介绍了云容器引擎的最佳实践：通过特权容器配置内核参数。 前提条件 开通特权容器需要通过命令行模式连接到目标集群，所以需要先保存集群kubeconfig，并且配置好kubectl环境。 注意 修改主机的内核配置可能会对系统的稳定性和安全性产生影响，因此在进行这些操作时请谨慎考虑，并确保您具备足够的了解和经验。 后台操作流程 编写应用yaml，创建特权容器，示例如下： kind: DaemonSet apiVersion: apps/v1 metadata: name: daemonsettest labels: name: daemonsettest spec: selector: matchLabels: name: daemonsettest template: metadata: labels: name: daemonsettest spec: hostNetwork: true containers: name: daemonsettest image: nginx:alpine command: "/bin/sh" args: "c" while :; do time$(date);done imagePullPolicy: IfNotPresent lifecycle: postStart: exec: command: sysctl "w" net.ipv4.tcptwreuse1 securityContext: privileged: true imagePullSecrets: name: defaultsecret spec.spec.containers.lifecycle 字段是指容器启动后执行设置的命令；spec.spec.containers.securityContext.privileged: true是指开启特权容器。 使用以上yaml文件创建特权容器：kubectl apply f daemonsettest.yaml 执行后查看是否容器启动成功：kubectl get daemonset 当看到READY数量跟节点数量相同时，说明已经全部创建成功，则可以在当前主机执行kubectl get po grep daemonsettest 或者docker ps grep daemonsettest查找对应容器。 通过命令 docker exec it 356d0e5a831c /bin/sh 或 kubectl exec it podname bash 进入容器内部，然后执行命令sysctl a grep net.ipv4.tcptwreuse查看对应的内容是否有修改命令行终端确认修改系统参数成功。

阶段三：启动问题 Pod处于init状态 错误信息 说明 推荐的解决方案 停留在Init:N/M状态 该Pod包含M个初始化容器中的N个已经启动完成，剩余的容器未启动成功。 通过kubectl describe pod n 命令查看Pod的事件，确认当前Pod中未启动的初始化容器是否存在异常。 通过kubectl logs n c 命令查看Pod中未成功启动的初始化容器的日志，通过日志内容排查问题。 查看Pod的配置，例如检查健康检查配置，进一步确认未成功启动的初始化容器配置是否正常。 停留在Init:Error状态 Pod中的初始化容器启动失败。 通过kubectl describe pod n 命令查看Pod的事件，确认当前Pod中未启动的初始化容器是否存在异常。 通过kubectl logs n c 命令查看Pod中未成功启动的初始化容器的日志，通过日志内容排查问题。 查看Pod的配置，例如检查健康检查配置，进一步确认未成功启动的初始化容器配置是否正常。 停留在Init:CrashLoopBackOff状态 Pod中的初始化容器启动失败并处于反复重启状态。 通过kubectl describe pod n 命令查看Pod的事件，确认当前Pod中未启动的初始化容器是否存在异常。 通过kubectl logs n c 命令查看Pod中未成功启动的初始化容器的日志，通过日志内容排查问题。 查看Pod的配置，例如检查健康检查配置，进一步确认未成功启动的初始化容器配置是否正常。 Pod启动失败（CrashLoopBackOff） 错误信息 说明 推荐的解决方案 日志中存在exit(0)。 容器中前台进程执行完毕正常退出。 非Job类型工作负载对应的Pod容器需要前台进程作为常驻进程，若前台进程执行完毕且无常驻进程，容器就会正常退出，kubelet检测到容器退出后重新拉起该容器，进而导致容器一直在重启。 修改容器主进程为常驻进程。 Event信息中存在Liveness probe failed:。 容器健康检查失败。 核查Pod中所配置的容器健康检查（Liveness Probe）策略是否符合预期，以及对应的健康检查条件是否满足。 Pod日志中存在no left space。 磁盘空间不足。 清理主机上不再需要的大文件或扩容磁盘。 启动失败，无Event信息。 可能是Pod中声明的Limit资源少于实际Pod进程启动所需资源。 检查Pod的资源配置是否正确。 Pod日志中出现Address already in use。 同一Pod中的Container端口存在冲突。 检查Pod是否配置了hostNetwork: true，这意味着Pod内的容器会直接与宿主机共享网络接口和端口空间。如果无需使用，请改为hostNetwork: false。 如果Pod需要使用hostNetwork: true，请配置Pod的反亲和性，确保同一副本集中的Pod被调度到不同节点。 检查并确保不存在也不会有两个或多个具有相同端口需求的Pod运行在同一台节点上。 检查主机上是否有主机进程占用了该端口，尽量避免在k8s节点主机上直接部署业务进程。 Pod日志中出现container init caused "setenv: invalid argument"": unknown。 工作负载中挂载了Secret，但Secret对应的值没有进行Base64加密。 通过控制台创建Secret，Secret对应的值会自动进行Base64加密。 通过YAML创建Secret，并执行echo n "xxxxx" base64命令手动对密钥值进行Base64加密。 无相关信息。 可能是业务Pod自身问题，如业务容器中进程启动参数有误。 查看Pod日志，通过业务日志内容排查问题。

本文主要介绍 节点Kubelet检查。 检查项内容 检查节点kubelet服务是否运行正常。 解决方案 问题场景一：kubelet状态异常 kubelet异常时，节点显示不可用，请修复节点后，重试检查任务。 问题场景二：ccepause版本异常 检测到当前kubelet依赖的pause容器镜像版本非ccepause:3.1，继续升级将会导致批量Pod重启，当前暂不支持升级，请联系技术支持人员。

BestEffort BestEffort Pod 可以使用未分配给其他 QoS 类 Pod 的节点资源。在节点遇到资源压力时，kubelet 将优先驱逐 BestEffort Pod。 Pod 中所有的容器都没有 CPU 和内存的 request 和 limit 场景一 节点内存超过了预留的上限，导致节点 OOMkill。 解决方法： 升级节点的规格 迁移 Pod 至其他资源充足的节点 场景二 Pod 的内存 limit 设置过低，导致容器在使用内存超过限制时触发了OOMkill。此时，kubelet 会重启容器，但由于内存限制仍未改变，容器将再次超过限制并被终止。这种情况会导致容器反复重启，影响应用程序的稳定性。 解决方法： 扩大容器的内存 limit 设置

云服务名称 是否支持条件键 云通信短信 否 弹性文件服务 否 分布式消息服务Kafka 否 账务 是 分布式消息服务RabbitMQ 否 分布式消息服务RocketMQ 否 云硬盘 是 天翼云电脑（政企版） 是 内网DNS 否 CRM业务中台 是 分布式缓存服务Redis版 否 弹性云主机 是 弹性负载均衡 否 镜像服务 是 云监控 否 弹性伸缩服务 否 虚拟私有云 是 物理机 否 云硬盘备份 否 云主机备份 否 服务器安全卫士（原生版） 否 密钥管理 否 云间高速 否 统一身份认证 是 客服工单 是 容器云服务引擎CCSE 是 微服务应用平台MSAP 否 活动与券 是 消息管理 是 Web应用防火墙（原生版） 否 云审计 否 企业组织 是 VPC终端节点 否 NAT网关 是

本文介绍如何查看ECI实例事件。 前提条件 部署ECI实例后，您可以通过弹性容器实例控制台查看该ECI实例的事件信息。 操作步骤 1. 在弹性容器实例控制台左侧导航栏中选择“容器组”，进入容器组列表页。 2. 在容器组列表中找到该实例，点击实例名称进入实例详情页面。参考如下图： 3. 在实例详情页面点击事件页签查看该实例的事件列表。参考如下图： 4. 最终展示该实例的所有事件信息。参考如下图：

专属云下购买云容器引擎与非专属云下购买云容器引擎有什么不同？ 专属云下购买云容器引擎，首先需要用户开通专属云，容器引擎的管理节点直接使用专属云计算/存储算资源，如用户的专属计算/存储资源不足，则不能继续创建云容器引擎。 专属云中可以使用云硬盘作为集群或节点的存储吗？ 可以，用户在开通集群/节点时，可选择使用专属存储或云硬盘。 专属云容器引擎中哪些资源是物理独享的？ 专属云容器引擎中，计算资源全部是物理独享的，包括集群管理节点、工作节点；存储资源如果用户选择了专属存储则也是物理独享的。

操作场景 配置项（ConfigMap）是一种用于存储工作负载所需配置信息的资源类型，内容由用户决定。配置项创建完成后，可在容器工作负载中作为文件或者环境变量使用。 配置项允许您将配置文件从容器镜像中解耦，从而增强容器工作负载的可移植性。 配置项价值如下： 使用配置项功能可以帮您管理不同环境、不同业务的配置。 方便您部署相同工作负载的不同环境，配置文件支持多版本，方便您进行更新和回滚工作负载。 方便您快速将您的配置以文件的形式导入到容器中。 前提条件 已创建集群和节点资源，具体操作请参见购买混合集群。若已有集群和节点资源，无需重复操作。 操作步骤 步骤 1 登录CCE控制台，在左侧导航栏中选择“配置中心 > 配置项（ConfigMap）”，单击“创建配置项”。 步骤 2 参照下表设置新增配置参数。 表新建配置参数说明 参数 参数说明 配置名称 新建的配置名称，同一个命名空间里命名必须唯一。 所属集群 使用新建配置的集群。 集群命名空间 新建配置所在的命名空间。若不选择，默认配置为default。 描述 配置项的描述信息。 配置数据 工作负载配置的数据可以在容器中使用，或被用来存储配置数据。其中，“键”代表文件名；“值”代表文件中的内容。 1. 单击“添加更多配置数据” 。 2. 输入键、值。 配置标签 标签以Key/value键值对的形式附加到各种对象上（如工作负载、节点、服务等）。 标签定义了这些对象的可识别属性，用来对它们进行管理和选择。 1. 单击“添加标签” 。 2. 输入键、值。 步骤 3 配置完成后，单击“创建”。 工作负载配置列表中会出现新创建的工作负载配置。 使用kubectl创建配置项 步骤 1 请参见通过kubectl操作CCE集群配置kubectl命令。 步骤 2 创建并编辑cceconfigmap.yaml文件。 vi cceconfigmap.yaml apiVersion: v1 kind: ConfigMap metadata: name: cceconfigmap data: SPECIALLEVEL: Hello SPECIALTYPE: CCE 步骤 3 创建配置项。 kubectl create f cceconfigmap.yaml kubectl get cm NAME DATA AGE cceconfigmap 3 3h cceconfigmap1 3 7m 相关操作 配置项创建完成后，您还可以执行下表中的操作。 操作 说明 查看YAML 单击配置项名称后的“查看YAML”，可查看到当前配置项的YAML文件。 更新配置 1. 选择需要更新的配置项名称，单击“更新”。 2. 更改配置项的信息。 3. 单击“更新”。 删除配置 选择要删除的配置项，单击“删除”。 根据系统提示删除配置。

本节介绍了设置容器规格的用户指南。 在Kubernetes中，设置容器规格是确保应用程序在集群中有效运行的关键步骤。通过配置容器的资源请求和限制，可以优化资源使用，提升应用程序的稳定性和性能。 在Kubernetes中，资源请求（requests）和限制（limits）是用于指定容器所需的最小和最大资源量的设置。主要资源包括CPU和内存。 资源请求（requests）：容器运行时所需的最小资源量。根据申请值调度该实例到满足条件的节点去部署工作负载。 资源限制（limits）：容器允许使用的最大资源量。如果容器尝试使用超过限制的资源，可能会被终止。 通过控制台中设置容器规格 1、登录CCE控制台，单击集群名称进入集群。 2、在集群控制台左侧导航栏中选择“工作负载 ”，切换至“无状态 ”页签，单击“创建Deployment”。 3、在实例内容器设置CPU/内存限制。 4、点击“提交”，创建完成。 常见问题和解决方法 Pod调度失败 确保节点有足够的资源满足容器的资源请求。 检查集群资源配额设置，确保配额没有被超出。

此小节介绍企业主机安全文件完整性管理。 查看文件完整性管理 约束限制 未开启旗舰版、网页防篡改版、容器版防护不支持文件完整性相关操作。 操作步骤 1、登录管理控制台。 2、在页面左上角选择“区域”，选择“安全 > 企业主机安全”，进入“企业主机安全”页面。 3、在弹窗界面单击“体验新版”，切换至主机安全服务页面。 4、选择“主动防御 > 文件完整性管理”，进入文件管理界面，选择“云服务器”和“变更文件”页签可查看对应的变更详情。 进入文件管理 查看云服务器变更详情 约束限制 未开启旗舰版、网页防篡改版、容器版防护不支持文件完整性相关操作。 操作步骤 1、登录管理控制台。 2、在页面左上角选择“区域”，选择“安全 > 企业主机安全”，进入“企业主机安全”页面。 3、在弹窗界面单击“体验新版”，切换至主机安全服务页面。 4、左侧选择“主动防御 > 文件完整性管理 > 云服务器”，进入服务器页面。 进入云服务器 5 单击服务器名称进入服务器变更详情页。 变更参数说明 参数名称 参数说明 取值样例 文件 发现变更的文件名称。 du 路径 发现变更文件所在的路径。 变更内容 变更的情况描述。 鼠标放置变更内容可查看详情。 将SHA2560ba0c4b5e48e55a6改为4f6079f5b37d1513 变更类型 变更的文件类型。 文件 变更类别 变更文件的类别。 新增 、 修改 、 删除 修改 变更时间 目标文件发生变更的时间。

本小节介绍SWR企业版镜像管理。 SWR企业版镜像源于容器镜像服务(SWR)的企业版镜像，企业主机安全支持对这些企业版镜像手动执行漏洞、恶意文件、软件信息、文件信息、基线检查、敏感信息、软件合规和基础镜像信息的扫描并提供扫描报告。本章节介绍如何对SWR企业版镜像进行安全扫描和如何查看安全扫描报告。 约束限制 仅HSS容器版支持该功能。 仅支持对Linux镜像执行安全扫描。 查看SWR企业版镜像 1、登录管理控制台。 2、在页面左上角选择“区域”，选择“安全 > 企业主机安全”，进入“企业主机安全”页面。 3、在左侧导航栏选择“资产管理 > 容器管理”，进入容器管理界面。 说明 如果您的服务器已通过企业项目的模式进行管理，您可选择目标“企业项目”后查看或操作目标企业项目内的资产和检测信息。 4、选择“容器镜像 > 企业版镜像（SWR）”，查看企业版镜像信息。 您可以查看企业版镜像的版本、大小、所属组织、安全风险、拥有者等相关信息。 更新企业版镜像：单击“从SWR更新企业版镜像”，更新企业版镜像列表信息。 筛选最新版本的镜像：勾选“仅关注最新版本的镜像”，可筛选所有不同镜像的最新版本镜像。 SWR企业版镜像安全扫描 您可以手动执行全量、批量或单镜像的安全扫描。安全扫描的时长主要取决于镜像的大小。一般情况下扫描一个镜像可以在三分钟之内完成，扫描完成后，单击“安全报告”查看安全报告。 SWR企业版镜像支持的安全扫描项如下： 扫描项 说明 漏洞 检测镜像中存在系统漏洞、应用漏洞。 恶意文件 检测镜像中存在的恶意文件。 软件信息 统计镜像中的软件信息。 文件信息 统计镜像中的文件信息。 基线检查 配置检查：检测CentOS 7、Debian 10、EulerOS和Ubuntu16镜像的系统配置项、检测SSH应用配置项。 弱口令检查：检测镜像中存在的弱口令。 口令复杂度检查：检测镜像中不安全的口令复杂度策略。 敏感信息 检测镜像中含有敏感信息的文件。 默认不检测的路径如下： /usr/ /lib/ /lib32/ /bin/ /sbin/ /var/lib/ /var/log/ 任意路径/nodemodules/ 任意路径/任意名称.md 任意路径/nodemodules/ 任意路径/test/任意路径 /service/iam/examplestest.go 任意路径/grafana/public/build/任意名称.js 说明 任意路径：指当前路径为自定义值，可以是系统中任意名称的路径。 任意名称：指当前路径的文件名称为自定义值，可以是系统中以.md或.js后缀结束的任意名称。 可在安全报告 > 敏感信息页面，单击“敏感文件过滤路径管理”，设置不需要检测的Linux路径，最多可添加20个路径。 不检测的场景如下： 文件大于20MB。 文件类型为二进制、常用进程和自动生成类型。 软件合规 检测不允许使用的软件和工具。 基础镜像信息 检测未使用基础镜像构建的业务镜像。 1、登录管理控制台，进入企业主机安全页面。 2、在左侧导航栏选择“资产管理 > 容器管理”，进入容器管理界面。 3、选择“容器镜像 > 企业版镜像（SWR）”。 4、为单个镜像或多个镜像执行安全扫描。 说明 多架构镜像不支持批量扫描、全量扫描操作。 全量扫描时间较长，且开始全量扫描后无法中断扫描，请谨慎操作！ 单个镜像安全扫描：在目标镜像所在行的“操作”列，单击“安全扫描”，为单个目标镜像执行安全扫描。 批量镜像安全扫描：勾选所有目标镜像并单击镜像列表上方的“批量扫描”，为多个目标镜像执行安全扫描。 全量镜像安全扫描：单击镜像列表上方的全量扫描，为所有镜像执行安全扫描。 5、在弹出的提示框中，单击“确定”，启动扫描任务。 全量扫描任务启动后，您可将鼠标悬停在置灰的全量扫描按钮上查看扫描进度。 6、当镜像“扫描状态”更新为“扫描完成”，且“最近一次扫描完成时间”更新为最近任务执行时间，表示镜像安全扫描完成。

本节介绍了退订企业版实例的用户指南。 容器镜像服务支持从订单管理中心发起实例退订，不支持从控制台发起退订。 退订步骤 1. 进入天翼云控制中心 2. 导航至 "订单管理" "退订管理"。 3. 选择CRS实例，点击退订，跳转退订申请界面。 4. 选择可以关联删除的VPC终端节点，核对配置和退款金额是否正确。 5. 点击退订后，控制台实例状态为已停用。

本节介绍了退订企业版实例的用户指南。 容器镜像服务支持从订单管理中心发起实例退订，不支持从控制台发起退订。 退订步骤 1. 进入天翼云控制中心 2. 导航至 "订单管理" "退订管理"。 3. 选择CRS实例，点击退订，跳转退订申请界面。 4. 选择可以关联删除的VPC终端节点，核对配置和退款金额是否正确。 5. 点击退订后，控制台实例状态为已停用。

本章节介绍故障演练服务中创建VPC终端节点相关功能。 概述 在为弹性云主机 和云容器引擎 安装探针之前，需要先建立故障演练服务控制面与目标实例间的网络连通性，具体是通过创建VPC终端节点实现。 创建步骤 1. 登录VPC终端节点控制台。 2. 单击左侧菜单栏终端节点 ，点击页面右上角创建终端节点。 3. 服务类型 选择按服务实例ID查找服务。 4. 可用服务 中，填入故障演练专属服务实例ID （见下表），点击验证。 5. 虚拟私有云 选择目标故障演练资源所属VPC ，子网选择目标资源相关的子网。 6. 点击下一步确认订单 ，开通VPC终端节点。 服务列表 资源池 服务实例ID 服务实例名称 华东1 endpserjraeobv2mr vpcectgchaosserverhd1 西南1 endpserh1ti3dqy70 vpcectgchaosserverxn1 华北2 endpser1k6c0s0fdc vpcectgchaosserverhb2 西安7 endpserq2im8cy7tj vpcectgchaosserverxa7

集群升级 为了方便您体验新特性、规避已知漏洞/问题，使用安全、稳定、可靠的Kubernetes版本，建议您定期升级CCE集群。CCE集群版本EOS之后，您将无法获得相应的技术支持以及CCE服务SLA保障，请您务必及时升级CCE集群。 您可以通过云容器引擎管理控制台，轻松实现对Kubernetes版本的可视化升级，提升集群业务的稳定性和可靠性。

本节介绍了云容器引擎的计费类常见问题。 容器计费项和计费方式是什么？ 支持包年包月和按需计费2种方式，详情可查：点这里 容器如何定价？ 收费项包括：集群管理费、IaaS资源费等, 详情可查：点这里 容器创建的节点是否支持按需转包周期？ 目前不支持按需与包周期互转。 如何为购买的容器实例续费？ 为防止资源到期或者浪费，已经购买包月实例的用户，可执行续费操作，延长容器实例的有效期，也可以设置到期自动续费的相关操作。 开通的容器实例资源何时生效？ 天翼云容器资源在客户支付成功之后，系统经过初始化完成后即可生效使用。 包周期集群到期可以直接删除吗？ 按天翼云规则，到期实例有15天冻结期，期间用户可以发起续订，集群实例会恢复。超过15天冻结期，实例会注销。 如何退订我的容器集群？ 进入控制台，从集群管理列表，可以发起退订。详细可查看：退订集群

名称 描述 WebsiteConfiguration 响应的容器。 类型：容器。 子节点：IndexDocument、ErrorDocument、RoutingRules 或 RedirectAllRequestsTo。 IndexDocument Suffix元素的容器。 类型：容器。 父节点：WebsiteConfiguration。 子节点：Suffix。 Suffix 在请求website endpoint时，Suffix会被加在请求的后面。 类型：字符串。 父节点：IndexDocument。 ErrorDocument Key的容器。 类型：容器。 父节点：WebsiteConfiguration。 子节点：Key。 Key 如果出现 4XX 错误，返回的Object。 类型：字符串。 父节点：ErrorDocument。 RoutingRules 托管模式配置到当前Bucket的重定向规则容器。 类型：容器。 父节点：WebsiteConfiguration。 子节点：RoutingRule。 RoutingRule 具体重定向规则的容器。 父节点：RoutingRules。 子节点：Condition、Redirect。 Condition 描述重定向规则匹配的条件的容器。 类型：容器。 父节点：RoutingRule。 子节点：HttpErrorCodeReturnedEquals、KeyPrefixEquals。 HttpErrorCodeReturnedEquals Redirect生效时的HTTP错误码。 类型：字符串。 父节点：Condition。 KeyPrefixEquals 重定向规则生效时的文件名的前缀。 类型：字符串。 父节点：Condition。 Redirect 重定信息容器。 类型：容器。 父节点：RoutingRule。 子节点：Protocol、HostName、ReplaceKeyPrefixWith、ReplaceKeyWith。 Protocol 描述重定向请求时使用的协议。 类型：字符串。 父节点：Redirect或者RedirectAllRequestsTo。 HostName 重定向请求时使用的站点名。 类型：字符串。 父节点：Redirect或者RedirectAllRequestsTo。 ReplaceKeyPrefixWith 重定向请求时使用的文件名前缀。 类型：字符串。 父节点：Redirect。 ReplaceKeyWith 重定向请求时使用的文件名。 类型：字符串。 父节点：Redirect。 RedirectAllRequestsTo 托管模式为重定向请求的容器。 父节点：WebsiteConfiguration。 子节点：HostName、Protocol。

本文介绍如何开启容器安全防护。 为快速实现云原生应用防护，您需要购买容器安全卫士实例、配置防护策略并开启防护。 防护开启后，通过仪表盘查看访问统计信息和攻击防护记录，掌握业务的安全状况。 配置流程 步骤一：购买容器安全卫士实例 详细步骤请参见购买容器安全卫士。 步骤二 ：安装Sever/Agent 详细步骤请参见安装Server/Agent。 步骤三：配置防护策略 Server/Agent安装完成后，系统默认使用“默认策略”防护所有容器，并将“状态”切换为开启。 用户也可以自定义防护策略，详细步骤如下： 1. 登录容器安全卫士控制台。 2. 在左侧导航栏，选择“容器安全 > 容器策略”，进入容器策略页面。 3. 在“入侵检测策略”页面，可以添加防护策略，并将策略的“启用状态”切换为开启。 4. 在“入侵检测规则”页面，可管理命令执行、读写文件、网络活动、文件内容等检测规则。

支持在Prometheus监控中配置Service Monitor，以采集云容器集群中指定的Service对应的Pod暴露的监控指标。 使用限制 仅支持容器环境实例。 相关费用 使用Service Monitor将产生自定义指标采集相关费用。更多信息，请参见计费说明。 前提条件 已创建容器环境实例，即容器集群。 在容器集群中，已经为需要暴露监控指标的Pod创建了Service，且各Pod在Service中配置的端口上已暴露了监控指标。 功能入口 1. 登录应用性能监控APM控制台，点击左侧菜单栏Prometheus监控。 2. 在Prometheus监控菜单下，点击接入管理。 3. 在已接入环境页签，查看容器环境列表，点击目标容器环境操作列的指标采集按钮，进入指标采集页面。 4. 在指标采集页签，单击Service Monitor，进入Service Monitor配置页面。 启用功能 在Service Monitor页面下，点击功能启用按钮，即可开启Service Monitor能力。 启用后，您可以查看当前容器集群中所有的Service Monitor及相关配置信息，同时会根据配置的时间间隔和Path抓取监控指标。 管理ServiceMonitor 新增ServiceMonitor 1. 在ServiceMonitor页面，点击新增按钮。 2. 在界面的yaml中，依次选择容器集群的命名空间、Service和端口，然后配置Metric路径和采集间隔（单位：秒），然后点击检查按钮，显示配置正确，可以创建之后，点击创建按钮，即可生成ServiceMonitor配置。

本文介绍事件总线EventBridge的产品优势。 可用性 支持高吞吐量的事件发布和消费。 支持服务Serverless化和自动弹性伸缩，轻松应对突发流量。 支持无状态实例，节点异常对服务无影响，服务可用性高。 易用性 支持无缝迁移上云，完全兼容CloudEvents 1.0。 支持多种访问方式，包括控制台与CloudEvents SDK。 支持接入多种应用程序，包括天翼云服务和自定义应用。 安全性 对接统一身份认证服务，支持通过天翼云账号向RAM用户授权。 支持HTTP/HTTPS协议。

名称 描述 DeleteResult 包含整个响应的容器。 类型：容器。 子节点：Deleted、Error。 Deleted 成功删除的容器，包含成功删除的object。 类型：容器。 父节点：DeleteResult。 Key 尝试删除的object名。 类型：字符串。 父节点：Deleted或 Error。 Error 删除失败的容器，包含删除失败的object信息。 类型：容器。 父节点：DeleteResult。 子节点：Key、Code、Message。 Code 删除失败的状态码：AccessDenied、InternalError。 类型：字符串。 父节点：Error。 Message 错误的描述。 类型：字符串。 父节点：Error。

本文介绍云容器引擎的功能特性。 集群管理 支持1.15/1.18版本的Kubernetes 。 支持设置Master节点数量1个（基础版）或3个（高级版）。 支持50个Worker节点的集群规模。 支持绑定弹性IP，使用云主机、云硬盘、VPC作为集群的基础计算、存储、网络资源。 支持通过不同企业项目纳管集群。 支持挂载普通IO、高IO类型数据盘。 支持通过前端web界面及后台kubectl操控集群。 支持管理命名空间，可创建/删除命名空间。 节点管理 支持查看节点基本信息，节点事件记录，并进行节点重启等基本操作。 支持查看节点资源的使用情况，包括CPU、内存、网络速率、硬盘使用量等指标。 工作负载管理 支持创建与管理无状态应用（Deployment）、有状态应用（StatefulSet）。 支持最大100个实例数，支持同时多容器创建，支持用户自定义容器规格、容器镜像、环境变量等，支持容器生命周期处理，支持用户进行健康检查、本地存储卷HostPath，LocalVolume的容器数据存储挂载、容器日志挂载等设置。支持与节点、应用的亲和性、反亲和性调度策略。支持手动与自动触发应用伸缩，支持Pod级别的水平伸缩告警策略，可设置CPU使用率及物理内存使用率两种指标。支持迁移时间窗设置，支持通过YAML文件进行直接编辑应用。 支持负载应用的升级、版本回退功能。 支持查看应用资源的使用情况，包括CPU、内存、网络速率等指标，支持进行事件查看。 支持管理应用标签及注解，可自定义标签的key与value。 支持容器组管理，可查看容器组详细信息，并提供容器终端可实现对容器内部进行操控。

本文主要介绍 节点最多可以创建多少个Pod。 节点可以创建最大Pod数量由如下参数决定。 节点可分配容器IP数（alpha.cce/fixPoolMask）：在创建CCE集群时配置，仅网络模型为“VPC网络”需要配置。 节点最大实例数（maxPods）：在创建节点时配置，是kubelet的配置项。 节点上最多能创建多少个Pod，取决于这几个参数的最小值。 对于“容器隧道网络”的集群，仅取决于节点最大实例数。 对于“VPC网络”的集群，取决于节点最大实例数和[节点可分配容器IP 数的最小值，即 min(节点最大实例数, 节点可分配容器IP数) 。 对于“云原生2.0网络”的集群（CCE Turbo集群），取决于节点最大实例数和CCE Turbo集群节点网卡数量中的最小值。建议节点最大实例数不要超过节点网卡数，否则当节点规格可分配网卡不足时Pod实例可能无法正常调度。 节点可分配容器IP数 在创建CCE集群时，如果网络模型选择“VPC网络”，会让您选择每个节点可供分配的容器IP数量。 该参数会影响节点上可以创建最大Pod的数量，因为每个Pod会占用一个IP（使用容器网络），如果可用IP数量不够的话，就无法创建Pod。 节点默认会占用掉3个容器IP地址（网络地址、网关地址、广播地址），因此节点上 可分配给容器使用的IP数量 您选择的容器IP数量 3 ，例如上面图中可分配给容器使用的IP数量为 1283125。

参数 参数说明 服务名称 设置访问服务的名称。 访问方式 设置访问服务的方式，支持： 集群内访问：提供支持TCP/UDP协议的被同一集群内其他服务访问的入口。 VPC内网访问：提供支持TCP/UDP协议的可被同一VPC下的其他服务访问的入口。 公网访问：提供支持TCP/UDP协议的Internet访问入口，包含弹性IP方式。 VPC内网负载均衡 “访问方式”选择“VPC内网访问”时有效。 访问类型 “访问方式”选择“VPC内网访问”且开启“VPC内网负载均衡”后有效。 “访问方式”选择“公网访问”后有效。 服务亲和 “访问方式”选择“VPC内网访问”或者“公网访问”后有效。 端口映射 设置访问服务的“协议”、“容器端口”、“访问端口”。

约束与限制 集群升级出现异常时，集群可通过备份数据进行回滚。若您在升级成功之后对集群进行了其它操作（例如变更集群规格），将无法再通过备份数据回滚。 容器隧道网络集群升级至1.19.16r4、1.21.7r0、1.23.5r0、1.25.1r0及之后的版本时，会移除匹配目的地址是容器网段且源地址非容器网段的SNAT规则；如果您之前通过配置VPC路由实现集群外直接访问所有的Pod IP，升级后只支持直接访问对应节点上的Pod IP。 NGINX Ingress控制器插件新版本配置优雅退出和ELB删除后端控制器宽限时间，支持无损升级。以下插件版本升级过程可能会出现服务短暂不可用，若集群中已安装下列版本的插件，请选择业务低峰期进行升级，具体版本如下： 插件版本 小版本范围 2.1.x x < 32 2.2.x x < 41 2.4.x x < 4 版本差异说明 版本升级路径 版本差异 建议自检措施 升级至v1.28、v1.29、v1.30、v1.31、v1.32 请关注Kubernetes API变更。 检查集群中已使用的API版本，避免使用已废弃的API版本。 v1.23/v1.25 升级至v1.27 容器运行时Docker不再被推荐使用，建议您使用Containerd进行替换。 已纳入升级前检查。 v1.23升级至v1.25 在Kubernetes v1.25版本中，PodSecurityPolicy已被移除，并提供Pod安全性准入控制器作为PodSecurityPolicy的替代。 l 如果您需要将PodSecurityPolicy的相关能力迁移到Pod Security Admission中，需要参照以下步骤进行： 1. 确认集群为CCE v1.23的最新版本。 2. 迁移PodSecurityPolicy的相关能力迁移到Pod Security Admission。 3. 确认迁移后功能正常，再升级为CCE v1.25版本。 l 如果您不再使用PodSecurityPolicy能力，则可以在删除集群中的PodSecurityPolicy后，直接升级为CCE v1.25版本。 v1.21/v1.19 升级至v1.23 对于社区较老版本的Nginx Ingress Controller来说（社区版本v0.49及以下，对应CCE插件版本v1.x.x），在创建Ingress时没有指定Ingress类别为nginx，即annotations中未添加kubernetes.io/ingress.class: nginx的情况，也可以被Nginx Ingress Controller纳管。但对于较新版本的Nginx Ingress Controller来说（社区版本v1.0.0及以上，对应CCE插件版本2.x.x），如果在创建Ingress时没有显示指定Ingress类别为nginx，该资源将被Nginx Ingress Controller忽略，Ingress规则失效，导致服务中断。 已纳入升级前检查。 v1.19升级至v1.21 Kubernetes v1.21集群版本修复了exec probe timeouts不生效的BUG，在此修复之前，exec探测器不考虑timeoutSeconds字段。相反，探测将无限期运行，甚至超过其配置的截止日期，直到返回结果。 若用户未配置，默认值为1秒。升级后此字段生效，如果探测时间超过1秒，可能会导致应用健康检查失败并频繁重启。 升级前检查您使用了exec probe的应用的probe timeouts是否合理。 CCE的v1.19及以上版本的kubeapiserver要求客户侧webhook server的证书必须配置Subject Alternative Names (SAN)字段。否则升级后kubeapiserver调用webhook server失败，容器无法正常启动。 根因：Go语言v1.15版本废弃了X.509[CommonName](

本章节介绍使用OPA策略引擎实现访问控制 前提条件 开通实例后，系统默认生成OPA相关的ServiceEntry和opaextauthgrpc。 验证opaextauthgrpc 在服务网格控制台>网格安全中心>自定义授权服务。 可以看到产生了一个GRPC协议的授权服务，端口为19191。 验证ServiceEntry 在服务网格控制台>集群与工作负载>服务条目中，选定istiosystem命名空间，可以看到产生了extauthz，点击编辑可以查看详情。 详情中可以看到端口为19191端口，指向127.0.0.1。 全局放行18181和18282端口 在sidecar管理>sidecar代理配置菜单下选择命名空间tab，选择我们验证功能要用的命名空间，这里选择default，配置sidecar入流量不拦截18181和18282端口（OPA agent的配置端口和健康检查端口）。 开启OPA功能 操作步骤 1. 在控制台>网格管理>OPA功能开关菜单下打开OPA开关，主要是安装OPA控制面组件。 2. 给default命名空间打上标签，自动注入istio sidecar和OPA sidecar。 kubectl label namespace default opaistioinjection"enabled" kubectl label namespace default istioinjection"enabled" 3. 部署bookinfo应用和sleep应用，可以看到pod里除了业务容器之外还有两个容器，分别是istio sidecar和OPA sidecar，OPA sidecar用于实现外部授权服务。 4. 定义AuthorizationPolicy授权策略，注意引用的外部授权服务需要和上面定义的外部授权服务名称一致，可以根据业务的需要执行OPA外部授权策略，如下示例对匹配标签app: productpage的： apiVersion: istio.ctyun.cn/v1beta1 kind: AuthorizationPolicy metadata: name: extauthz spec: selector: matchLabels: app: productpage action: CUSTOM provider:

本章节介绍云容器集群Pod删除故障演练。 背景介绍 在 CCE 中，Pod 可能因节点异常、资源争抢或误删除被删除，导致业务中断或访问失败。本演练模拟 Pod 删除，评估系统容错及自愈与告警能力。 基本原理 调用云容器引擎K8S API删除Pod。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎Pod。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎Pod实例。 添加故障动作 ：单击立即添加 ，在列表中选择Pod删除动作。 4. 此动作无需配置参数。

本章节介绍云容器集群Pod删除故障演练。 背景介绍 在 CCE 中，Pod 可能因节点异常、资源争抢或误删除被删除，导致业务中断或访问失败。本演练模拟 Pod 删除，评估系统容错及自愈与告警能力。 基本原理 调用云容器引擎K8S API删除Pod。 故障注入 1、纳管实例资源 1. 导航至 故障演练 > 目标应用 > 应用资源页面。 2. 在资源类型页签中选择云容器引擎，然后单击添加资源。 3. 在弹出的对话框中，勾选目标云容器引擎实例，单击确定。 4. 在应用资源 页面的云容器引擎 列表中，找到您的目标集群，单击其操作列的pod列表。 5. 在弹出的对话框中，单击添加pod。 6. 勾选您希望进行故障演练的一个或多个pod ，然后单击确定。 注意 当您首次对 CCE 集群执行演练时，系统会自动在该集群中安装演练探针（以 Deployment 和 DaemonSet 形式部署）。 您也可以提前在 故障演练 > 目标应用 > 探针管理 > 云容器引擎 界面查看探针的基本信息，并手动执行安装或更新操作。 2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎Pod。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎Pod实例。 添加故障动作 ：单击立即添加 ，在列表中选择Pod删除动作。 4. 此动作无需配置参数。

本文介绍如何删除ECI实例。 部署ECI实例后，您可以通过弹性容器实例控制台退订ECI实例。 操作步骤 1. 在弹性容器实例控制台左侧导航栏中选择“容器组”，进入容器组列表页。 2. 在容器组列表中找到想要删除的实例，点击该实例右侧的“退订”。参考如下图： 3. 点击“退订”后，在退订页面确认退订该实例即可。 4. 此刻该ECI实例则会进入退订流程中。当该实例在容器组列表页中无法查询到，即表明该ECI实例已经被删除。

本节介绍了设置容器生命周期的用户指南。 操作情境概述 在创建容器云引擎中创建负载时，用户可以设定回调函数，这些函数将在容器的生命周期的关键节点被触发。例如，当需要在容器停止执行前完成某些操作时，用户可以注册相应的钩子函数来实现。 命令类型 在创建负载时有3种命令启动方式 启动命令：在容器启动时，默认会执行镜像内置的命令。但用户可以通过特定设置来运行自定义的命令或覆盖镜像的默认命令。 Docker镜像包含了用于描述镜像信息的元数据，其中包括默认的启动命令（ENTRYPOINT）和参数（CMD）。当用户在创建工作负载时指定了容器的运行命令和参数，这些设置将优先于镜像中的默认值被使用。 注意 若需要执行多个命令，建议使用如/bin/sh等shell作为主命令，并将其他命令作为参数传递。 启动后处理：在容器成功启动后，可以执行一系列预设的操作。设置路径为“生命周期管理”下的“启动后处理”选项卡。 停止前处理：在容器即将停止前，执行必要的清理或保存操作。设置路径为“生命周期管理”下的“停止前处理”选项卡。

本节介绍云容器引擎的最佳实践：获取容器Core Dump。 应用场景 Core Dump是指当一个程序发生严重错误导致异常终止时，操作系统将该程序当前的内存状态以及其他相关信息保存到一个特殊的文件中，这个文件通常称为 core 文件或核心转储文件。core文件包含了程序在崩溃时的内存映像、CPU 寄存器状态、堆栈信息等，可以用于分析程序异常终止的原因。 在容器环境中，Core Dump的处理与传统的物理机环境略有不同，因为容器本身是在宿主机上运行的，因此需要一些特殊的配置才能捕获容器内发生的核心转储。本节介绍容器中core文件的一般处理流程和相关概念。 将Core Dump文件输出到主机目录 开启节点Core Dump 设置Core Dump文件的输出路径 echo "/tmp/cores/core.%t.%e.%p" > /proc/sys/kernel/corepattern 上述文件路径中： %t：表示coredump的时间。 %e：表示程序文件名。 %p：表示进程ID。 将Core Dump的输出路径修改为/tmp/cores，后续容器中的应用程序Core Dump文件也将输出到容器的/tmp/cores文件，因为在容器中读取的 /proc/sys/kernel/corepattern文件实质上就是主机的 /proc/sys/kernel/corepattern文件。 配置容器Core Dump和验证 通过kubectl或者控制台完成如下配置： apiVersion: v1 kind: Pod metadata: name: corevolume spec: volumes: name: coredumppath hostPath: 通过hostPath将容器Core Dump持久化在主机 path: /home/coredump containers: name: ubuntu image: ubuntu:12.04 command: ["/bin/sleep","3600"] volumeMounts: mountPath: /tmp/cores name: coredumppath 用上述方式创建Pod并进入，触发当前shell终端的段错误。 $ kubectl get pod NAME READY STATUS RESTARTS AGE corevolume 1/1 Running 0 55s $ kubectl exec it corevolume /bin/bash root@corevolume:/ kill s SIGSEGV $$ 在容器实际运行的主机上查看/home/coredump目录会生成core文件。 ls /home/coredump core.1738160312.corevolume.15

本节主要介绍相关术语解释 工作负载 工作负载即Kubernetes对一组Pod的抽象模型，用于描述业务的运行载体，包括Deployment、Statefulset、Job、Deamonset等。 无状态工作负载（即kubernetes中的“Deployments”）：Pod之间完全独立、功能相同，具有弹性伸缩、滚动升级等特性。如：nginx、wordpress。 有状态工作负载（即kubernetes中的“StatefulSets”）：Pod之间不完全独立，具有稳定的持久化存储和网络标示，以及有序的部署、收缩和删除等特性。如：mysqlHA、etcd。 实例（Pod） Pod是 Kubernetes 部署应用或服务的最小的基本单位。一个Pod 封装多个应用容器（也可以只有一个容器）、存储资源、一个独立的网络 IP 以及管理控制容器运行方式的策略选项。 金丝雀发布 又称灰度发布，是迭代的软件产品在生产环境安全上线的一种重要手段。在生产环境上引一部分实际流量对一个新版本进行测试，测试新版本的性能和表现，在保证系统整体稳定运行的前提下，尽早发现新版本在实际环境上的问题。 蓝绿发布 蓝绿发布提供了一种零宕机的部署方式。不停老版本，部署新版本进行测试，确认运行正常后，将流量切到新版本，然后老版本同时也升级到新版本。始终有两个版本同时在线，有问题可以快速切换。 流量治理 应用流量治理提供可视化云原生应用的网络状态监控，并实现在线的网络连接和安全策略的管理和配置，当前支持HTTP、TCP流量下的路由规则、负载均衡、会话保持、连接池管理、RBAC等能力。