本节介绍了云容器引擎的最佳实践：部署多个Nginx Ingress Controller。 背景信息 Nginx Ingress Controller因其开源特性和广泛应用而受到业界的青睐。在处理大型集群环境时，用户往往希望在同一集群内部署多个Nginx Ingress Controller实例，以便对不同流量进行有效管理。例如，某些服务可能需要通过公共网络对外提供服务，而另一些服务则仅供内部使用，不允许通过互联网访问。为了适应这种需求，可以通过设置两组独立的Nginx Ingress Controller，并分别与不同的ELB实例绑定，从而实现流量的精确控制和隔离。这种方法不仅提升了服务的安全性，还增强了流量管理的灵活性。 前提条件 已创建Kubernetes集群 已创建ELB实例，具体操作请参考创建负载均衡 部署新的Nginx Ingress Controller 在开通Kubernetes集群的时候，您可以选择为集群安装Ingress Controller组件，并为Ingress Controller绑定公网ELB实例。您可以通过以下步骤在Kubernetes集群再部署一套完全独立的Nginx Ingress Controller服务。 1. 获取Nginx Ingress Controller模板包 前往社区模板发布页面，选择合适版本的HelmChart包并下载，本文以ingressnginx4.7.5.tgz为例。 2. 上传模板包 登录云容器引擎控制台，进入“模板市场”，点击“我的模板”>“上传模板”。然后选择命名空间，点击“上传文件”，选择要上传的模板包，点击提交。 3. 发布模板实例 上传完模板包之后，在“我的模板”中选择刚上传的模板（ingressnginx），然后选择版本（4.7.5），然后点击发布。 填写“实例名称”，选择“集群名称”和“命名空间”。 在发布yaml文本中导入以下配置，根据说明填写相关参数（参数说明见下表“YAML参数说明”），其他未指定的参数会使用默认配置。 plaintext controller: image: registry: "registryvpccrsxxx.cnspinternal.ctyun.cn"

收费项目 标准资费（元/小时/核） CCE专属云节点管理vcpu 0.135 CCE专属云节点管理core 0.27 专属云中的云容器引擎，其kubernetes管理节点（master node）的底层资源使用用户已开通的天翼云专属云资源，计费将以专属云中的云容器引擎所纳管的集群全部工作节点（worker node）主机的总核数为计费因子。 例如，用户开通专属云容器引擎后，开通了2个容器集群，集群纳管的工作节点共包括10台云主机共100vcpu、2台物理机共88核，则此时专属云容器引擎部分的费用为：(100×0.135+88×0.27)元/小时。

虚拟私有云(Virtual Private Cloud,VPC),为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。您可以完全掌控自己的专有网络,VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。此外,您还可以通过云专线、VPN等服务将VPC与传统的数据中心互联互通,灵活整合资源,构建混合云网络。

虚拟私有云（Virtual Private Cloud，VPC），为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。您可以完全掌控自己的专有网络，VPC丰富的功能帮助您灵活管理云上网络，包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。此外，您还可以通过云专线、VPN等服务将VPC与传统的数据中心互联互通，灵活整合资源，构建混合云网络。

参数 参数类型 说明 示例 下级对象 balancerStrategy Object 服务负载均衡策略 BalancerStrategy certFileName String 证书文件名 certFileName certKeyFileName String 密钥证书文件名 certFileKeyName createTime String LocalDateTime创建时间 20231010 12:12:21 enableMtls Boolean 是否开启了双向认证 false enableWebsocket Boolean 是否开启了websocket支持 false groupName String 组名 default healthCheckConfig Object 健康检查配置 HealthCheckConfigVO id String ID 878da73f7dba36ff0ae80e004a4f28f9 label Object 标签map labelNames Array of Objects 标签名列表 LabelNameDTO name String 服务名称 test namespace String 命名空间 prod namespaceId String Nacos命名空间ID prod nodes Array of Objects 固定地址节点列表 VipServiceNodeDTO retry Object 重试配置 Retry serviceNameInRegistry String 注册中心服务名 demo serviceProtocol String 服务协议 http sourceType String 服务来源，VIP：固定地址；NACOS：nacos来源；KUBERNETES：云容器引擎来源 NACOS timeout Object 超时时间配置 Timeout type String 类型，取值：control或Ingress control typeDesc String 类型含义，取值：管控或Ingress 管控 updateTime String LocalDateTime更新时间 20231010 13:13:13

本节介绍了：云容器引擎发布 Kubernetes 1.25版本说明。 社区 Kubernetes 版本主要变更 Kubernetes 1.25 Changelog 1. PodSecurityPolicy 弃用，Pod Security Admission 升级为稳定版本，迁移指引可参见从 PodSecurityPolicy迁移到内置的 PodSecurity Admission控制器。 2. 临时容器升级为稳定版本，临时容器是在 Pod中存在有限时长的容器。临时容器可用于排障，特别是检查另一个容器的时候，该容器已奔溃无法使用 kubectl exec进入。 3. 对 cgroups v2的支持达到稳定状态，cgroups v2相对于 cgroups v1 进行了多项改进，更多信息请参阅cgroup v2。 4. Windows 支持得到了改进。 5. SeccompDefault 升级为 Beta，清参阅教程使用 seccomp限制容器系统调用。 6. 网络策略（NetworkPolicy）中的 endPort GA，该特性支持设置端口范围。请注意，endPort依赖网络策略提供商支持。 7. CSI 临时卷升级到稳定状态，该功能允许在 Pod spec中为临时用例直接指定 CSI卷。它们可用于注入配置、密钥、身份标志、变量等类似信息。 8. CRD 校验表达式语言升级到 Beta版，该特性允许使用通用表示式语言（CEL）声明式地验证自定义资源。更多信息见[校验规则指南](

本节介绍订购集群联邦。 订购联邦 订购步骤 1. 在CCEONE控制台右上方侧点击“创建联邦”按钮。 2. 在“订购创建联邦”页面，选择计费模式、联邦名称、容器舰队、企业项目、虚拟私有云、所在子网、安全组、ApiServer访问、是否使用EIP暴露ApiServer、删除保护等参数，选择好了后点击"下一步"。 3. 在“开通配置”页面确认创建配置符合要求后，勾选同意“服务协议”，勾选好了后点击“提交订单”。 4. 返回CCEONE控制台，查看开通状态，待实例处于“运行”状态后开通成功，可点击实例进入控制台操作联邦实例。 约束条件 项目 约束 计费模式 当前只支持“按需计费”模式。 联邦名称 实例名称不可重复；实例名称长度4~40个字符，大小写字母开头，只能包含大小写字母、数字及分隔符()，大小写字母或数字结尾。 容器舰队 容器舰队可提供多集群的统一管理，包括统一的权限管理、统一的安全策略、统一的配置管理以及统一的多联邦管理、网格等能力。 舰队成员集群与联邦之间若存在跨资源池互通需求，后台默认尝试公网互联方式；若需调整，请在订购后至联邦控制台进行设置。 企业项目 可选择已有企业项目，或者在IAM创建新的企业项目。 虚拟私有云 建议联邦实例与成员集群间网络尽可能同资源池同 VPC，可最大化降低管理流量跨网跨资源池互通的成本。 所在子网 请选择虚拟私有云子网，集群的节点将部署在此子网中，并申请子网的 IP。当子网开启IPv6时，云资源（云主机、物理机）将开启 IPv4/IPv6 双栈。 ApiServer访问 请您根据需求选择合适的ELB规格，系统将据此创建一个私网ELB实例作为 APIServer 的负载均衡器，若删除该ELB实例会导致 APIServer 无法访问。 安全组 可自动生成或者选择已有安全组，需要确保联邦访问端口在虚拟私有云的子网里为放通状态。 是否使用EIP暴露ApiServer 获得您的授权，以委托方式新建 EIP 并按 EIP 实际使用量收费，未开启，无法通过公网访问 APIServer。 删除保护 防止通过控制台或API误删除联邦控制面，删除联邦控制面实例不会对用户容器集群造成任何影响，理论上也不影响已调度完成的应用。

参数 参数类型 说明 示例 下级对象 AccessControlPolicy Container 包含响应的容器 AccessControlList Container 包含ACL 信息的容器 Owner Container 包含存储桶拥有者ID和显示名的容器 ID String 存储桶拥有者的ID DisplayName String 存储桶拥有者的显示名 Grant Container 关于权限拥有者和权限的容器 Grantee Container 关于被授予许可的用户的ID 和显示名的容器 Permission String 存储桶被授予的权限

参数 参数说明 插件规格 并发域名解析能力，请根据业务需求选择插件规格。 实例数 选择上方插件规格后，显示插件中的实例数，此处仅作显示。 容器 选择插件规格后，显示插件容器的CPU和内存配额，此处仅作显示。 提示 关于本插件的注意事项，请仔细阅读。 存根域 单击“添加”，您可对自定义的域名配置域名服务器，格式为一个键值对，键为DNS后缀域名，值为一个或一组DNS IP地址，如"acme.local 1.2.3.4,6.7.8.9"。

本节介绍了负载网络配置的用户指南。 应用场景 在单一节点上运行的容器共享宿主机的网络带宽资源。为了有效防止容器间的网络干扰并增强它们之间的网络稳定性，可对容器实施网络带宽限制。 配置细节 特定限制：使用主机网络HostNetwork模式时，Pod不适用于带宽限制功能。 带宽限制值设定：仅接受M（兆字节）或G（吉字节）为单位，例如100M、1G；最小限制为1M，最大可达4.29G。 应用范围限定：Pod带宽限制功能目前仅适用于普通容器（采用runC运行时），对于安全容器（Kata运行时）不支持。 配置方式 进入创建负载的页面，在高级配置中，选择网络配置进行配置。

local命令用于本地开发函数，包含本地调用和断点调试。 前提条件 已安装 Docker，版本 > 19.03。 已安装 VS Code，建议您安装最新的版本。 local invoke 命令 对于 标准运行时函数，local invoke 命令启动本地函数容器并请求一次函数后，随后容器退出。 对于 自定义运行时函数，local invoke 命令启动本地函数容器并监听指定端口，随后阻塞等待请求，您可以通过 Ctrl + C 中断命令。 参数解析 参数全称 参数缩写 Yaml 模式下必填 参数含义 event e 选填 标准运行时函数的事件数据。 操作案例 调用本地的标准运行时函数 进入到资源描述文件（s.yaml）所在的路径，然后执行 s local invoke 调用函数： 调用本地的自定义运行时函数 进入到资源描述文件（s.yaml）所在的路径，然后执行 s local invoke 启动本地函数容器。再通过 Curl 或 Postman 等工具发起请求： local debug 命令 local debug 命令启动本地函数容器并阻塞，待完成一次调试执行后容器退出。 注意 local debug 命令仅支持标准运行时Java、Python、Node.js函数。

开启防护 基础版/企业版/旗舰版 您可以为已购买的服务器开启基础版/高级版/企业版/旗舰版安全防护，开启后按照已购买版本所提供的能力对服务器进行安全防护。 操作须知 开启防护需要足够的防护配额，若提示配额不足，企业版可选择按需模式，其他版本需购买配额后再进行开启操作，主机防护配额购买详情请参见 购买主机安全防护配额，容器安全配额购买详情请参见购买容器安全配额。 检测周期 主机防护每日凌晨会进行全量检测。 若您在检测周期前开启防护，您需要等到次日凌晨检测后才能查看检测结果，或者立即执行手动检测。 前提条件 已购买的服务器已正常安装Agent且“Agent状态”为“在线”、“防护状态”为“未防护”。 约束条件 Linux操作系统 使用鲲鹏计算EulerOS（EulerOS with ARM）的主机，在遭受SSH帐户破解攻击时，HSS不会对攻击IP进行拦截，仅支持对攻击行为进行告警。 Windows操作系统 开启主机防护时，需要授权开启Windows防火墙，且使用主机安全服务期间请勿关闭Windows防火墙。若关闭Windows防火墙，HSS无法拦截帐户暴力破解的攻击源IP。 通过手动开启Windows防火墙，也可能导致HSS不能拦截帐户暴力破解的攻击源IP。

删除应用 前提条件 若应用下还存在关联的应用实例，则无法删除。 在“应用详情“页面，单击右上角的“删除应用“，在弹出的对话框中单击 “确认”。 收藏应用 1. 登录微服务云应用控制台，选择“应用管理 > 应用列表”。 2. 点击项目名，在应用管理右侧选择应用分组，选择应用分组下的某个应用，单击应用名右侧的“收藏应用”。 取消收藏 1. 登录微服务云应用控制台，选择“应用管理 > 应用列表”。 2. 选择“收藏应用”，选择某个应用，单击应用名右侧的“取消收藏”。 应用详情 应用详情分为三块内容：部署信息、基本信息、发布记录。 部署信息 概述 查看应用的部署情况，根据不同的应用发布方式，分为容器应用实例、ECS应用实例。选择相应的页签去查看应用的部署详情。该应用所属的项目关联的环境下的应用实例数，根据不同环境展示不同环境下的应用实例部署信息。 1. 登录微服务云应用控制台，选择“应用管理 > 应用列表”。 2. 点击项目名，在应用管理下选择应用分组下的某个应用，单击应用名，单击右侧的“部署信息”。 环境：应用所属项目下关联的所有环境以及环境下已发布的应用实例数，勾选展示。 容器应用实例：容器部署方式下不同环境的应用实例列表信息。 ECS应用实例：Ecs部署方式下不同环境的应用实例列表信息。 应用实例列表基本信息：包含应用实例名称、运行实例数/期望实例数、实例总数、所属项目、所属分组、应用名称、部署单元、技术栈版本、标签、工作负载类型（容器应用实例）、发布时间、发布状态、实例来源、操作。

本文介绍如何重启Pod。 通过重启Pod，可以将存在异常的Pod进行杀死，通过K8s机制再重新启动一个新的Pod。 操作步骤 1. 登录容器安全卫士控制台。 2. 在左侧导航栏选择“容器安全 > 实时检测”，进入容器实时检测页面。 3. 单击容器列表右侧操作列中的“重启Pod”。 4. 在弹出的提示框中单击“确认”。

参数 参数说明 云存储类型 文件存储：文件存储适用于多种使用场景，包括媒体处理、内容管理、大数据和分析应用程序等。 分配方式 使用已有存储 云存储名称：选择已创建的存储，您需要提前创建存储，创建存储步骤请参见 创建文件存储卷 。 子类型：已创建的文件存储子类型。 存储容量：该容量值为PVC的属性值，若在IaaS侧实施过存储扩容后，容量值不一致是正常的。CCE1.13集群开始支持端到端容器存储扩容功能后，PVC容量才会和存储实体容量一致 自动分配存储 自动创建存储，需要输入存储的容量。 子类型：文件存储子类型为NFS。 存储容量：单位为GB。请不要超过存储容量配额，否则会创建失败。 添加容器挂载 配置如下参数： 1. 子路径：输入文件存储的子路径，如：tmp。 Kubernetes中数据卷挂载的subpath，指引用卷内的子路径而不是其根，不填写时默认为根。现只支持文件存储，必须是相对路径，且不能以“/”或“../”开头。 2. 挂载路径：输入挂载路径，如：/tmp。 数据存储挂载到容器上的路径，请不要挂载在系统目录下，如“ / ”、“ /var/run ” 等，会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 须知： 挂载高危目录的情况下 ，建议使用低权限帐号启动，否则可能会造成宿主机高危文件被破坏。 3. 设置权限。 只读：只能读容器路径中的数据卷。 读写：可修改容器路径中的数据卷，容器迁移时新写入的数据不会随之迁移，会造成数据丢失。 单击“添加容器挂载”可增加多条设置，单击“确定”完成配置。

本节介绍了：监控常见问题。 为什么容器集群监控数据异常无法显示？ 本文介绍容器集群监控数据异常无法显示的问题现象、排查步骤和解决方法。 问题现象 容器集群监控数据异常无法显示。 排查步骤 一、检查集群是否已安装最新版本ccsemonitor插件 登录云容器引擎控制台，在集群详情页中选择插件 > 插件实例 ，查看是否安装最新版本ccsemonitor插件。如无安装请先安装ccsemonitor插件。 二、检查监控相关负载是否正常 登录云容器引擎控制台，在集群详情页中选择插件 > 插件实例 ，选择ccsemonitor插件实例，进入插件实例详情页，点击资源列表tab，查看监控相关的pod是否都是Running状态。如果有pod非Runing状态可以通过pod事件进一步排查，如无法解决请提工单反馈。 三、检查指标采集器是否能正常上报数据 登录云容器引擎控制台，在集群详情页中选择工作负载 > 无状态 ，命名空间选择 kubesystem ，查看工作负载 ccseopentelemetrycollector 的日志，查看是否有报错，如有报错，请提工单反馈。

本文介绍如何使用数据缓存创建实例。 创建数据缓存后，您可以使用数据缓存创建ECI实例，将缓存好的数据直接挂载到ECI实例中，免去拉取数据的等待时间，加速业务启动。 前提条件 确保数据缓存已经处于可用状态。 配置说明 1. 创建容器组过程中，输入数据缓存的bucket名称，点击添加，选择缓存目录和目标容器。 2. 创建容器组完成，等待一段时间变成Running状态后，点击远程连接，进入容器查看刚刚使用的数据缓存。 3. 可以在容器testdir目录查看之前拉取的数据。

本文主要介绍快速体验微服务引擎 概述 微服务引擎(CSE)是一个应用托管和微服务管理平台，依托微服务云应用平台(ServiceStage)服务，可以帮助企业简化部署、监控、运维和治理等应用生命周期管理工作。面向企业提供微服务、移动和Web类应用开发的全栈解决方案。 应用是一个功能相对完备的业务系统，由一个或多个特性相关的组件组成。应用组件是组成应用的某个业务特性的实现，以代码或者软件包为载体，可独立部署运行。 针对应用的组件提供启停、升级、回退、伸缩、查看日志、查看事件、设置访问方式、设置阈值告警等运维操作。 本例将基于ServiceComb(SpringMVC)框架，快速创建微服务应用，供您体验微服务引擎CSE的各项基础功能。 前提条件 注册天翼云帐号，并登录成功。 获取AK/SK，请参考AK/SK获取方法。 说明 如果使用微服务引擎专业版，需要配置AK/SK。 如果使用微服务引擎专享版，不需要配置AK/SK。 创建一个虚拟私有网络VPC，请参考创建虚拟私有云和子网。 创建一个CCE集群，集群中至少包含一个ECS节点(为方便后续步骤的操作，节点 规格最好选择4vCPUs、8GB内存)并且绑定弹性IP。集群绑定弹性IP，请参考云容器引擎 > 购买容器集群。 本例将绑定GitHub源码仓库，实现源码构建、归档、应用创建， 需要先到GitHub官网注册帐号。 在ServiceStage创建仓库授权，授权访问GitHub仓库，请参考微服务云应用平台 > 仓库授权。

本文介绍如何重启智算容器实例。 1. 在弹性容器实例控制台左侧导航栏中选择“智算容器组实例管理”。 2. 选择需要重启的实例，点击重启操作即可。

本节介绍本地注册集群。 CCE One 本地注册集群是用于将本地数据中心 Kubernetes 集群接入天翼云容器服务管理平台统一管理的集群形态， 提供单集群控制台管理能力。 前提条件 CCE One 注册集群提供公网和内网接入端点。请确保目标集群网络可以正常访问注册集群接入端点的9443端口。关于云上云下网络专线接通方案，请参见 云专线。 操作步骤 创建 CCE One 注册集群 1. 登录分布式容器管理控制台，在左侧导航栏选择集群资源 >注册集群。 2. 在页面左侧顶部，选择资源池。注册集群所在的开通资源池， 所选资源池与用户和资源部署地域的距离越近，网络时延越低，访问速度越快。 3. 在注册集群 指引页面，单击本地集群选项卡中的注册集群。 4. 在注册集群订购页面，按照页面指引完成集群配置。 配置项 说明 集群服务商 服务商类型。 集群名称 自定义集群的名称，实例名称不允许重复。 舰队 创建注册集群完成后自动将集群加入指定舰队。创建时可不指定，注册集群创建完成后可手动加入舰队。 企业项目 集群归属的企业项目。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 虚拟私有云 配置集群的虚拟私有云VPC。在已有VPC列表中选择已创建的VPC，或单击创建虚拟私有云创建新的VPC。 子网 在列表中根据可用区选择已有子网，或单击创建子网创建新的子网。集群控制面与默认节点池将使用此处指定的子网。 安全组 支持选择自动创建安全组 、选择已有安全组。 指定已有安全组时，系统默认不会为安全组配置额外的访问规则，可能会导致访问异常，请参考安全组规则列表。 API server 访问 为API Server创建一个按量付费的私网ELB实例，作为集群API Server的内网连接端点。API Server提供了各类资源对象（Pod、Service等）的增删改查及Watch等HTTP Rest接口。 支持选择是否开放使用 EIP 暴露 API Server。 开放：开启后，将为 API Server 私网 ELB 实例绑定一个 EIP，获得从公网访问集群 API Server 的能力。 不开放：不会创建EIP，仅能在VPC内使用KubeConfig连接并操作集群。 注意 删除默认创建的ELB实例会导致API Server无法访问。 绑定EIP到ELB实例后，API Server可以通过公网接收请求，但集群内的资源无法通过此访问公网。 绑定公网IP 设置是否启用绑定EIP。选中此选项，会在集群中自动绑定EIP，用于建立集群链接。 说明 公网接入必选项；如果云上云下集群已通过专线接通网络，可以不勾选。 集群删除保护 推荐开启集群删除保护，防止通过控制台或OpenAPI误删除集群。 5. 配置完成后，单击下一步，进入集群确认页面，确认以下信息： 确认集群配置是否正确。 确认依赖检查项是否通过。 创建集群前，需阅读《天翼云分布式容器云平台服务协议》《天翼云分布式容器云平台服务等级协议》。 6. 配置完成后，单击提交订单 。提交订单后，可以在集群列表看到创建的注册集群。等待集群创建完成（集群状态：待接入）。

本文主要介绍 Pod互访QoS限速。 操作场景 部署在同一节点上的不同业务容器之间存在带宽抢占，容易造成业务抖动。您可以通过对Pod间互访进行QoS限速来解决这个问题。 约束与限制 Pod间互访设置QoS限速支持容器隧道网络模型、VPC网络模型，其中VPC网络模型在使用Pod网络限速时需遵循以下约束： 仅支持1.19.10以上的集群版本。 仅支持普通容器（容器运行时为runc），不支持安全容器（容器运行时为kata）。 仅支持限制Pod访问Pod的场景限速，不对访问节点，对外访问产生影响。 带宽限速上限值为机型带宽上限和4.3G两者之间的最小值。 目前仅支持兆（M）级别以上的限速。 操作步骤 您可以通过对Pod添加annotations指定Pod出口带宽和入口带宽，如下所示。 apiVersion: v1 kind: Pod metadata: annotations: kubernetes.io/ingressbandwidth: 100M kubernetes.io/egressbandwidth: 100M ... kubernetes.io/ingressbandwidth：Pod的入口带宽 kubernetes.io/egressbandwidth：Pod的出口带宽 如果不设置这两个参数，则表示不限制带宽。

名称 描述 ListInventoryConfigurationsResult 整个响应的容器。 类型：容器。 子节点：ContinuationToken、InventoryConfiguration、IsTruncated、NextContinuationToken。 ContinuationToken 本次请求的continuationtoken参数。 类型：字符串。 父节点：ListInventoryConfigurationsResult。 InventoryConfiguration 清单配置的容器。 类型：容器。 父节点：ListInventoryConfigurationsResult 子节点：Destination、IsEnabled、Filter、Id、OptionalFields、Schedule。 Destination 存放清单结果的容器。 类型：容器。 父节点：InventoryConfiguration。 子节点：OOSBucketDestination。 OOSBucketDestination 存放清单结果的Bucket信息。 类型：容器。 父节点：Destination。 子节点：Bucket、Format、Prefix。 Bucket 存放清单结果文件的Bucket。 类型：字符串。 父节点：OOSBucketDestination。 Format 清单结果文件的类型。 类型：字符串。 父节点：OOSBucketDestination。 Prefix 清单结果的存储路径前缀。 类型：字符串。 父节点：OOSBucketDestination。 IsEnabled 清单功能是否启用： true：启用清单功能。 false：不启用清单功能。 类型：布尔型。 父节点：InventoryConfiguration。 Filter 清单筛选的前缀。 类型：容器。 父节点：InventoryConfiguration。 子节点：Prefix。 Prefix 筛选规则的匹配前缀。 类型：字符串。 父节点：Filter。 Id 清单名称。 类型：字符串。 父节点：InventoryConfiguration。 OptionalFields 清单结果配置项的容器。 类型：容器。 父节点：InventoryConfiguration。 子节点：Field。 Field 清单结果中包含配置项： Size：Object的大小。 LastModifiedDate：Object最后一次修改时间。 ETag：Object的ETag值，用于标识Object的内容。 StorageClass：Object的存储类型。 IsMultipartUploaded：是否为通过分片上传方式上传的Object。 说明 如果未设置配置项，清单默认输出源Bucket和Key（文件名称）。 类型：字符串。 父节点：OptionalFields。 Schedule 存放清单结果导出周期的容器。 类型：容器。 父节点：InventoryConfiguration。 子节点：Frequency。 Frequency 清单结果文件导出的周期： Daily：按天导出清单结果文件。 Weekly：按周导出清单结果文件。 类型：字符串。 父节点：Schedule。 IsTruncated 是否还有未列举的清单： true：表示还有未列举的清单。您可以将NextContinuationToken字段的值作为下一次list请求的continuationtoken参数，以获取下一页的清单配置列表。 false：表示本次已列举完成所有清单。 类型：布尔型。 父节点：ListInventoryConfigurationsResult。 NextContinuationToken 当响应中的IsTruncated为true，且NextContinuationToken非空时，使用该字段作为下一次list请求的continuationtoken参数。 类型：字符串。 父节点：ListInventoryConfigurationsResult。

本节介绍虚拟节点用户指南。 分布式容器云平台的注册集群已集成弹性容器实例（ECI）的虚拟节点，实现与云上弹性算力的衔接。用户可以在自建集群中创建虚拟节点，并使用云上弹性算力运行Pod。 前提条件 已创建注册集群； 用户IDC集群或者三方Kubernetes集群连通性正常； 集群使用Underlay网络模式，容器Pod IP集群外可访问； 依赖集群标准kubeproxy configmap； 功能优势 使用虚拟节点有如下优势： 全托管免运维； 弹性高效； 低成本； 安全隔离； 使用限制 网络插件限制：ECI默认通过云上VPC路由联通网络，不支持自定义CNI插件； 可用区不能重复创建，可用区内按需弹性； 参考 弹性容器实例 的功能限制 自建Kubernetes集群对接ECI，不支持Kubernetes中的Daemonset、HostPath等功能； 使用流程 参考使用流程 指定ECS和ECI的资源分配 。 创建虚拟节点 1. 登录分布式容器云平台，在左侧导航栏选择 集群资源 > 集群管理，选中需要操作的集群名称，点击进入集群详情； 2. 点击左侧菜单节点 > 节点，在节点列表页面，点击创建虚拟节点，进入创建虚拟节点页面； 3. 选择可用区，如有需要添加标签和污点，确定创建； 4. 在节点列表页面，查看虚拟节点信息，，虚拟节点的类型显示为virtualkubelet，并且标有 "virtualkubelet.io/providercubeeci:NoSchedule"污点； 在分布式容器云平台创建的虚拟节点，在弹性容器实例（ECI）中也能查看，由弹性容器实例 按使用情况计费； 每个可用区不可重复创建虚拟节点，可用区内根据Pod所需资源按量创建；

本节介绍了添加环境变量的用户指南。 环境变量是指容器运行环境中设定的一个变量，在云容器云引擎负载中的设置效果，与Dockerfile中利用“ENV”指令定义的环境变量效果相同，用户可在部署工作负载时进行灵活配置。 注意 请务必注意，一旦容器启动，其内部内容应当保持不变。若尝试在容器运行期间修改配置项（例如，将应用的密码、证书或环境变量直接配置到容器中），在容器重启（如因节点异常导致Pod重新调度）后，这些修改将不复存在，可能导致业务异常。为避免配置丢失，建议通过入参等方式将配置信息导入容器中。 环境变量的设置 自定义方式：用户可手动输入环境变量的名称及其对应的值。 配置项导入：允许将整个配置项中的所有键值对导入为环境变量。 配置项键值导入：用户可选择配置项中的特定键值，将其值导入为某个环境变量的值。例如，可将名为“configmapexample”的配置项中键为“configmapkey”的值导入为名为“key1”的环境变量的值。 密钥导入：允许将整个密钥中的所有键值对导入为环境变量。 密钥键值导入：用户可选择密钥中的特定键值，将其值导入为某个环境变量的值。例如，可将名为“secretexample”的密钥中键为“secretkey”的值导入为名为“key2”的环境变量的值。 变量/变量引用：允许使用Pod定义的字段值作为环境变量的值。 资源引用：允许使用容器定义的资源请求值或限制值作为环境变量的值。

问题原因 通常是节点上的容器占用索引节点过多导致节点的索引节点不足。 问题现象 1、当节点的可用索引节点低于inodesFree配置项时，则节点状态中InodesPressure为True，同时该节点上的容器被驱逐。 2、当节点索引点不足时，通常会有以下常见错误信息： 2.1 节点状态中InodesPressure为True。 2.2 当节点上的容器被驱逐时： 2.2.1 被驱逐的容器事件中可看到关键字The node was low on resource: inodes。 2.2.2 节点事件中可看到关键字attempting to reclaim inodes。 解决方案 通过节点的监控查看索引节点增长曲线，确认异常出现时间点，检查节点上的进程是否存在占用索引节点过多现象。 节点磁盘空间不足DiskPressure 问题原因 通常是节点上的容器占用磁盘过多、镜像文件过大导致节点的磁盘空间不足。 问题现象 1、当节点的可用磁盘空间低于imagefs.available配置项时，则节点状态中DiskPressure为True。 2、当可用磁盘空间低于nodefs.available配置项时，则该节点上的容器全部被驱逐。 3、当磁盘空间不足时，通常会有以下常见错误信息： 3.1 节点状态中DiskPressure为True。 3.2 当触发镜像回收策略后，磁盘空间仍然不足以达到健康阈值（默认为80%），在节点事件中可看到关键字failed to garbage collect required amount of images。 3.3 当节点上的容器被驱逐时： 3.3.1 被驱逐的容器事件中可看到关键字The node was low on resource: [DiskPressure]。 3.3.2 节点事件中可看到关键字attempting to reclaim ephemeralstorage或attempting to reclaim nodefs。

本文介绍节点相关的操作，包括开启、关闭节点防护，删除节点等。 开启/关闭防护 注意 关闭防护的节点不支持扫描操作。 1. 登录容器安全卫士控制台。 2. 在左侧导航栏，选择“节点安全”。 3. 进入节点安全页面。 关闭防护：单击节点列表上方的“关闭防护”，或者在列表中单击“防护状态”图标，可以关闭当前节点的防护容器。 开启防护：单击节点列表上方的“开启防护”，或者在列表中单击“防护状态”图标，可以恢复当前被关闭的节点防护容器。 删除节点 单击节点列表上方的“删除”，或者在列表中单击操作列的“删除”，可以删除节点的防护容器。 注意 节点状态为“未连接”时，才可以删除。 批量操作 支持批量暂停、恢复或删除节点。 1. 先勾选节点列表中的“多选框”，支持多选。 2. 再对防护容器进行关闭防护、开启防护、删除操作。 开启debug日志 单击节点列表操作列中的“开启debug日志”，可将防御容器日志开启debug模式。 下载日志 单击节点列表操作列中的“下载日志”，可将防御容器日志以压缩包的形式下载到本地。

问题描述 随着产品的不断发展，CCE标准输出日志默认采集到应用运维管理（AOM）已不推荐使用，但为了兼容老用户使用习惯，该默认配置未修改。如果该默认配置不符合您的使用要求，须在云日志服务（LTS）控制台进行关闭。推荐您将CCE标准输出日志直接采集到云日志服务（LTS），由LTS对日志进行统一管理。 说明 关闭CCE标准输出到AOM后，您在云日志服务（LTS）中配置的CCE标准输出采集到LTS才会生效。 解决办法 步骤 1 在云日志服务（LTS）控制台，单击左侧导航栏“主机管理”。 步骤 2 选择“主机”页签，单击“CCE集群”。 步骤 3 在CCE集群中，选择您需要关闭标准输出到AOM的CCE集群，关闭采集容器标准输出到AOM按钮。 步骤 4 单击“确定”，待ICAgent重启完成后，已关闭CCE标准输出到AOM。

本节介绍如何创建并管理容器进程访问策略。 添加进程阻断策略 1. 登录容器安全卫士控制台。 2. 在左侧导航栏选择“容器安全 > 进程控制”，进入进程控制页面。 3. 单击“添加策略”，进入添加策略页面。 4. 在添加策略页面输入策略名称（必填）和描述信息（非必填），选择或输入目标对象（支持通配符），选择策略规则。 5. 单击“保存”按钮，系统提示保存成功，安全策略设置完毕。 管理进程阻断策略 1. 登录容器安全卫士控制台。 2. 在左侧导航栏选择“容器安全 > 进程控制”，进入进程控制页面。 3. 查找策略：搜索框支持按策略名称、启用状态查找目的策略。 4. 策略管理：在策略列表内，支持对已添加策略进行编辑、删除、开启、关闭。

本文主要介绍如何使用ICAgent采集容器日志。 集群kubesystem命名空间下名为icagent的DaemonSet），ICAgent负责收集工作负载的日志并上报到AOM，您可以在CCE控制台和AOM控制台查看工作负载的日志。 约束与限制 ICAgent只采集.log、 .trace和 .out类型的文本日志文件。 费用说明 AOM每月赠送每个账号500M免费日志采集额度。 使用ICAgent采集日志 在工作负载中可以单独配置日志采集策略，此策略需要使用ICAgent。 步骤 1 在CCE中创建工作负载时，在配置容器信息时可以设置容器日志。 步骤 2 单击添加日志策略。 以nginx为例，不同工作负载根据实际情况配置。 图 添加日志策略 步骤 2 存储类型有“主机路径”和“容器路径”两种类型可供选择： 表 配置日志策略 参数 参数说明 :: 存储类型 主机路径：HostPath模式，将主机路径挂载到指定的容器路径（挂载路径）。用户可以在节点的主机路径中查看到容器输出在挂载路径中的日志信息。 容器路径：EmptyDir模式，将节点的临时路径挂载到指定的路径（挂载路径）。临时路径中存在的但暂未被采集器上报到AOM的日志数据在Pod实例删除后会消失。 主机路径 请输入主机的路径，如：/var/paas/sys/log/nginx 挂载路径 请输入数据存储要挂载到容器上的路径，如：/tmp 说明 请不要挂载到系统目录下，如“/”、“/var/run”等，否则会导致容器异常。建议挂载在空目录下，若目录不为空，请确保目录下无影响容器启动的文件，否则文件会被替换，导致容器启动异常，工作负载创建失败。 挂载高危目录的情况下 ，建议使用低权限帐号启动，否则可能会造成宿主机高危文件被破坏。 AOM只采集最近修改过的前20个日志文件，且默认采集两级子目录。 AOM只采集挂载路径下的“.log”、“.trace”、“.out”文本日志文件。 容器中挂载点的权限设置方法，请参见为Pod或容器配置安全性上下文。 主机扩展路径 仅“主机路径”类型需要填写 通过实例的ID或者容器的名称扩展主机路径，实现同一个主机路径下区分来自不同容器的挂载。 会在原先的“卷目录/子目录”中增加一个三级目录。使用户更方便获取单个Pod输出的文件。 None：不配置拓展路径。 PodUID：Pod的ID。 PodName：Pod的名称。 PodUID/ContainerName：Pod的ID/容器名称。 PodName/ContainerName：Pod名称/容器名称。 采集路径 设置采集路径可以更精确的指定采集内容，当前支持以下设置方式： 不设置则默认采集当前路径下.log .trace .out文件 设置表示递归采集5层目录下的.log .trace .out文件 设置表示模糊匹配 例子： 采集路径为/tmp/ /test.log表示采集/tmp目录及其15层子目录下的全部以test开头的.log文件。 注意 使用采集路径功能请确认您的采集器ICAgent版本为5.12.22或以上版本。 日志转储 此处日志转储是指日志的本地绕接。 设置：AOM每分钟扫描一次日志文件，当某个日志文件超过50MB时，会立即对其转储（转储时会在该日志文件所在的目录下生成一个新的zip文件。对于一个日志文件，AOM只保留最近生成的20个zip文件，当zip文件超过20个时，时间较早的zip文件会被删除），转储完成后AOM会将该日志文件清空。 不设置：若您在下拉列表框中选择“不设置”，则AOM不会对日志文件进行转储。 说明 AOM的日志绕接能力是使用copytruncate方式实现的，如果选择了设置，请务必保证您写日志文件的方式是append（追加模式），否则可能出现文件空洞问题 当前主流的日志组件例如Log4j、Logback等均已经具备日志文件的绕接能力，如果您的日志文件已经实现了绕接能力，则无需设置。否则可能出现冲突 建议您的业务自己实现绕接，可以更灵活的控制绕接文件的大小和个数。 步骤 3 单击“确定”，并完成创建工作负载。

本节介绍容器舰队概述。 容器舰队可提供多集群的统一管理，包括统一的权限管理、统一的安全策略、统一的配置管理以及统一的多集群编排等能力。 使用限制 一个注册集群只能加入一个容器舰队。 支持的功能 集群接入分布式容器云平台后，可以加入容器舰队并关联集群联邦能力，进行多集群管理。对容器舰队支持能力如下： 创建舰队：舰队是多个集群的集合，可以实现集群的分类，提供多集群的统一管理。 添加集群到舰队：舰队提供统一的权限管理、安全策略、配置管理以及统一的多集群编排等能力。集群加入舰队后，集群关联的权限将被更新为舰队的权限。 权限关联：舰队权限配置将同步舰队下所有成员集群。若舰队权限未配置，新签发子账号默认拥有只读权限。权限管理基于Kubernetes RABC控制体系的资源权限定义。 可观测性：提供舰队资源总览，包括集群数、节点数、CPU分配率、内存分配率等。 舰队关联已有联邦实例：舰队成员集群将自动注册为联邦实例的成员集群，提供集群联邦多集群管理。

本节介绍了自动变更集群规格的用户指南。 操作场景 容器集群规模是集群支持管理的最大节点数量，当集群规模不满足您的诉求或控制面组件负载达到阈值时，可以通过开启“自动变更规格”功能自动扩大集群控制面规模。该功能默认关闭，需手动开启。 约束限制 1. 自动变更规格功能仅适用于托管版容器集群。 2. 自动变更规格对特定客户开放，如需使用，请联系客户经理或通过工单申请。 3. 自动变更规格涉及自动支付，自动支付暂不支持代金券支付，对于预付费账号，请确保余额充足，以便顺利完成支付和规格变更。 4. 自动变更规格过程中，容器集群组件会进行滚动更新，可能导致短暂的服务中断，建议避免在此过程中执行创建负载等核心操作。 5. 控制面组件负载触发依赖于cubeprometheus插件采集控制面组件指标数据，请先安装cubeprometheus插件，再安装masterautoscaler插件。 6. 若卸载了cubeprometheus插件，会导致masterautoscaler无法采集控制面组件指标，无法触发自动变更。 7. 若卸载重装了cubeprometheus插件，masterautoscaler插件也需要先卸载再安装。 收费策略 集群变更规格（升配或降配）会直接影响集群管理费用的计算。变更完成后，新规格立即生效并按新规格计费。 费用计算规则 1. “按需计费”集群：升配和降配生效后，按照变更后规格的费用按需计费。 2. “包年包月”集群： 升配：新规格价格高于老规格价格，客户需要支付新老规格的差价，在升配期间自动扣除费用。 降配：新规格价格低于老规格价格，天翼云会将新老规格的差价退给客户，在降配期间自动返还费用。

内置保留字段 数据格式 说明 tagtopic 字符串 采集配置名称 tagfileName 字符串 采集路径与文件名称 tagpodIp 字符串 云容器引擎接入场景下，pod的IP地址 tagpodName 字符串 云容器引擎接入场景下，pod的名称 tagappName 字符串 工作负载名称 tagcontainerName 字符串 容器名称 taghostIp 字符串 云容器引擎宿主机IP tagnamespace 字符串 工作负载所在命名空间 taghostName 字符串 云容器引擎宿主机名称 ts 整型，Unix时间戳（毫秒） 日志采集时间 message 字符串 日志原文