v1283) 创建Service或Ingress支持设置ELB黑/白名单访问控制。 CCE的节点镜像支持安全加固（满足等保三级基线要求）。 修复部分安全问题。 v1.28.1r4 ++v1.28.3++ 修复CVE202421626安全漏洞。 v1.28.1r0 ++v1.28.3++ 首次发布CCE v1.28集群 节点池支持节点的自定义前缀和后缀命名 CCE Turbo集群中，支持创建工作负载类型的容器网络配置，可指定Pod子网。 ELB Ingress支持GRPC协议。 负载均衡类型的服务在通过YAML创建时支持指定ELB私有IP。 优化CCE Turbo集群中大批量创建安全容器的启动速度。 提升CCE Turbo集群中反复创建删除安全容器时的稳定性。 v1.27版本 CCE集群补丁版本号 Kubernetes社区版本 特性更新 优化增强 安全漏洞修复 v1.27.16r0 ++v1.27.16++ ELB Ingress支持根据HTTP请求方法、HTTP请求头、查询字符串、网段、Cookie等请求参数进行转发。 更新节点池时支持修改节点密码。 创建节点时支持只使用系统盘。 更新ELB Ingress时支持修改HTTP重定向到HTTPS的配置。 使用Docker容器引擎的节点池时支持自定义配置默认镜像地址。 修复部分安全问题。 v1.27.8r0 [++v1.27.12++](

切换到执行脚本所在目录。python /run.py 执行启动脚本。） 资源配额 选择目标资源配额，展示当前总资源及使用情况。 资源规格 选择当前任务所需要的资源规格。 实例数量 输入当前部署实例的数量。 服务授权 必填，选择调用服务时使用的服务授权。 模板部署：平台预置了分布式部署模型模板，平台预置模板经过优化测试，部署后服务稳定性高。当前的模板配置功能只支持在昇腾集群上使用，无法调整模板内置参数。如果想快速体验可以选择”预置模型”。 参数名 说明 服务名称 必填，在线服务名称。 部署模板 选择当前服务部署目标模型及部署模板。 模型选择 选择模型管理中的“我的模型”或者“预置模型”文件，挂载到容器内路径。 模型文件 选择模板配置所需要的模型文件。 资源配额 选择目标资源配额，展示当前总资源及使用情况。 资源规格 选择当前任务所需要的资源规格。 实例数量 输入当前部署实例的数量。 服务授权 必填，选择调用服务时使用的服务授权。 预置模型：部署的模型来自于平台的“预置模型”，无需用户自主训练模型，操作简单。预置模型通常是通用性模型，用户无法根据自身业务需求进行优化调整，如果需要针对垂直领域进行优化调整，请选择“自定义配置”。 参数名 说明 服务名称 必填，在线服务名称。 模型选择 选择模型管理中的“预置模型”文件，挂载到容器内路径。 训练框架 根据用户选择的模型文件，会自动带出训练所用框架。 资源规格 选择当前任务所需要的资源规格。 实例数量 输入当前部署实例的数量。 服务授权 必填，选择调用服务时使用的服务授权。 在列表可查看模型是否部署成功，在操作列可进行模型查看、更新、停止、重启、修改、上下线、删除等操作。停止服务后计费也会停止，再次启动服务即可开通计费。 操作列点击【查看】可进入该服务的详情页，查看部署的模型列表、服务监控、配置历史、运行记录、事件日志、服务日志。

本节介绍了跨账号容器镜像实例同步授权及手动和自动方式跨账号实例同步的用户指南。 概述 当您想将一个账号下的镜像同步到另一个账号时，您可以使用跨账号实例同步功能。跨账号实例同步功能不受地域限制，支持手动和自动的方式。 前置条件 使用跨账号实例同步功能，请确保您使用的实例是企业版。个人版实例不支持此功能。 跨账号实例同步授权 本文假设源实例所在账号为A账号，目标实例所在的账号为B账号。创建跨账号实例同步规则和任务前，目标实例所在的B账号需要给源实例所在的A账号授权。 1. 获取A账号ID，登录账号A进入IAM控制台，路径："概览" "账号信息" "账号ID"。 2. 获取目标实例ID，登录账号B进入容器镜像服务控制台，路径： "容器镜像服务" "实例列表" "实例列表名称/ID"。 3. 创建委托账号，登录账号B进入IAM控制台，在左侧导航栏，选择委托，然后点击创建委托。选择类型 账号委托，点击下一步。 委托名称：crsCrossAccoutSyncRole 委托的账号ID：填写A账号ID 4. 创建跨账号同步委托策略，登录账号B进入IAM控制台。在左侧导航栏选择策略管理，然后点击创建自定义策略。填写策略名称，点击下一步。 5. 选择JSON视图，根据实际情况替换以下内容中的Resource字段，然后将以下内容复制到文档框中，点击保存。 说明 可以配置多个CRS实例，以下内容以两个实例为例。 plaintext { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "crs:inst:createsyncrule" ], "Resource": [ "ctrn:crs:: :instance/ " ] }， { "Effect": "Allow", "Action": [ "crs:inst:createsyncrule" ], "Resource": [ "ctrn:crs:: :instance/ " ] } ] } 6. 为委托账号crsCrossAccoutSyncRole授权。 7. 登录账号B进入IAM控制台。 8. 在左侧导航栏，选择委托。 9. 找到名称为crsCrossAccoutSyncRole的委托，选择操作 授权。 10. 勾选上一步中创建的委托策略，例如：CRS跨账号同步委托策略，点击下一步。默认是全局服务资源，无需选择指定资源池，点击确定按钮，完成授权。

本节介绍了续订企业版实例的用户指南。 1. 登录容器镜像服务控制台 。 2. 点击企业版实例的续订按钮。 3. 在续订页面选择续订时长。 4. 点击立即订购完成续订。

进入控制台，远程登陆即将安装AnythingLLM的云主机。 二、AnythingLLM 服务部署（ docker 方式） 1. 获取 AnythingLLM docker image 文件。 由于国内无法访问 docker hub 网站，您需要修改 docker 的服务配置文件，添加国内可访问的源，以便能够顺利拉取 AnythingLLM docker image 文件。操作步骤如下： 向 docker 配置文件中添加国内可访问的 docker 镜像源 重启 docker 服务 拉取 AnythingLLM docker image plaintext Docker 守护进程（ daemon ）的配置文件。添加国内可访问镜像源。 sudo vi /etc/docker/daemon.json 重启 docker 服务 sudo systemctl restart docker 确认 docker 服务正常 sudo systemctl status docker 拉取 anythingllm 镜像 docker pull mintplexlabs/anythingllm daemon.json 文件添加的内容为： plaintext { "registrymirrors": [" " " } daemon.json 文件如下，仅供参考： 2. 启动 AnythingLLM 服务。 首先查看下载的 AnythingLLM 容器镜像的 tag 启动 AnythingLLM 服务 查看 AnythingLLM 服务状态 plaintext 查看当前的容器镜像列表 docker image list 启动 AnythingLLM 服务，下述 PROT 参数需要与第一部分开放的端口相对应 docker run d e PORT3001 e OLLAMABASEURL e ENABLESIGNUPtrue e ENABLEOPENAIAPIFalse addhosthost.docker.internal:hostgateway nethost v anythingLLM:/app/backend/data name anythingLLM restart always mintplexlabs/anythingllm:latest 查看 AnythingLLM 服务状态 docker ps a

维度 弹性文件服务 对象存储 云硬盘 概念 弹性文件服务提供了一个高度可扩展的文件系统，可在云环境中共享文件数据。具有高可用性、持久性和可靠性。 对象存储具有高度的可扩展性和耐久性，可以存储任意类型的海量数据，并且能够自动处理数据冗余、故障恢复和数据分发。 云硬盘提供了高性能、低延迟、可扩展的块级存储。云硬盘可以被挂载到虚拟机实例或者物理服务器上，使其能够持久化地存储数据。 存储方式 弹性文件服务采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 对象存储将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 云硬盘采用块存储方式。块存储将数据分为固定大小的块（通常为几KB或几MB），并通过唯一的块地址进行访问。 访问方式 弹性文件服务通过网络共享的方式进行访问。用户可以在需要的弹性云主机实例或容器实例上挂载文件系统，并通过标准的文件系统接口（如NFS、CIFS等）访问共享的文件系统。 对象存储需要指定桶地址，通过HTTP或HTTPS等传输协议进行访问。 云硬盘类似于PC机的硬盘，无法单独使用，通常通过挂载（Mount）的方式来访问。它可以被挂载到弹性云主机或物理机上，使其在操作系统中可见。 适用场景 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 容量 弹性文件服务可随业务动态扩展或缩小，容量最高可达10 PB。 对象存储服务架构上不限制系统容量，通常可达EB甚至ZB级。 云硬盘支持按需扩容，最小扩容步长为1 GB，单个云硬盘可由10 GB扩展至32 TB。 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否

本文为您介绍如何使用使用DNAT暴露公网服务。 NAT网关介绍 弹性容器实例对外提供服务的方式有三种，eip、elb、dnat，您可以按需进行选择使用。 NAT网关（CTNAT Gateway）是一种支持 IP 地址转换的网络云服务，能够为虚拟私有云（Virtual Private Cloud，CTVPC）内的计算实例提供网络地址转换（Network Address Translation），分为公网NAT网关和私网NAT网关两种。公网NAT网关使多个弹性云主机可以共享使用弹性IP访问Internet或使多个弹性云主机提供互联网服务；私网NAT网关可将源、目的网段地址转换为VPC私网中转IP地址，通过使用中转IP实现VPC内的计算实例与其他VPC、云下IDC的指定地址隔离互访。详细信息查看天翼云官网NAT网关帮助文档。 ECI弹性容器实例接入DNAT最佳实践 1. 创建公网nat网关。 2. 为vpc添加路由表，指定0.0.0.0/0的下一跳地址为刚刚创建的nat网关。 3. 为公网nat网关创建DNAT规则。 1. 控制台创建时，选择手动输入自定义地址。 2. openapi创建时，指定virtualMachineType为2，serverType为VM，详细接口请参考创建dnat规则文档。 4. 访问nat网关绑定的eip+externalPort即可访问对应服务。

参数 是否必填 参数类型 说明 示例 下级对象 ServerSideEncryptionConfiguration 是 Container 服务器端加密规则的容器 Rule Rule 是 Container 设置加密规则的容器 ApplyServerSideEncryptionByDefault ApplyServerSideEncryptionByDefault 是 Container 设置服务端默认加密规则的容器 SSEAlgorithm SSEAlgorithm 是 String 设置加密算法，支持AES256算法机密 AES256

本节介绍了容器镜像加签验签的用户指南。 概述 镜像签名功能保障镜像来源安全可靠，避免中间人攻击和非法镜像的更新与运行。CRS支持为命名空间的镜像自动加签，每次推送容器镜像后都会匹配加签规则自动加签，保障您的容器镜像内容可信。 镜像签名步骤 为命名空间下的镜像设置自动加签的步骤如下： 1. 登录容器镜像服务控制台。 2. 在顶部菜单栏，选择所需资源池。 3. 在实例页面中选择容器镜像仓库实例。 4. 在企业版实例管理页面的左侧菜单上选择"安全可信" "镜像签名"，点击左上角的创建镜像加签规则按钮。 5. 在弹出的对话框，填写镜像加签规则的，然后点击“确定”按钮，完成创建，界面各项参数说明如下表； 参数 是否必选 说明 命名空间 必选 选择需要自动加签的命名空间名称 使用默认私钥 非必选 加签时是否使用默认的私钥，勾选则表明使用默认私钥加签，若不勾选则表明使用自定义私钥，则需要往下录入自定义私钥的信息 私钥 非必选 如果上述"使用默认私钥"不勾选，则必须在此框填入自定义私钥的信息，可以将私钥直接贴入，或者从"文件导入"，私钥目前只支持长度位数是2048，格式为PKC8的RSA密钥 密码 非必选 如果创建RSA密钥对时有添加密码，则需要再此处填上，否则会影响加签执行 6. 创建完毕的规则会展示在镜像签名的列表中，可对签名规则进行编辑，如更换签名密钥等。 注意 1. 镜像加签不会影响镜像的常规使用，更不会影响镜像中原有的能力及业务功能。 2. 单个命名空间只能创建一个加签规则。 3. 如果是使用自定密钥，密钥对需要自行保存维护好，使用跟密钥对应的公钥方可验签成功。

事件类型 告警事件 原理说明 恶意软件 未分类恶意软件 通过程序特征、行为检测，结合AI图像指纹算法以及云查杀，有效识别后门、木马、挖矿软件、蠕虫和病毒等恶意程序，也可检测出容器中未知的恶意程序和病毒变种。 恶意软件 勒索软件 检测来自网页、软件、邮件、存储介质等介质捆绑、植入的勒索软件。 勒索软件用于锁定、控制您的文档、邮件、数据库、源代码、图片、压缩文件等多种数据资产，并以此作为向您勒索钱财的筹码。 恶意软件 Webshell 检测容器中Web目录中的文件，判断是否为Webshell木马文件，支持检测常见的PHP、JSP等后门文件类型。 恶意软件 黑客工具 检测利用漏洞或者黑客工具的恶意行为，一旦发现进行告警上报。 漏洞利用 漏洞逃逸攻击 HSS监控到容器内进程行为符合已知漏洞的行为特征时（例如：“脏牛”、“bruteforce”、“runc”、“shocker”等），触发逃逸漏洞攻击告警。 漏洞利用 文件逃逸攻击 HSS监控发现容器进程访问了宿主机系统的关键文件目录（例如：“/etc/shadow”、“/etc/crontab”），则认为容器内发生了逃逸文件访问，触发告警。即使该目录符合容器配置的目录映射规则，HSS仍然会触发告警。 系统异常行为 反弹Shell 支持对TCP、UDP、ICMP等协议的检测。 您可以在“策略管理”的“恶意文件检测”策略中配置反弹Shell检测，HSS会实时检测执行的可疑指令、主机被远程控制执行任意命令等。 系统异常行为 文件提权 检测利用SUID、SGID程序漏洞进行root提权的行为，一旦发现进行告警上报。 系统异常行为 进程提权 当黑客成功入侵容器后，会尝试利用漏洞进行root提权或者文件提权，从而达到非法创建和修改系统账号的权限或者篡改文件的目的。 HSS支持检测以下异常提权操作： 利用SUID程序漏洞进行root提权。 利用内核漏洞进行root提权。 对文件的提权。 系统异常行为 关键文件变更 实时监控系统关键文件（例如：ls、ps、login、top等），对修改文件内容的操作进行告警，提醒用户关键文件可能被篡改。 对于关键文件变更，HSS只检测文件内容是否被修改，不关注是人为还是进程进行的修改。 系统异常行为 进程异常行为 检测各个主机的进程信息，包括进程ID、命令行、进程路径、行为等。 对于进程的非法行为、黑客入侵过程进行告警。 进程异常行为可以监控以下异常行为： 监控进程CPU使用异常。 检测进程对恶意IP的访问。 检测进程并发连接数异常等。 系统异常行为 高危系统调用 Linux系统调用是用户进程进入内核执行任务的请求通道。CGS监控容器进程，如果发现进程使用了危险系统调用（例如：“openbyhandleat”、“ptrace”、“setns”、“reboot”等），触发高危系统调用告警。 系统异常行为 高危命令执行 实时检测容器系统中执行的高危命令，当发生高危命令执行时触发告警。 系统异常行为 容器进程异常 容器恶意程序 HSS监控容器内启动的容器进程的行为特征和进程文件指纹，如果特征与已定义的恶意程序吻合则触发容器恶意程序告警。 容器异常进程 容器业务通常比较单一。如果您能够确定容器内只会运行某些特定进程，可以在“策略管理”设置“容器进程白名单”并将策略关联容器镜像。 对于已关联的容器镜像启动的容器，HSS只允许白名单进程启动，如果容器内存在非白名单进程，触发容器异常程序告警。 系统异常行为 敏感文件访问 HSS监控容器内已配置文件保护策略的容器镜像文件状态。如果发生文件修改事件则触发文件异常告警。 系统异常行为 容器异常启动 HSS监控新启动的容器，对容器启动配置选项进行检测，当发现容器权限过高存在风险时触发告警。容器环境检测触发的告警只是提醒容器启动风险，并不是发生实际攻击。如果黑客利用容器配置风险执行了真实攻击，仍然会触发HSS容器安全的其他检测告警。 HSS支持以下容器环境检测： 禁止启动特权容器(privileged:true) 特权容器是指容器以最大权限启动，类似与操作系统的root权限，拥有最大能力。docker run启动容器时携带“–privilegedtrue”参数，或者kubernates POD配置中容器的“securityContext”配置了“privileged:true”，此时容器会以特权容器方式启动。 告警内容中提示：“privileged:true”，表示该容器以特权容器模式启动。 需要限制容器能力集（capabilities:[xxx]） Linux系统将系统权限做了分类，通过授予特定的权限集合，能控制容器进程的操作范围，避免出现严重问题。容器启动时默认开启了一些常用能力，通过修改启动配置可以放开所有系统权限。 告警内容中提示：“capabilities:[xxx]”，表示该容器启动时拥有所有能力集过大，存在风险。 建议启用seccomp（seccompunconfined） Seccomp(secure computing mode)是Linux的一种内核特性，用于限制进程能够调用的系统调用，减少内核的攻击面。如果容器启动时设置“seccompunconfined”，将不会对容器内的系统调用执行限制。 告警内容中提示：“seccompunconfined”，表示该容器启动时没有启动seccomp，存在风险。 说明 启用seccomp后，由于每次系统调用Linux内核都需要执行权限校验，如果容器业务场景会频繁使用系统调用，开启seccomp对性能会有一定影响。具体影响建议在实际业务场景测试分析。 限制容器获取新的权限(nonewprivileges:false) 进程可以通过程序的suid位或者sgid位获取附加权限，通过sudo提权执行更高权限的操作。容器默认配置限制不允许进行权限提升。 如果容器启动时指定了“–nonewprivilegesfalse”，则该容器拥有权限提升的能力。 告警内容中提示：“nonewprivileges:false”，表示该容器关闭了提权限制，存在风险。 危险目录映射(mounts:[...]) 容器启动时可以将宿主机目录映射到容器内，方便容器内业务直接读写宿主机上的资源。这是一种存在风险的使用方式，如果容器启动时映射了宿主机操作系统关键目录，容易造成从容器内破坏宿主机系统的事件。 HSS监控到容器启动时mount了宿主机危险路径时触发告警，定义的宿主机危险目录包括：“/boot”，“/dev”，“/etc”，“/sys”，“/var/run”等。 告警内容中提示：“mounts:[{"source":"xxx","destination":"yyy"...]”，表示该容器映射的文件路径存在风险。 说明 对于docker容器常用的需要访问的宿主文件如“/etc/hosts”、“/etc/resolv.conf”不会触发告警。 禁止启动命名空间为host的容器 容器的命名空间需要与主机隔离开，如果容器配置了与主机相同的命名空间，则该容器可以访问并修改主机上的内容，易造成容器逃逸的安全事件，存在安全风险。因此HSS会检测容器的pid，network，ipc命名空间是否为host。 告警名称为“容器命名空间”，告警内容中提示“容器pid命名空间模式”、“容器ipc命名空间模式”、“容器网络命名空间模式”，表示启动了命名空间为host的容器，需要按照告警中的提示排查容器的启动选项，如果存在业务需要，可以将该告警事件忽略。 容器镜像阻断 在Docker环境中容器启动前，HSS检测到中指定的不安全容器镜像运行时触发告警。 说明 需安装Docker插件。 用户异常行为 非法系统账号 黑客可能通过风险账号入侵容器，以达到控制容器的目的，需要您及时排查系统中的账户。 HSS检查系统中存在的可疑隐藏账号、克隆账号；如果存在可疑账号、克隆账号等，则触发告警。 用户异常行为 暴力破解 检测容器场景下“尝试暴力破解”和“暴力破解成功”等暴破异常行为，发现暴破行为时触发告警。 支持检测容器场景下SSH、Web和Enumdb暴破行为。 说明 目前暂仅支持Docker容器运行时的暴力破解检测告警。 用户异常行为 用户密码窃取 检测到通过非法手段获取用户密钥行为，一旦发现进行告警上报。 网络异常访问 异常外联行为 检测到服务器存在异常外联可疑IP的行为，一旦发现进行告警上报。 网络异常访问 端口转发检测 检测到利用可疑工具进行端口转发行为，一旦发现进行告警上报。

使用海量文件静态存储卷，即使用预先在海量文件服务控制台已创建文件系统，通过手动创建PV指定已有文件系统，创建PVC时使用已有PV的方式，实现容器内挂载海量文件。 该模式下需要用户自建文件系统及PV资源，一定程度上增加操作和管理复杂性，一般推荐使用动态创建存储的方式。 sharePath模式是指将完整的海量文件存储作为持久卷使用。当用户挂载持久卷声明时，海量文件的根目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 已在海量文件服务控制台创建文件系统 已建文件系统VPC需要包括容器集群所属VPC，如没有，在文件系统列表页，针对指定实例点击“添加VPC” 使用限制 参见海量文件使用限制 通过控制台使用海量文件静态存储卷 1、创建持久卷（PV） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“持久卷”，单击左上角“创建持久卷”； 在创建对话框，配置持久卷PV的相关参数。配置项说明如下： 配置项 说明 名称 PV的名称，以pvc开头。 持久卷类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 访问模式 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载。 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载。 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载。 海量文件名称 选择已创建的文件系统。 已有存储类 选择存储类，该功能一般在静态的方式下不怎么使用。 除非用户有一个持久卷申明并且携带了存储类，那么这里才需要添加存储类，使其与持久卷申明匹配。 模式 使用已有海量文件：基于已经存在的海量文件，使用海量文件本身作为一个持久卷。 使用海量文件子目录：基于某个已经存在的海量文件，使用它的子目录作为一个持久卷。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意 请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 标签 用于对 PV 对象进行标记和分类的元数据属性，可以赋予 PV 以自定义的属性或标识。 说明 静态导入场景下，回收策略均为默认Retain，cstorcsi不会删除数据。 参数配置完成后，点击“确定”。创建成功后，可以在持久卷列表查看，此时PV状态为“可用”。

前提条件 支持纳管符合如下条件的云主机： 待纳管节点必须状态为“运行中”，未被其他集群所使用，且不携带 CCE 专属节点标签CCEDynamicProvisioningNode。 待纳管节点需与集群在同一虚拟私有云内（若集群版本低于1.13.10，纳管节点还需要与CCE集群在同一子网内）。 待纳管节点需挂载数据盘，数据盘需满足至少有1块，容量不少于100GB。关于节点挂载数据盘的操作说明，请参考新增磁盘。 待纳管节点规格要求：CPU必须2核及以上，内存必须4GB及以上，网卡有且仅能有一个。 如果使用了企业项目，则待纳管节点需要和集群在同一企业项目下，不然在纳管时会识别不到资源，导致无法纳管。 批量纳管仅支持添加相同规格、相同可用区、相同数据盘配置的云主机。 操作步骤 步骤 1 登录CCE控制台，进入要纳管节点的集群。 步骤 2 在左侧列表中选择节点管理，单击右上角纳管节点。 步骤 3 配置节点参数。 计算配置 表 计算配置参数 参数 参数说明 节点规格 单击添加已有云主机，选择要纳管的服务器。 可以选择多台云主机批量纳管，但批量纳管仅支持添加相同规格、相同可用区、相同数据盘配置的云主机。 如果云主机有多块数据盘，需要选择其中一块作为供容器运行时和Kubelet组件使用。 容器引擎 CCE集群支持Docker。 操作系统 公共镜像：请选择节点对应的操作系统。 登录方式 密码 用户名默认为“root”，请输入登录节点的密码，并确认密码。登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 密钥对选择用于登录本节点的密钥对，支持选择共享密钥。密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 存储配置 配置节点云主机上的存储资源，方便节点上的容器软件与容器应用使用。 表 存储配置参数 参数 参数说明 系统盘 直接使用云主机的系统盘。 数据盘 至少需要一块数据盘 ，供容器运行时和Kubelet组件使用，该数据盘不能被删除卸载，否则会导致节点不可用。 单击后方的“展开高级设置”可设置自定义空间分配：勾选后可定义容器运行时在数据盘上占用的空间比例，容器运行时的空间用于存放容器运行时工作目录、容器镜像数据以及镜像元数据。数据盘空间分配详细说明请参见数据盘空间分配说明。 其他数据盘默认情况直接创建为裸盘，不做任何处理。您也可以展开高级配置，将磁盘挂载到指定目录。另外还可以作为持久存储卷或临时存储卷，具体使用请参见本地持久存储卷和临时存储卷。 高级配置 表 高级配置参数 参数 参数说明 K8S标签 单击“添加标签”可以设置附加到Kubernetes 对象（比如Pods）上的键值对，最多可以添加10条标签使用该标签可区分不同节点， 可结合工作负载的亲和能力实现容器Pod调度到指定节点的功能。 详细请参见Labels and Selectors。 资源标签 通过为资源添加标签，可以对资源进行自定义标记，实现资源的分类。 CCE服务会自动帮您创建CCEDynamicProvisioningNode节点id的标签。 污点(Taints) 默认为空。 支持给节点加Taints来设置反亲和性，每个节点最多配置10条Taints，每条Taints包含以下3个参数： Key：必须以字母或数字开头，可以包含字母、数字、连字符、下划线和点，最长63个字符；另外可以使用DNS子域作为前缀。 Value：必须以字符或数字开头，可以包含字母、数字、连字符、下划线和点，最长63个字符。 Effect：只可选NoSchedule，PreferNoSchedule或NoExecute。须知l Taints配置时需要配合Pod的toleration使用，否则可能导致扩容失败或者Pod无法调度到扩容节点。 节点池创建后可单击列表项的“编辑”修改配置，修改后将同步到节点池下的已有节点。 最大实例数 节点最大可以正常运行的实例数(Pod)，该数量包含系统默认实例，取值范围为16~256。 该设置的目的为防止节点因管理过多实例而负载过重，请根据您的业务需要进行设置。 安装前执行脚本 请输入脚本命令，大小限制为0~1000字符。 脚本将在Kubernetes软件安装前执行，可能导致Kubernetes软件无法正常安装，需谨慎使用。 安装后执行脚本 请输入脚本命令，大小限制为0~1000字符。 脚本将在Kubernetes软件安装后执行，不影响Kubernetes软件安装。 步骤 4 单击“下一步：规格确认”，确认已阅读并知晓服务协议，并单击“提交”。

版本介绍 应用服务网格CSM按照不同的功能及支撑能力划分为基础版、标准版。 版本 说明 基础版 支持50以内Pod数规模，无企业级增强能力，不推荐生产使用。 标准版 支持1000Pod数规模。 使用方式 为了更好的使用应用服务网格CSM产品，建议您先开通以下产品： 1. 开通云容器引擎，至少有一个云容器引擎集群实例。 2. 开通天翼云微服务引擎，并在服务网格控制面集群同VPC内创建云原生网关实例。 相关云服务 云产品名称 开通类型 产品说明 云容器引擎 必选项 云容器引擎 弹性负载均衡ELB 必选项（开通服务网格时自动开通） 弹性负载均衡

添加该配置，改为true } ] } 3. 重建Cubecni Pods使得配置生效。 plaintext 滚动重建Pod kubectl nkubesystem rollout restart ds/cubecni 等待Pod重建完成 kubectl nkubesystem get po l appcubecni owide w IPv6支持 IPv6处于内测阶段，当开启IPv6后，有如下限制： 暂不支持使用多个Pod子网； 单个节点可申请50个IPv6地址，故单节点最多创建50个使用容器网络的Pod。 低网络时延 Pod直接访问Pod场景，时延对比如下图所示。可见cubecni IPVLAN模式时延接近主机网络。独占ENI模式时延有时约略优于主机网络，理想情况下相比于calico IPIP模式提升约30%： 图示中，host表示主机网络时延，集群停止k8s服务后，节点运行sockperf客户端访问另一节点sockperf服务端的时延； cubecni IPVLAN模式时延接近baseline，该场景流量不经主机网络栈处理，不会因此额外引入时延； cubecni 独占ENI模式，Pod独占弹性网卡，时延无限接近主机网络； cubecni PolicyRoute模式，流量经主机网络栈处理，故时延较高； calico IPIP模式，流量均经过主机网络栈处理，且有IPIP解封包开销，iptables更为复杂，故时延较高。 当集群部署监控和日志等消耗带宽的插件后，容器网络整体时延均会增加，calico IPIP模式时延增加幅度大于cubecni。

本文主要介绍CCE容器弹性引擎。 CCE容器弹性引擎（ccehpacontroller）插件是一款CCE自研的插件，能够基于CPU利用率、内存利用率等指标，对无状态工作负载进行弹性扩缩容。 安装本插件后，可在“弹性伸缩”页面的“工作负载伸缩”页签下，创建CustomedHPA策略，具体请参见创建工作负载弹性伸缩（CustomedHPA）。 主要功能 支持按照当前实例数的百分比进行扩缩容。 支持设置一次扩缩容的最小步长。 支持按照实际指标值执行不同的扩缩容动作。 约束与限制 仅支持在v1.15及以上版本的CCE集群中安装本插件。 若ccehpacontroller版本低于1.2.11，则必须安装prometheus插件，若版本大于或等于1.2.11，则需要安装能够提供Metrics API的插件，如metricsserver和Prometheus。若使用Prometheus，需要将Prometheus注册为Metrics API的服务，详见提供资源指标。 安装插件 步骤 1 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件管理”，在右侧找到 ccehpacontroller ，单击“安装”。 步骤 2 该插件可配置“单实例”或“自定义”规格，选择后单击“安装”。 说明 单实例仅用于验证场景，商用场景请根据集群规格使用"自定义"资源配置，ccehpacontroller插件的规格大小主要受集群中总容器数量和伸缩策略数量影响，通常场景下建议每5000容器配置CPU 500m, 内存1000Mi资源，每1000伸缩策略CPU 100m，内存500Mi。

本节介绍了用户指南: 并行文件概述。 云容器引擎支持使用天翼云并行文件存储卷。cstorcsi插件支持使用并行文件动态存储卷和静态存储卷，通过将并行文件存储卷挂载到容器指定目录，可满足数据持久化需求。 并行文件服务提供高性能并行文件存储，支持全NVMe闪存与RDMA技术，最高可实现百万级IOPS和百GBps吞吐量，同时保障亚毫秒级延迟。该服务具备高性能、高可靠性和高可扩展性特点，能够充分满足影视渲染、AI训练及自动驾驶等数据密集型场景的需求。 使用限制 插件版本 使用并行文件存储功能，需要cstorcsi插件版本 >3.3.2 容器集群 当前并行文件服务功能仅智算集群可见 文件协议 当前cstorcsi插件仅支持HPFSPOSIX协议 容量 单个文件系统最小容量为512GB 可用区 协议类型为hpfs时，不支持跨可用区挂载。 使用并行文件存储PVC的Pod将会被强制调度到该PVC创建时指定的的可用区内 其他限制 参见 并行文件使用限制 产品优势 共享访问 1. 支持上千台客户端挂载同一文件系统，实现共享访问。 2. 支持 NFS、HPFSPOSIX 协议类型，用户能够在创建文件系统时指定协议类型，通过标准 POSIX 接口访问数据，无缝适配主流应用程序进行数据读写。 3. 支持 MPII/O 并行计算接口，满足多客户端并行计算场景。 弹性扩展 1. 采用可扩展的元数据架构，单个文件系统可支持几十亿级别的文件数量，在海量文件场景下，仍然保持稳定持续的高效访问性能。 2. 分钟级别快速扩容，用户可根据实际需要对文件系统进行在线扩容，扩容过程 IO 不中断，保障业务连续性。 安全可信 1. 支持使用 VPC 用户隔离、权限组等安全管理功能进行访问权限控制，保障数据安全可靠。 2. 使用多种 EC 方式、热备盘备份保证数据的可靠性。 3. 支持 HA，故障时自动切换，服务可用性在99.90%及以上。 性能优越 1. 可支持高性能100GE 以太网、IB、RoCE 网络。 2. 带宽、IOPS 性能可以随文件系统容量线性提升，最高提供百万 IOPS 和百 GBps 吞吐，同时保证亚毫秒级时延，使得数据访问更加高效。

本节介绍了云容器引擎安全责任共担模型。 在云容器引擎 CCE 中，安全合规遵循责任共担原则。具体而言，云容器引擎 CCE 承担着集群控制面组件（涵盖 Kubernetes 控制平面组件与 etcd）及集群服务相关天翼云基础设施的默认安全保障责任。本文将详细阐述天翼云云容器引擎 CCE 的安全责任共担模型。 天翼云负责 在管控面侧，天翼云凭借完善的平台安全能力，负责保障管控面侧基础设施（涵盖计算、存储、网络等各类云服务资源）的安全。针对集群节点操作系统或 K8s 组件层面出现的安全漏洞，天翼云会及时发布相关公告，并提供对应的漏洞补丁或版本更新支持。天翼云还会围绕企业云原生应用生命周期中安全防护的典型场景，提供必要的安全防护功能及最佳实践指导。 客户负责 客户方安全管理与运维人员需承担部署于云上的业务应用安全防护责任，以及云上资源的安全配置与更新工作，具体包括以下内容： 依据天翼云发布的公告，采用其提供的补丁或版本升级方式，及时对操作系统、集群侧系统组件、运行时等存在的漏洞进行修复和版本更新 遵循安全原则对 CCE 集群、节点池及网络等进行参数配置，防止因参数或权限设置不当而给攻击者留下可乘之机 根据实际使用需求，按照权限最小化原则，完成账号、角色的授权，做好凭据管理，部署实施相关安全策略，并保障应用自身参数配置的安全性 负责应用制品的供应链安全 保障应用敏感数据及应用运行时的安全 CCE采用双层的权限体系，即IAM+RBAC。当删除 IAM 用户或 IAM 角色时，并不会同步移除该用户或角色所拥有的集群 KubeConfig 中的 RBAC 权限。因此，在删除离职员工或非受信人员的 IAM 用户或 IAM 角色前，需先吊销其 KubeConfig 权限。

在使用云应用引擎 CAE（Cloud App Engine）前，需了解该产品所涉及的概念。本文介绍与 CAE 产品相关的专有名词与基本概念。 基本概念总览 分类 资源 概念 命名空间 微服务应用 分布式配置管理、应用实例、应用健康检查、启动命令 命名空间 任务 任务实例、任务模板、任务记录、启动命令 基础信息 容器、容器镜像 命名空间 逻辑隔离的运行环境。 包含 K8s 的命名空间和微服务的命名空间两层含义。从应用的服务调用的视角隔离不同的运行环境。例如开发环境、测试环境、生产环境。 应用 应用是 CAE 管理的基本单位。 一个应用内通常包含一个或多个实例。CAE 提供了完整的应用生命周期管理机制，可以完成应用从发布到运行过程的全面管理，包括应用创建、部署、启动、回滚、扩缩容等操作。 应用实例 应用运行的最小单位。 应用通常在一个或多个实例上运行，应用可以拥有多个部署版本，不同实例上运行着不同版本的应用程序。 微服务应用 提供服务注册发现和服务治理的能力，例如使用 Spring Cloud以及 K8s Service 框架来开发和通信的应用。 任务 短时任务（Job）。 具备单机、广播、并行计算、分片运行、定时、失败自动重试、事件触发等特性。

在使用云应用引擎 CAE（Cloud App Engine）前，需了解该产品所涉及的概念。本文介绍与 CAE 产品相关的专有名词与基本概念。 基本概念总览 分类 资源 概念 命名空间 微服务应用 分布式配置管理、应用实例、应用健康检查、启动命令 命名空间 任务 任务实例、任务模板、任务记录、启动命令 基础信息 容器、容器镜像 命名空间 逻辑隔离的运行环境。 包含 K8s 的命名空间和微服务的命名空间两层含义。从应用的服务调用的视角隔离不同的运行环境。例如开发环境、测试环境、生产环境。 应用 应用是 CAE 管理的基本单位。 一个应用内通常包含一个或多个实例。CAE 提供了完整的应用生命周期管理机制，可以完成应用从发布到运行过程的全面管理，包括应用创建、部署、启动、回滚、扩缩容等操作。 应用实例 应用运行的最小单位。 应用通常在一个或多个实例上运行，应用可以拥有多个部署版本，不同实例上运行着不同版本的应用程序。 微服务应用 提供服务注册发现和服务治理的能力，例如使用 Spring Cloud以及 K8s Service 框架来开发和通信的应用。 任务 短时任务（Job）。 具备单机、广播、并行计算、分片运行、定时、失败自动重试、事件触发等特性。

维度 弹性文件服务 对象存储 云硬盘 概念 弹性文件服务提供了一个高度可扩展的文件系统，可在云环境中共享文件数据。具有高可用性、持久性和可靠性。 对象存储具有高度的可扩展性和耐久性，可以存储任意类型的海量数据，并且能够自动处理数据冗余、故障恢复和数据分发。 云硬盘提供了高性能、低延迟、可扩展的块级存储。云硬盘可以被挂载到弹性云主机或物理机上，使其能够持久化地存储数据。 存储方式 弹性文件服务采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 对象存储将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 云硬盘采用块存储方式。块存储将数据分为固定大小的块（通常为几KB或几MB），并通过唯一的块地址进行访问。 访问方式 弹性文件服务通过网络共享的方式进行访问。用户可以在需要的弹性云主机实例或容器实例上挂载文件系统，并通过标准的文件系统接口（如NFS、SMB等）访问共享的文件系统。 对象存储需要指定桶地址，通过HTTP或HTTPS等传输协议进行访问。 云硬盘类似于PC机的硬盘，无法单独使用，通常通过挂载（Mount）的方式来访问。它可以被挂载到弹性云主机或物理机上，使其在操作系统中可见。 适用场景 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 容量 弹性文件服务可按需扩展，单文件系统容量默认最大为32TB。如需更大容量的文件系统，可提工单申请。 对象存储服务没有容量限制，存储资源可无限扩展。 云硬盘支持按需扩容，最小扩容步长为1 GB，单个云硬盘可由10 GB扩展至32 TB。 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否

维度 弹性文件服务 对象存储 云硬盘 概念 弹性文件服务提供了一个高度可扩展的文件系统，可在云环境中共享文件数据。具有高可用性、持久性和可靠性。 对象存储具有高度的可扩展性和耐久性，可以存储任意类型的海量数据，并且能够自动处理数据冗余、故障恢复和数据分发。 云硬盘提供了高性能、低延迟、可扩展的块级存储。云硬盘可以被挂载到弹性云主机或物理机上，使其能够持久化地存储数据。 存储方式 弹性文件服务采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 对象存储将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 云硬盘采用块存储方式。块存储将数据分为固定大小的块（通常为几KB或几MB），并通过唯一的块地址进行访问。 访问方式 弹性文件服务通过网络共享的方式进行访问。用户可以在需要的弹性云主机实例或容器实例上挂载文件系统，并通过标准的文件系统接口（如NFS、SMB等）访问共享的文件系统。 对象存储需要指定桶地址，通过HTTP或HTTPS等传输协议进行访问。 云硬盘类似于PC机的硬盘，无法单独使用，通常通过挂载（Mount）的方式来访问。它可以被挂载到弹性云主机或物理机上，使其在操作系统中可见。 适用场景 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 容量 弹性文件服务可按需扩展，单文件系统容量默认最大为32TB。如需更大容量的文件系统，可提工单申请。 对象存储服务没有容量限制，存储资源可无限扩展。 云硬盘支持按需扩容，最小扩容步长为1 GB，单个云硬盘可由10 GB扩展至32 TB。 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否

维度 弹性文件服务 对象存储 云硬盘 概念 弹性文件服务提供了一个高度可扩展的文件系统，可在云环境中共享文件数据。具有高可用性、持久性和可靠性。 对象存储具有高度的可扩展性和耐久性，可以存储任意类型的海量数据，并且能够自动处理数据冗余、故障恢复和数据分发。 云硬盘提供了高性能、低延迟、可扩展的块级存储。云硬盘可以被挂载到弹性云主机或物理机上，使其能够持久化地存储数据。 存储方式 弹性文件服务采用文件存储方式。文件存储将数据组织为层次化的目录和文件结构，用户可以通过文件路径和名称来操作文件和目录。 对象存储将数据存储为独立的对象。每个对象由数据本身和与之相关的元数据（例如文件名、文件类型、大小等）组成。 云硬盘采用块存储方式。块存储将数据分为固定大小的块（通常为几KB或几MB），并通过唯一的块地址进行访问。 访问方式 弹性文件服务通过网络共享的方式进行访问。用户可以在需要的弹性云主机实例或容器实例上挂载文件系统，并通过标准的文件系统接口（如NFS、SMB等）访问共享的文件系统。 对象存储需要指定桶地址，通过HTTP或HTTPS等传输协议进行访问。 云硬盘类似于PC机的硬盘，无法单独使用，通常通过挂载（Mount）的方式来访问。它可以被挂载到弹性云主机或物理机上，使其在操作系统中可见。 适用场景 如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。 如大数据分析，数据湖，数据备份和归档等大规模数据存储和分析场景；静态网站托管解决方案存储。 如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化；大规模数据处理与分布式计算等高性能计算场景。 容量 弹性文件服务可按需扩展，单文件系统容量默认最大为32TB。如需更大容量的文件系统，可提工单申请。 对象存储服务没有容量限制，存储资源可无限扩展。 云硬盘支持按需扩容，最小扩容步长为1 GB，单个云硬盘可由10 GB扩展至32 TB。 是否支持数据共享 是 是 是 是否支持远程访问 是 是 否

本文主要介绍容器基本信息。 工作负载是Kubernetes对一组Pod的抽象模型，用于描述业务的运行载体，一个Pod可以封装1个或多个容器，您可以单击右上方的“添加容器”，添加多个容器镜像并分别进行设置。 表 镜像参数说明 参数 说明 容器名称 为容器命名。 镜像名称 单击后方“选择镜像”，选择容器使用的镜像。如果需要使用第三方镜像，请参见如何使用第三方镜像。 镜像版本 选择需要部署的镜像版本。 更新策略 镜像更新/拉取策略。可以勾选“总是拉取镜像”，表示每次都从镜像仓库拉取镜像；如不勾选则优使用节点已有的镜像，如果没有这个镜像再从镜像仓库拉取。 CPU配额 申请：容器需要使用的最小CPU值，默认0.25Core。 限制：允许容器使用的CPU最大值。建议设容器配额的最高限额，避免容器资源超额导致系统故障。 内存配额 申请：容器需要使用的内存最小值，默认512MiB。 限制：允许容器使用的内存最大值。如果超过，容器会被终止。申请和限制的具体请参见设置容器规格。 GPU配额 当集群中包含GPU节点时，才能设置GPU，无GPU节点不显示此选项。 不限制：表示不使用GPU。 独享：单个容器独享GPU。 共享：容器需要使用的GPU百分比，例如设置为10%，表示该容器需使用GPU资源的10%。 NPU配额 使用NPU芯片（昇腾D310）的数量，必须为整数。必须安装NPU插件后才能使用。 特权容器 特权容器是指容器里面的程序具有一定的特权。若选中，容器将获得超级权限，例如可以操作宿主机上面的网络设备、修改内核参数等。 初始化容器 选择容器是否作为初始化容器。Init 容器是一种特殊容器，在 Pod 内的应用容器启动之前运行。详细说明请参见Init 容器。

Kubernetes 1.30 版本Changelog 1. Pod 调度就绪机制（GA），通过 spec.schedulingGates 字段，允许用户在 Pod 创建后动态控制其调度时机。例如，当存储卷或网络策略未准备好时，Pod 可被标记为 “未就绪”，避免无效调度导致的资源浪费。 2. Pod 拓扑分布最小域（GA），在 PodTopologySpread 中新增 minDomains 参数，要求 Pod 至少分布在指定数量的拓扑域（如可用区）。若当前域不足，Pod 将暂停调度，触发自动缩放器创建新节点，确保高可用性。 3. 基于索引的 Job 回退机制（Beta），支持为索引 Job 的每个任务索引单独配置重试策略（.spec.backoffLimitPerIndex），避免因单个索引失败导致整个 Job 终止。适用于分布式训练等需细粒度控制的场景。 4. 基于容器资源的 HPA（GA），Horizontal Pod Autoscaler 可根据 Pod 内单个容器的 CPU / 内存使用情况进行扩缩容，而非依赖 Pod 整体指标。例如，优先对关键容器（如数据库主节点）设置更严格的扩缩容阈值。 5. 负载均衡器 IP 模式（Beta）， LoadBalancer 类型的 Service 新增 .status.loadBalancer.ingress.ipMode 字段，用于指定负载均衡器IP的转发行为。该字段仅在指定了.status.loadBalancer.ingress.ip字段时才能被指定。 6. 多服务 CIDR 支持（Alpha），允许为集群配置多个 Service ClusterIP 地址段（通过 ServiceCIDR 资源），扩展服务 IP 地址空间，满足复杂网络拓扑需求。 7. 基于 CEL 的准入控制（GA），该特性支持通过CEL表达式声明资源的验证准入策略。 8. ImageMaximumGCAge（Beta），允许kubelet配置对未使用镜像被垃圾回收前的最大存活时间，即在达到指定时间后若镜像仍然未被使用，那么镜像将可被垃圾收集机制清理。默认值为"0s"，即不设置时间限制）。 更多信息请参考：Kubernetes 1.30 Changelog

使用nerdctl推送和拉取容器镜像 1. 登录容器镜像服务实例 plaintext nerdctl login usernametester testregistryhuadong1.crs.ctyun.cn 2. 拉取镜像 plaintext nerdctl pull testregistryhuadong1.crs.ctyun.cn/nstest/repotest: 3. 推送镜像 plaintext nerdctl tag testregistryhuadong1.crs.ctyun.cn/nstest/repotest: nerdctl push testregistryhuadong1.crs.ctyun.cn/nstest/repotest: 4. 示例 使用nerdctl images命令查看本地镜像 plaintext nerdctl images REPOSITORY TAG IMAGE ID CREATED PLATFORM SIZE BLOB SIZE busybox latest 3fbc63216742 11 hours ago linux/amd64 4.2 MiB 2.1 MiB 使用nerdctl tag命令重命名镜像 plaintext nerdctl tag 3fbc63216742 testregistryhuadong1.crs.ctyun.cn/nstest/repotest:v1 使用nerdctl push命令推送镜像 plaintext nerdctl push testregistryhuadong1.crs.ctyun.cn/nstest/repotest:v1

2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎节点。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎节点实例。 添加故障动作 ：单击立即添加 ，在列表中选择进程终止动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 进程名称：例如nginx。 停止进程的方式：强制结束表示使用 SIGKILL (信号9)，优雅结束表示使用 SIGTERM (信号15) 3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到终止进程动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务请求量、应用提供服务平均响应时间指标。 2、业务应用验证： 如果被终止的是一个由 systemd 管理的服务，执行 systemctl status [服务名]。服务的状态会显示为 inactive (dead) 或 failed，并可能看到其自动重启的记录。

2、编排演练任务 1. 导航至 故障演练 > 目标应用 > 演练管理 页面，单击新建演练。 2. 在基本信息 页面，按提示填写演练名称和描述，然后单击下一步。 3. 在演练对象配置页面： 配置动作组 ：为动作组 命名，资源类型选择云容器引擎节点。 添加实例 ：单击添加实例 ，勾选上一步中添加的云容器引擎节点实例。 添加故障动作 ：单击立即添加 ，在列表中选择进程终止动作。 4. 在弹出的参数配置框中，配置所需参数，然后单击确定。 持续时间：故障动作持续时间。 进程名称：例如nginx。 停止进程的方式：强制结束表示使用 SIGKILL (信号9)，优雅结束表示使用 SIGTERM (信号15) 3、配置全局策略 1. 在全局配置 页面，按需添加保护策略 和监控指标。 2. 配置完成后，单击完成 按钮，创建演练任务。 4、发起故障注入 1. 发起演练 ：在演练管理 列表找到对应演练任务，单击操作列的执行演练， 在新页面中点击发起新演练。 2. 进入实验 ：系统将自动跳转到本次演练的运行详情 页，或在演练执行记录 列表点击对应执行实例的详情进入。 3. 注入故障 ：在动作组 中，找到终止进程动作卡片，单击执行。 4. 查看日志 ：单击动作卡片本身，在右侧弹出的侧边栏中查看执行详情。 效果验证 在故障注入期间，您可以通过以下方式验证演练效果： 1、观测实例指标： 登录应用性能监控 控制台，观测已接入应用的应用提供服务请求量、应用提供服务平均响应时间指标。 2、业务应用验证： 如果被终止的是一个由 systemd 管理的服务，执行 systemctl status [服务名]。服务的状态会显示为 inactive (dead) 或 failed，并可能看到其自动重启的记录。

本章节介绍自定义授权服务 前提条件 1. 已开通云容器引擎，至少有一个云容器引擎集群实例。产品入口：云容器引擎。 2. 开通天翼云服务网格实例。 操作步骤 创建测试命名空间 kubectl create ns foo 打开sidecar自动注入 kubectl label ns foo istioinjectionenabled 部署sleep和httpbin应用 apiVersion: v1 kind: ServiceAccount metadata: name: sleep apiVersion: v1 kind: Service metadata: name: sleep labels: app: sleep service: sleep spec: ports: port: 80 name: http selector: app: sleep apiVersion: apps/v1 kind: Deployment metadata: name: sleep spec: replicas: 1 selector: matchLabels: app: sleep template: metadata: labels: app: sleep spec: terminationGracePeriodSeconds: 0 serviceAccountName: sleep containers: name: sleep image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/curl command: ["/bin/sleep", "infinity"] imagePullPolicy: IfNotPresent volumeMounts: mountPath: /etc/sleep/tls name: secretvolume volumes: name: secretvolume secret: secretName: sleepsecret optional: true 部署外部授权服务 apiVersion: v1 kind: Service metadata: name: extauthz labels: app: extauthz spec: ports: name: http port: 8000 targetPort: 8000 name: grpc port: 9000 targetPort: 9000 selector: app: extauthz apiVersion: apps/v1 kind: Deployment metadata: name: extauthz spec: replicas: 1 selector: matchLabels: app: extauthz template: metadata: labels: app: extauthz spec: containers: image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/extauthz:1.16.2 imagePullPolicy: IfNotPresent name: extauthz ports: containerPort: 8000 containerPort: 9000 apiVersion: v1 kind: ServiceAccount metadata: name: httpbin apiVersion: v1 kind: Service metadata: name: httpbin labels: app: httpbin service: httpbin spec: ports: name: http port: 8000 targetPort: 80 selector: app: httpbin apiVersion: apps/v1 kind: Deployment metadata: name: httpbin spec: replicas: 1 selector: matchLabels: app: httpbin version: v1 template: metadata: labels: app: httpbin version: v1 spec: serviceAccountName: httpbin containers: image: registryvpccrshuadong1.cnspinternal.ctyun.cn/library/httpbin imagePullPolicy: IfNotPresent name: httpbin ports: containerPort: 80

CTCCLSlowdetect是天翼云自研的用于大模型训练中慢节点检测的工具套件,需配合CTCCL0.4.0及以上使用。 功能介绍 CTCCLSlowdetect1.0.0工具套件架构如图所示，包括三个模块。 · ctccm：跨节点的集中式慢节点诊断工具。部署在和所有训练任务节点网络互通的节点上，每个大模型训练任务只需部署一个ctccm服务。负责收集汇总和集中发现与定位慢节点问题。 · ctcclprofilercomm：通信域级别集合通信信息统计工具。在每个训练任务所在的节点/容器内安装ctcclprofilercomm插件，在训练任务的脚本中import相关库并调用API接口使用，负责获得训练任务的通信域任务拓扑，以及收集通信域级别的超时集合通信操作事件，提供给ctccm进行慢节点分析诊断。 · ctcclprofilernet：机间通信边缘诊断工具。在每个训练任务所在的节点/容器内部署ctcclprofilernet服务，每个训练任务节点都需要部署1个独享的ctcclprofilernet服务。负责在边缘处理与初步诊断机间通信数据。 在大模型训练任务中使用CTCCLSlowdetect1.0.0工具套件，能够实现大模型训练过程中通信原因与非通信原因的慢节点检测。在发现集群中慢节点存在时，自动化开启全量集合通信操作事件监控，进一步分析定位慢节点。

容器IP地址管理 云原生网络2.0下的BMS节点和ECS节点分别使用的是弹性网卡和辅助弹性网卡： Pod的IP地址从配置给容器网络的VPC子网上直接分配，无需为节点分配一个单独的小网段。 ECS节点添加到集群中，先绑定用于承载辅助弹性网卡的弹性网卡，待弹性网卡绑定完成后，即可绑定辅助弹性网卡。 ECS节点上绑定的弹性网卡数： 该节点最多可绑定的辅助弹性网卡数/64 ，向上取整。 ECS节点上绑定的总网卡数： 用于承载辅助弹性网卡的弹性网卡数+当前Pod使用的辅助弹性网卡数+预热的辅助弹性网卡数 。 BMS节点上绑定的网卡数： 当前Pod使用的弹性网卡数+预热的弹性网卡数 。 Pod创建时，优先从节点的预热网卡池中随机分配一个可用的网卡。 Pod删除时，网卡释放回节点的预热网卡池。 节点删除时，将释放节点上所有已绑定的网卡（弹性网卡释放回集群预申请的网卡池，辅助弹性网卡直接删除）。 云原生2.0网络目前支持两种网卡预热策略：节点容器网卡动态预热策略 和 节点绑定容器网卡数总量高低水位策略（废弃中） 。使用场景如下表所示： 表 容器网卡预热策略对比表 容器网卡预热策略 节点容器网卡动态预热策略（默认策略） 节点绑定容器网卡数总量高低水位策略（废弃中） 管理策略 节点最少绑定容器网卡数（nicminimumtarget）：保障节点最少有多少张容器网卡绑定在节点上（未被Pod使用+已被Pod使用） 节点预热容器网卡上限检查值（nicmaximumtarget）：当节点绑定的容器网卡数超过该值，不再主动预热容器网卡 节点动态预热容器网卡数：当Pod使用完节点最少绑定容器网卡数（nicminimumtarget）后，会始终额外预热多少张容器网卡 节点预热容器网卡回收阈值(nicmaxabovewarmtarget)：只有当 节点上空闲的容器网卡数 节点动态预热容器网卡数(nicwarmtarget) 大于此阈值时，才会触发预热容器网卡的解绑回收 节点绑定容器网卡数低水位：保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用） 节点绑定容器网卡数高水位：保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡 适用场景 在尽可能提高IP资源利用率的前提下，尽可能加快Pod的启动速度，适用于容器网段IP地址数紧张的场景 通过合理配置上述四个参数，可适用于各种业务场景。 适用于容器网段IP地址数充足，且节点上Pod数变化剧烈，但固定在某个范围的场景 说明 1.19.16r2、1.21.5r0、1.23.3r0到1.19.16r4、1.21.7r0、1.23.5r0之间的集群版本只支持nicminimumtarget和nicwarmtarget两个容器网卡动态预热参数配置，绑定网卡数总量高低水位配置优先级高于容器网卡动态预热配置。 1.19.16r4、1.21.7r0、1.23.5r0、1.25.1r0及以上集群版本支持全部四个容器网卡动态预热参数配置，容器网卡动态预热配置优先级高于绑定网卡数总量高低水位配置。 图节点容器网卡动态预热策略 针对节点容器网卡动态预热策略，CCE提供了四个参数配置，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这四个参数。 表容器网卡动态预热参数 容器网卡动态预热参数 默认值 参数说明 配置建议 节点最少绑定容器网卡数(nicminimumtarget) 10 保障节点最少有多少张容器网卡绑定在节点上，支持数值跟百分比两种配置方式。 数值配置：参数值需为正整数。例如10，表示节点最少有10张容器网卡绑定在节点上。当超过节点的容器网卡配额时，后台取值为节点的容器网卡配额。 百分比配置：参数值范围为1%100%。例如10%，如果节点容器网卡配额128，表示节点最少有12张（向下取整）容器网卡绑定在节点上。建议nicminimumtarget与nicmaximumtarget为同类型的配置方式（同采用数值配置或同采用百分比配置）。 建议配置为大部分节点平时日常运行的Pod数。 节点预热容器网卡上限检查值(nicmaximumtarget) 0 当节点绑定的容器网卡数超过节点预热容器网卡上限检查值(nicmaximumtarget)，不再主动预热容器网卡。 当该参数大于等于节点最少绑定容器网卡数(nicminimumtarget)时，则开启预热容器网卡上限值检查；反之，则关闭预热容器网卡上限值检查。支持数值跟百分比两种配置方式。 数值配置：参数值需为正整数。例如0，表示关闭预热容器网卡上限值检查。当超过节点的容器网卡配额时，后台取值为节点的容器网卡配额。 百分比配置：参数值范围为1%100%。例如50%，如果节点容器网卡配额128，表示节点预热容器网卡上限检查值64（向下取整）。 建议nicminimumtarget与nicmaximumtarget为同类型的配置方式（同采用数值配置或同采用百分比配置）。 建议配置为大部分节点平时最多运行的Pod数。 节点动态预热容器网卡数(nicwarmtarget) 2 当Pod使用完节点最少绑定容器网卡数(nicminimumtarget)后，会始终额外预热多少张容器网卡，只支持数值配置。 当节点动态预热容器网卡数(nicwarmtarget) + 节点当前绑定的容器网卡数 大于 节点预热容器网卡上限检查值(nicmaximumtarget) 时，只会预热nicmaximumtarget与节点当前绑定的容器网卡数的差值。 建议配置为大部分节点日常10s内会瞬时弹性扩容的Pod数。 节点预热容器网卡回收阈值(nicmaxabovewarmtarget) 2 只有当节点上空闲的容器网卡数 节点动态预热容器网卡数(nicwarmtarget) 大于此阈值 时，才会触发预热容器网卡的解绑回收。只支持数值配置。 调大此值会减慢空闲容器网卡的回收，加快Pod的启动速度，但会降低IP地址的利用率，特别是在IP地址紧张的场景，请谨慎调大 。 调小此值会加快空闲容器网卡的回收，提高IP地址的利用率，但在瞬时大量Pod激增的场景，部分Pod启动会稍微变慢。 建议配置为大部分节点日常在分钟级时间范围内会频繁弹性扩容缩容的Pod数 大部分节点日常10s内会瞬时弹性扩容的Pod数。 说明 上述容器网卡动态预热参数支持集群级别的全局配置和节点池级别的差异化配置，其中节点池级别的容器网卡动态预热配置优先级高于集群级别的容器网卡动态预热配置。 容器网络组件会为每个节点维护一个可弹性伸缩的预热容器网卡池，定时（约10s一次）检测并计算需要绑定的预热容器网卡数 或需要解绑的空闲容器网卡数 : 需要绑定的预热容器网卡数 min(nicmaximumtarget 当前绑定的容器网卡总数，max(nicminimumtarget 当前绑定的容器网卡总数，nicwarmtarget 当前空闲的容器网卡数)) 需要解绑的空闲容器网卡数 min(当前空闲的容器网卡数 nicwarmtarget nicmaxabovewarmtarget，当前绑定的容器网卡总数 nicminimumtarget) 节点上当前预热的容器网卡数稳态后会维持在以下区间内： 当前预热的容器网卡数区间最小值 min(max(nicminimumtarget 当前绑定的容器网卡总数，nicwarmtarget), nicmaximumtarget 当前绑定的容器网卡总数) 当前预热的容器网卡数区间最大值 max(nicwarmtarget+ nicmaxabovewarmtarget, 当前绑定的容器网卡总数 nicminimumtarget) Pod创建时，优先从节点的预热容器网卡池中顺序分配（最早未被使用的）一张空闲的容器网卡，如没有可用的空闲网卡，会新创建一张网卡（辅助弹性网卡）或 新绑定一张网卡（弹性网卡）以分配给该Pod。 Pod删除时，对应的容器网卡先释放回节点的预热容器网卡池，2分钟冷却时间内可供下一个Pod循环使用，超过2分钟冷却时间后且节点预热容器网卡池计算出需要释放该容器网卡，才会释放该容器网卡。 图节点绑定容器网卡数总量高低水位策略 针对总量高低水位算法，CCE提供了一个配置参数，您可以根据业务规划，集群规模以及节点上可绑定的网卡数，合理设置这个参数： 节点绑定容器网卡数低水位：默认为0，保障节点至少会绑定多少张网卡（未被Pod使用+已被Pod使用）。ECS节点预绑定低水位网卡数节点绑定网卡数低水位节点总辅助弹性网卡数；BMS节点预绑定低水位网卡数节点绑定网卡数低水位节点总弹性网卡数。 节点绑定容器网卡数高水位：默认为0，保障节点至多会绑定多少张网卡，超过该值会尝试解绑未被使用的空闲网卡。ECS节点预绑定高水位网卡数节点绑定网卡数高水位节点总辅助弹性网卡数；BMS节点预绑定高水位网卡数节点绑定网卡数高水位节点总弹性网卡数。 容器网络组件会为每个节点维护一个可弹性伸缩的容器网卡池： 当已绑定容器网卡数量（Pod使用的容器网卡数+预绑定的容器网卡数） 预绑定高水位容器网卡数 ，且 节点预绑定的容器网卡数>0 时，会定时释放预绑定的容器网卡（超过2分钟未被使用的空闲网卡），直到 Pod使用的容器网卡数+预绑定的容器网卡数节点预绑定高水位容器网卡数 或Pod使用的容器网卡数 > 节点预绑定高水位容器网卡数 且 节点预绑定的容器网卡数0。

参数 是否必填 参数类型 说明 示例 下级对象 ContentType 是 String 类型 application/json regionId 是 String 资源池编码（资源池ID，您可以查看 bb9fdb42056f11eda1610242ac110002

参数 是否必填 参数类型 说明 示例 下级对象 ContentType 是 String 类型 application/json regionId 是 String 资源池编码（资源池ID，您可以查看 bb9fdb42056f11eda1610242ac110002