容器存储是为容器工作负载提供存储的组件，支持多种类型的存储，同一个工作负载（pod)可以使用任意数量的存储。 说明： Kubernetes1.13版本之前的CCE集群不支持端到端容器存储扩容功能，PVC容量与存储容量不一致。 存储类型选择 创建工作负载时，可以使用以下类型的存储。建议将工作负载pod数据存储在云存储上。若存储在本地磁盘上，节点异常无法恢复时，本地磁盘中的数据也将无法恢复。 本地硬盘：将容器所在宿主机的文件目录挂载到容器的指定路径中（对应Kubernetes的HostPath），也可以不填写源路径（对应Kubernetes的EmptyDir），不填写时将分配主机的临时目录挂载到容器的挂载点，指定源路径的本地硬盘数据卷适用于将数据持久化存储到容器所在宿主机，EmptyDir（不填写源路径）适用于容器的临时存储。配置项（ConfigMap）是一种用于存储工作负载所需配置信息的资源类型，内容由用户决定。密钥（Secret）是一种用于存储工作负载所需要认证信息、密钥的敏感信息等的资源类型，内容由用户决定。详情参见本地磁盘存储。 云硬盘存储卷：CCE支持将云硬盘创建的硬盘挂载到容器的某一路径下。当容器迁移时，挂载的云硬盘将一同迁移。这种存储方式适用于需要永久化保存的数据。详情参见云硬盘存储卷。 文件存储卷：CCE支持创建SFS存储卷并挂载到容器的某一路径下，也可以使用底层SFS服务创建的文件存储卷，SFS存储卷适用于多读多写的持久化存储，适用于多种工作负载场景，包括媒体处理、内容管理、大数据分析和分析工作负载程序等场景。详情参见文件存储卷。 极速文件存储卷：CCE支持创建SFS Turbo极速文件存储卷并挂载到容器的某一路径下，极速文件存储具有按需申请，快速供给，弹性扩展，方便灵活等特点，适用于DevOps、容器微服务、企业办公等应用场景。详情参见极速文件存储卷。 快照与备份：CCE通过云硬盘为您提供快照功能，云硬盘快照指的是云硬盘数据在某个时刻的完整拷贝或镜像，是一种重要的数据容灾手段，当数据丢失时，可通过快照将数据完整的恢复到快照时间点。详情参见快照与备份。

创建并部署前台应用组件 1、登录ServiceStage控制台，选择“应用管理 > 应用列表”。 2、单击创建应用时创建的应用名称（例如weathermap）“操作”栏的“新增组件”。 3、“配置方式”选择“自定义配置”，“选择组件类型”选择“微服务”，单击“下一步”。 4、“选择运行时”选择“Docker”，单击“下一步”。 5、“选择框架/服务网格”选择“选择“Mesher”， 组件信息栏中“组件名称”输入weathermapweb。 6、单击“创建并部署”，部署组件。 1. “环境”：选择创建环境时创建的环境（例如testenv）。 2. “部署版本”：输入1.0.0。 3. “部署系统”：选择“云容器引擎”。 4. “实例数量”：设置为1。 5. 其他参数使用默认。 7、单击“下一步 组件配置”，进行组件配置。 1. “镜像”：单击“选择镜像”，在“我的镜像”页签搜索“weathermapweb”，选择创建组织创建的组织名称下的weathermapweb镜像包及其版本号，单击“确定”。 2. “微服务引擎”：默认选择创建环境时选择的微服务引擎。 说明 • 卸载应用组件部署以后，微服务会注册到设置的微服务引擎。 • 所有应用组件需要注册到同一个微服务引擎，才能互相发现。 8、单击“下一步 规格确认”，确认规格。 9、单击“部署”，部署组件。

本章节介绍如何通过自建网关实现全链路灰度 概述 您可以基于微服务治理在不修改任何业务代码的情况下，实现全链路灰度的流量控制。本文介绍用户如何通过自建网关实现全链路灰度功能。 前提条件 1、用户已开通微服务治理中心企业版。 2、用户已开通云容器引擎。 背景信息 在微服务架构下，一次需求可能会同时修改多个微服务应用。在发布应用时，通常将这些应用划分为同一个分组，使灰度流量始终在灰度应用中流转。当上游有灰度流量时，会通过引流的方式将灰度流量引导至灰度分组，在此次链路调用过程中，如果存在一些微服务没有灰度环境，那这些请求在下游时依然能回到灰度环境中，以此实现全链路灰度。 通过使用微服务治理中心，可以在不修改业务代码的情况下，轻松实现全链路灰度。本文介绍如何通过自建网关实现全链路灰度。 部署Demo应用 准备自建入口网关msgczuul，准备应用msgcappa，msgcappb和msgcappc。调用过程是msgcappa –> msgcappb > msgcappc。 步骤1：在云容器引擎集群中安装微服务治理插件： 1. 登录云容器引擎控制台。 2. 在左侧菜单栏选择集群，点击目标集群。 3. 在集群管理页面点击插件插件市场，选择cubems插件安装。 步骤2：为应用开启微服务治理能力： 1. 登录云容器引擎控制台。 2. 左侧菜单栏选择集群，点击目标集群。 3. 在集群管理页面点击工作负载无状态，选择目标命名空间。 4. 在Deployment列表页选择指定Deployment，并点击全量替换，进入Deployment编辑页。 5. 在Deployment编辑页点击显示高级设置，新增Pod标签: mseCubeMsAutoEnable:on。 6. 在发布应用时，配置指定环境变量，可指定注入微服务治理中心的应用名、命名空间和标签等信息。 环境变量配置如下： 环境变量名 环境变量值 MSEAPPNAME 接入到微服务治理中心的应用名。 MSESERVICETAG 应用标签信息，如灰度应用可配置gray。 MSENAMESPACE（选填） 接入到微服务治理中心的命名空间，默认为：default。 7. 完成编辑后点击提交，重新发布容器即可接入。 appa应用的配置： 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appa" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appa" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appa" spec: containers: env: name: "MSEAPPNAME" value: "appa" image: "镜像仓库域名/xxx/appa:latest" imagePullPolicy: "Always" name: "appa" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appa" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appa" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appa" spec: containers: env: name: "MSEAPPNAME" value: "appa" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appa:latest" imagePullPolicy: "Always" name: "appa" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" appb应用的配置： 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appb" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appb" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appb" spec: containers: env: name: "MSEAPPNAME" value: "appb" image: "镜像仓库域名/xxx/appb:latest" imagePullPolicy: "Always" name: "appb" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appb" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appb" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appb" spec: containers: env: name: "MSEAPPNAME" value: "appb" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appb:latest" imagePullPolicy: "Always" name: "appb" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" appc应用的配置： 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appc" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appc" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appc" spec: containers: env: name: "MSEAPPNAME" value: "appc" image: "镜像仓库域名/xxx/appc:latest" imagePullPolicy: "Always" name: "appc" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appc" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appc" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appc" spec: containers: env: name: "MSEAPPNAME" value: "appc" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appc:latest" imagePullPolicy: "Always" name: "appc" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" zuul应用的配置： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "zuul" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "zuul" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "zuul" spec: containers: env: name: "MSEAPPNAME" value: "zuul" image: "镜像仓库域名/xxx/zuul:latest" imagePullPolicy: "Always" name: "zuul" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi"

本文介绍如何在科研助手中查看开发机详情。 操作步骤 1. 登录科研助手管理控制台。 2. 在控制台左侧导航栏中，选择【开发机】。 3. 在开发机列表中定位到想要查看的开发机，点击“开发机的名称”，例如“devenvhv0izd”。进入详情页。 可对开发机进行操作，如打开、启动、停止、保存镜像、变更规格、变更镜像、删除，同时可查看开发机存储和开发机事件。 4. 开发机详情展示以下参数： 【基础信息】 参数 说明 名称 开发机名称，支持设置开发机别名、复制名称 状态 开发机目前所处状态。状态有： 1.待创建。 2.启动中。包括资源调度、拉取镜像、启动容器等流程。 3.运行中。在线IDE实例正常运行中，可以进行“打开”和“停止”。 4.停止。在线IDE实例处于不可用状态，可点击"启动“重新开启在线IDE。 5.运行失败。因某种原因开发机无法运行。 6.运行结束。在线IDE实例在自动停止时长到期后自动停止，并处于不可用状态。 规格 计算资源规格： • 通用计算型。包括CPU（核），内存(GB) • GPU加速型。包括CPU（核），内存(GB)，显卡数量（块） 计费方式 按需计费 包周期 企业项目 购买开发机时所选的企业项目 创建时间 开发机的创建时间 更新时间 上一次更改开发机的时间，如变更镜像、变更规格等 自动停止 是否开启自动停止。 运行时长 开发机已运行时长，分钟 【资源配置】 参数 说明 可用区 所选择的可用 框架版本 开发机框架版本。显示开发机类型 类型计算资源类型： • GPU加速型 • 通用计算型 【存储】 参数 说明 挂载类型 文件存储或对象存储 挂载数据集 挂载数据集名称 容器挂载路径 容器挂载路径 【开发机事件】 展示开发机操作的事件详情。

本章节主要介绍故障演练服务技术类问题。 故障演练的实现原理是什么？ 不同类型的故障动作实现原理各不相同，详细说明请参考故障动作库中的具体文档，下表简要概述了各类动作的核心原理： 分类 资源类型 动作类型 动作 简介 原理描述 计算 云主机 主机资源 主机宕机 使用云主机接口对实例进行关机 通过调用云主机关机OpenAPI触发关机 计算 云主机 CPU资源 CPU高负载 使用内部自研工具实施CPU高负载 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是启动自定义程序，空跑for循环来消耗CPU时间片 计算 云主机 内存资源 内存高负载 使用内部自研工具实施内存高负载 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 计算 云主机 磁盘资源 IO高负载 使用内部自研工具实施磁盘IO高负载 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 计算 云主机 磁盘资源 IO Hang 模拟磁盘产生IO Hang效果 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过fsfreeze命令模拟磁盘夯死表现 注意：设置磁盘夯死故障注入后，可能会导致应用无法读写文件产出异常，请谨慎使用 计算 云主机 磁盘资源 磁盘填充 使用内部自研工具实施磁盘填充 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过dd命令将数据写入文件 计算 云主机 网络资源 网络丢包 使用TC和Netem模拟主机内网络丢包 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络延迟 使用TC和Netem模拟主机内网络延迟 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络延迟 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络包重复 使用TC和Netem模拟主机内网络包重复 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络包重复 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络包乱序 使用TC和Netem模拟主机内网络包乱序 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络包乱序 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 网络包损坏 使用TC和Netem模拟主机内网络包损坏 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过增加TC和Netem规则模拟主机内网络包损坏 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 计算 云主机 网络资源 端口占用 模拟指定端口占用 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是启动自定义程序， 创建Socket对象并绑定到指定端口 计算 云主机 网络资源 DNS篡改 篡改指定域名解析到指定IP 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过修改本地DNS解析文件实现 计算 云主机 网络资源 DNS不可用 DNS解析不可用 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过修改本地DNS解析文件或防火墙规则实现 注意：该动作风险较大，请谨慎操作 计算 云主机 JVM故障 JVM延迟 向特定JVM进程注入方法调用延迟故障 预先在探针管理处将内部自研Agent安装至云主机上，使用管控通道下发动作执行命令 原理是通过Java Agent在JVM进程内插入sleep代码来实现 中间件 Redis 集群资源 主从切换 Redis主从切换 通过调用Redis主从切换OpenAPI，触发Redis集群实例进行主从切换 中间件 Redis 节点资源 Redis节点故障 Redis节点发生故障 通过调用Redis停止Redis服务OpenAPI，模拟Redis节点故障，故障会触发Redis HA机制进行自动恢复 中间件 Redis 节点资源 Proxy节点故障 Proxy节点发生故障 通过调用Redis停止Proxy服务OpenAPI，模拟Proxy节点不可用 中间件 Redis 节点资源 节点主机宕机 Redis节点关机 通过关闭节点主机，模拟节点宕机 中间件 Redis 节点资源 CPU高负载 Redis节点CPU高负载 在节点启动自定义程序，空跑for循环来消耗CPU时间片 中间件 Redis 节点资源 内存高负载 Redis节点内存高负载 在节点启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 中间件 Redis 节点资源 磁盘IO高负载 Redis节点磁盘IO高负载 在节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 中间件 Redis 节点资源 磁盘IO Hang Redis节点磁盘IO Hang 在节点通过fsfreeze命令模拟磁盘夯死表现 中间件 Redis 节点资源 网络丢包 Redis节点网络丢包 在节点通过增加TC和Netem规则模拟主机内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 中间件 Kafka 节点资源 Broker节点主机宕机 Broker节点关机 指定或随机一个Broker节点进行关机 中间件 Kafka 节点资源 Broker节点CPU高负载 Broker节点CPU高负载 指定或随机一个Broker节点启动自定义程序，空跑for循环来消耗CPU时间片 中间件 Kafka 节点资源 Broker节点磁盘IO高负载 Broker节点磁盘IO高负载 指定或随机一个Broker节点先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 中间件 Kafka 节点资源 分区Leader不可用 分区Leader发生故障 指定一个或多个分区Leader，通过调用Kafka模拟Leader故障OpenAPI，触发Leader重新选举 中间件 RCC 集群资源 停止服务 注册配置中心集群服务故障 通过调用RCC停止集群OpenAPI，模拟RCC集群服务故障 中间件 RCC 节点资源 停止节点 注册配置中心节点故障 通过调用RCC停止节点OpenAPI，模拟RCC节点故障 云容器 容器集群 节点资源 托管Master节点宕机 关闭云容器引擎Master节点主机 通过关闭云容器引擎Master节点主机，模拟Master节点宕机（支持托管版本和智算版） 云容器 容器集群 节点资源 节点宕机 关闭云容器引擎纳管的节点主机 通过关闭云容器引擎纳管的节点主机，模拟节点宕机（支持Worker节点或专有版容器Master节点） 云容器 容器集群 节点资源 Etcd节点宕机 停止Etcd服务，模拟Etcd节点宕机 通过停止Etcd节点上的服务，模拟Etcd节点宕机 云容器 集群Node CPU资源 CPU高负载 使用内部自研工具实施CPU高负载 启动自定义程序，空跑for循环来消耗CPU时间片 云容器 集群Node 内存资源 内存高负载 使用内部自研工具实施内存高负载 启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 云容器 集群Node 磁盘资源 IO高负载 使用内部自研工具实施磁盘IO高负载 先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 云容器 集群Node 磁盘资源 磁盘填充 使用内部自研工具实施磁盘填充 通过dd命令将数据写入文件 云容器 集群Node 网络资源 网络丢包 使用TC和Netem模拟Node内网络丢包 通过增加TC和Netem规则模拟Node内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络延迟 使用TC和Netem模拟Node内网络延迟 通过增加TC和Netem规则模拟Node内网络延迟 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络包重复 使用TC和Netem模拟Node内网络包重复 通过增加TC和Netem规则模拟Node内网络包重复 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络包乱序 使用TC和Netem模拟Node内网络包乱序 通过增加TC和Netem规则模拟Node内网络包乱序 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 网络包损坏 使用TC和Netem模拟Node内网络包损坏 通过增加TC和Netem规则模拟Node内网络包损坏 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Node 网络资源 DNS篡改 篡改指定域名解析到指定IP 通过修改本地DNS解析文件实现 云容器 集群Node 应用进程 进程停止 终止节点上的指定进程 通过kill 9停止节点上的指定进程 云容器 集群Node 应用进程 进程挂起 挂起节点上的指定进程 通过kill STOP挂起节点上的指定进程 云容器 集群Pod CPU资源 CPU高负载 使用内部自研工具实施CPU高负载 启动自定义程序，空跑for循环来消耗CPU时间片 云容器 集群Pod 内存资源 内存高负载 使用内部自研工具实施内存高负载 启动自定义程序不断申请内存，模拟主机内存负载升高 注意：设置高负载的内存故障注入后，可能会使得机器无法登入与控制，请谨慎使用 云容器 集群Pod 磁盘资源 IO高负载 使用内部自研工具实施磁盘IO高负载 先通过dd命令将数据写入文件中，然后再通过循环读写文件占用磁盘带宽 云容器 集群Pod 磁盘资源 磁盘填充 使用内部自研工具实施磁盘填充 通过dd命令将数据写入文件 云容器 集群Pod 网络资源 网络丢包 使用TC和Netem模拟Pod内网络丢包 通过增加TC和Netem规则模拟Pod内网络丢包 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络延迟 使用TC和Netem模拟Pod内网络延迟 通过增加TC和Netem规则模拟Pod内网络延迟 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络包重复 使用TC和Netem模拟Pod内网络包重复 通过增加TC和Netem规则模拟Pod内网络包重复 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络包乱序 使用TC和Netem模拟Pod内网络包乱序 通过增加TC和Netem规则模拟Pod内网络包乱序 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 网络包损坏 使用TC和Netem模拟Pod内网络包损坏 通过增加TC和Netem规则模拟Pod内网络包损坏 注意：只对出方向流量生效，不会影响入流量；如果系统已配置有TC规则，动作执行会失败 云容器 集群Pod 网络资源 DNS篡改 篡改指定域名解析到指定IP 通过修改本地DNS解析文件实现 云容器 集群Pod Pod资源 Pod删除 删除指定Pod 调用云容器引擎K8S API删除Pod 云容器 集群Pod 应用进程 进程停止 终止节点上的指定进程 通过kill 9停止节点上的指定进程 云容器 集群Pod 应用进程 进程挂起 挂起节点上的指定进程 通过kill STOP挂起节点上的指定进程 云容器 集群Pod JVM故障 JAVA方法调用延迟 指定JVM进程与方法增加调用延迟 通过Java Agent拦截指定JVM进程内方法，增加sleep操作模拟调用延迟 云容器 集群Pod JVM故障 JAVA方法抛自定义异常 指定JVM进程与方法抛出自定义异常 通过Java Agent拦截指定JVM进程内方法，增加thow操作模拟抛出异常 云容器 容器镜像 Harbor服务 Harbor服务不可用 停止Harbor服务，模拟容器镜像仓库不可用 通过调用容器镜像服务OpenAPI，停止Harbor服务，模拟容器镜像仓库不可用

参数 参数说明 环境名称 环境的名称。 企业项目 设置企业项目。企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。开通企业项目后可以使用。 描述 环境说明信息。 单击 ，输入环境描述信息。 单击 ，保存描述。 虚拟私有云(VPC) 选择环境资源所在VPC。 新建VPC，请参考“帮助中心 > 虚拟私有云 > 用户指南 > 虚拟私有云和子网 > 虚拟私有云 > 创建虚拟私有云和子网”。 环境类型 根据

云服务分类 云服务名称 产品控制台创建资源时是否支持绑定标签 产品控制台列表是否支持绑定和解绑标签 标签字符长度限制 标签字符内容限制 单实例默认可绑定标签个数 计算 弹性云主机 是 是 128位 首尾不包含空格 50 计算 GPU云主机 是 是 128位 首尾不包含空格 50 计算 物理机 是 是 128位 首尾不包含空格 50 计算 镜像服务 是 是 128位 首尾不包含空格 50 计算 弹性伸缩服务 是 是 128位 首尾不包含空格 50 计算 云主机快照 是 是 128位 首尾不包含空格 50 计算 SSH秘钥对 是 是 128位 首尾不包含空格 50 存储 云硬盘 是 是 128位 开头不包含空格 50 存储 弹性文件服务 否 是 128位 首尾不包含空格 50 存储 对象存储 是 是 128位 首尾不包含空格 50 存储 并行文件服务HPFS 是 是 128位 首尾不包含空格 50 存储 海量文件服务OceanFS 是 是 128位 首尾不包含空格 50 存储 云硬盘备份 是 是 128位 开头不包含空格 50 存储 云主机备份 是 是 128位 开头不包含空格 50 网络 弹性负载均衡 是 是 128位 首尾不包含空格 50 网络 共享流量包 否 是 128位 首尾不包含空格 50 网络 VPC终端节点 是 是 128位 首尾不包含空格 50 网络 NAT网关 是 是 128位 首尾不包含空格 50 网络 网关负载均衡 是 是 128位 首尾不包含空格 50 网络 内网DNS 否 是 128位 首尾不包含空格 50 网络 弹性IP 否 是 128位 首尾不包含空格 50 网络 共享带宽 否 是 128位 首尾不包含空格 50 网络 虚拟私有云 否 是 128位 首尾不包含空格 50 网络 流量镜像 否 是 128位 首尾不包含空格 50 网络 对等连接 是 是 128位 首尾不包含空格 50 网络 云间高速（标准版） 否 是 128位 首尾不包含空格 50 网络 VPN连接 否 是 128位 首尾不包含空格 50 网络 云专线CDA 是 是 128位 首尾不包含空格 50 专属云 专属云（计算独享型） 是 是 128位 首尾不包括空格 50 云原生 云容器引擎 是 是 128位 首尾不包含空格 50 云原生 容器镜像服务 否 是 128位 首尾不包含空格 50 云原生 云日志服务 否 是 128位 首尾不包含空格 50 云原生 应用性能监控 否 是 128位 首尾不包含空格 20 云原生 微服务云应用平台MSAP 否 是 128位 首尾不包含空格 50 云原生 微服务引擎API网关 否 是 128位 首尾不包含空格 20 云原生 微服务引擎微服务治理 否 是 128位 首尾不包含空格 20 云原生 微服务引擎注册配置中心 否 是 128位 首尾不包含空格 20 云原生 服务网格 否 是 128位 首尾不包含空格 50 云原生 分布式缓存服务Redis版 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列RocketMQ 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列RabbitMQ 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列Kafka 是 是 128位 首尾不包含空格 50 云原生 分布式消息队列MQTT 是 是 128位 首尾不包含空格 50 云原生 弹性容器实例ECI 否 是 128位 首尾不包含空格 50 云原生 分布式容器云平台CCE ONE 是 是 128位 首尾不包含空格 20 云原生 Serverless容器引擎 是 是 128位 首尾不包含空格 50 云原生 函数计算 否 是 128位 首尾不包含空格 50 安全及管理 Web应用防火墙（原生版） 否 是 无限制 首尾不包含空格 50 安全及管理 服务器安全卫士（原生版） 否 是 128位 首尾不包含空格 10 安全及管理 云等保专区 否 是 128位 首尾不包含空格 50 安全及管理 数据库审计 否 是 128位 首尾不包含空格 10 安全及管理 云堡垒机（原生版） 否 是 128位 首尾不包含空格 10 安全及管理 日志审计（原生版） 否 是 128位 首尾不包含空格 10 安全及管理 秘钥管理 否 是 128位 首尾不包含空格 10 安全及管理 云密评专区 否 是 128位 首尾不包含空格 10 数据库 文档数据库服务 是 是 128位 首尾不包含空格 50 数据库 分布式关系型数据库 是 是 128位 首尾不包含空格 10 数据库 关系数据库PostgreSQL版 是 是 128位 首尾不包含空格 50 数据库 关系数据库MySQL版 是 是 128位 首尾不包含空格 50 数据库 云数据库ClickHouse版 是 是 128位 首尾不包含空格 50 数据库 关系数据库SQL Server版 是 是 128位 首尾不包含空格 50 数据库 数据传输服务DTS 否 是 128位 首尾不包含空格 50

参数 参数说明 方向 当前仅支持入方向。即“其它工作负载”访问“当前的工作负载（即当前案例中的workload1）”。 协议 请选择对应的协议类型，目前支持TCP和UDP协议，不支持ICMP协议。 目的容器端口 容器镜像中应用程序实际监听端口，需用户确定。nginx程序实际监听的端口为80。 若不填写容器端口，默认所有端口都可被访问。 远端 选择可访问“当前工作负载”的“其它工作负载”。通过目的容器端口来访问。 命名空间： 若选择某个命名空间，则该命名空间下的所有工作负载都会加入白名单，即都可访问 workload1 。 工作负载： 若选择某个工作负载，即该工作负载可以访问 workload1 。仅支持选择与 workload1 同个命名空间下的“其它工作负载”。

使⽤配置项 ⽅式1： 通过挂载数据卷使⽤配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使⽤配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的⼯作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在 数据卷中，点击添加数据卷，选择configMap类型，填写卷名称，并选择添加已有配置项选择已有的配置项。 6、在实例内容器的挂载点中，选择挂载数据卷，并添加挂载的容器路径及权限。 7、点击提交，完成创建。 方式2：环境变量中使⽤配置项。 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使用配置项的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在环境变量中，点击新增变量，类型选择configMapKeyRef，并选择已有的配置项，填写环境变量名。 6、点击提交，完成创建。

本节介绍了云容器引擎的最佳实践:容器化Web访问MySQL。 本篇以实际场景介绍如何发布无状态工作负载，并连接有状态数据库，并配合使用持久存储，在本片教程中，我们使用Local PV作为持久存储介质，在生产使用中建议使用Ceph存储。 创建持久存储类 选择Local存储，如下： 创建持久存储卷：在新建存储卷界面，选择第一步中创建的持久存储类 选择LocalPV所在节点以及LocalPV的目录，这里LocalPV所在节点即想要把容器数据持久化到哪一个k8s节点上，LocalPV的目录即是我们所选节点上的指定目录。 注意 此目录需要在我们所选择节点上存在，若不存在需要手动在改节点上创建目录。 创建MySQL有状态服务并使用持久存储卷： 出现新建存储卷界面，我们创建MySQL的流程如下： 点击新建PVC后，我们需要格外注意下图中的注意点。 StorageClasss名称：必须和第二步中创建的持久存储卷使用同一个StorageClass。 所需容量：这里选择的容量不能超过第二步中创建的持久存储卷的容量。 然后开始设置MySQL容器的参数，依次输入MySQL容器名称、选择MySQL镜像及版本号，需要格外注意挂载点的名称和容器路径。 其中数据卷选择刚刚添加的数据卷。 MySQL容器的数据目录为/Var/lib/mysql，所以容器路径输入这个目录。 设置容器的资源参数及环境变量，MySQL容器正常运行我们必须要设置MYSQLROOTPASSWORD这个环境变量，设置root用户密码，同时如果需要在MySQL容器启动后帮我们创建一个database，我们可以使用MYSQLDATABASE这个环境变量。 最后一步，我们为MySQL容器配置集群内访问方式，所以我们选择类型为ClusterIP。 注意 服务端口可以直接与容器端口相同。 创建web无状态工作负载并连接数据库 1、web工作负载配置 我们使用的web工作负载使用的配置文件如下： spring: jpa: showsql: false openinview: true datasource: driverclassname:"com.mysql.cj.jdbc.Driver" jdbcurl: "jdbc:mysql://{MYSQLHOST}:MYSQLHOST:{MYSQLPORT}/test?autoReconnecttrue&useUnicodetrue&characterEncodingUTF8&allowMultiQueriestrue&useSSLfalse" username: "${MYSQLUSERNAME}" password:"${MYSQLPASSWORD}" 在上述配置中，我们通过读取环境变量来设置应用所需的MySQL主机IP、端口、用户名、密码。 2、创建无状态工作负载 这里我们只介绍无状态工作负载的环境变量怎么设置，其他的参数配置与MySQL的类似：

本节介绍了公网白名单的用户指南。 为保障镜像制品及企业版实例安全，需要配置公网的访问控制策略，以限制通过公网访问企业版实例。 前置条件 本功能只能在企业版实例使用，对于个人版实例不支持使用此功能。 说明 在企业版实例开通后，会默认创建一条“127.0.0.1/32”的公网白名单，以限制所有来自公网的访问。 操作步骤 1. 登录容器镜像服务控制台。 2. 在顶部菜单栏，选择所需资源池。 3. 在实例页面中选择指定的企业版实例。 4. 在企业版实例管理页面的左侧菜单上选择"访问控制" "公网白名单"，在页面左上角点击 "添加公网白名单" 按钮。 5. 在弹出添加公网白名单选项卡中，录入地址段和备注信息，点击确定，各参数说明如下： 参数 是否必填 说明 地址段 必填 白名单放行地址段，如192.168.1.1/32、192.168.1.0/24 备注 非必填 此项白名单放通的补充说明信息，可以为空 6. 添加完成后，该白名单网段所包含IP的主机都可以正常访问实例。 注意 删除所有白名单后，公网下机器均可通过凭证访问企业版实例。请注意完全暴露在公网的企业版实例存在被攻击的风险，请谨慎操作。

步骤二：挂载弹性文件服务 1.以root用户登录弹性云主机，登录方式参考登录Linux弹性云主机。 2.执行以下命令安装NFS客户端。 yum y install nfsutils 3.执行如下命令创建本地路径“/nextcloud”。 mkdir /nextcloud 4.执行如下命令挂载文件系统。挂载地址可在文件系统详情页获取，参考查看文件系统。本地挂载路径为云主机上用于挂载文件系统的本地路径，本文采用上一步创建的“/nextcloud”。 mount t nfs o vers3,async,nolock,noatime,nodiratime,wsize1048576,rsize1048576,timeo600 挂载地址 本地挂载路径 5.挂载完成后使用 mount grep nextcloud查看挂载情况。 步骤三：安装Nextcloud服务 1.执行如下命令安装Docker。 curl fsSL bash s docker 2.执行如下命令启动Docker。 systemctl start docker 3.依次执行如下命令关闭防火墙。 systemctl stop firewalld.service 停止firewall systemctl disable firewalld.service 禁止firewall开机启动 4.执行 vi /etc/selinux/config打开config文件，将以下两条命令注释掉， SELINUXenforcing SELINUXTYPEtargeted 增加以下命令，关闭SELINUX： SELINUXdisabled 单击ECS退出编辑，输入"wq!"，保存退出config文件。在命令行执行以下命令，使配置生效： setenforce 0 6.执行如下命令拉取Nextcloud镜像。 docker pull nextcloud 7.执行如下命令创建Nextcloud容器并运行，Nextcloud参数说明见下表。 docker run p 7080:80 d v /nextcloud/:/var/www/html nextcloud 参数 说明 nextcloud 容器名称 /nextcloud/:/var/www/html 目录映射，/nextcloud/为数据文件存储的目录，此项配置可将网盘数据写入弹性文件系统中 p 7080:80 端口映射，本次使用7080端口 8. 执行如下命令，检查Nextcloud容器。可以查看Nextcloud的ContanerID 及端口情况，状态为'up'，说明Nextcloud容器运行中。 docker ps

本文介绍分布式容器云平的应用场景。 分布式云管理 场景说明 集中管理任意位置的Kubernetes集群以及计算资源，实现统一的应用交付、作业分发，更高水平的跨地域多集群管理运维，帮助用户最小化多云运营成本。 场景描述 管理多地资源：集中一处管理任意位置的Kubernetes集群，包括连接、日志、任务等。 集成应用分发：支持应用发布、升级与回滚等应用生命周期管理。 多集群负载分发：多种类型负载的自动分发到多集群。 混合云集群 场景说明 支持同时管理云上云下的资源，无需在各管理控制台间反复切换。 场景描述 统一管控：同一控制台管理云上云下集群资源。 统一镜像版本：基于容器镜像能力，同一套镜像和编排部署应用。 增强可观测性：支持日志、监控等能力，提供一致性体验运维能力。 跨集群分发 场景说明 以应用为中心，支持将应用按需发布到不同地域的指定集群，实现用户最小成本管理多云多集群的应用发布、灰度管理和应用的生命周期管理。 场景描述 跨集群应用部署：提供以应用为中心的视角，支持一个应用发布到不同地域的多个集群。 跨集群任务调度：提供面向多集群优化的任务分发和统一调度能力。 应用灰度发布：支持将一个应用灰度发布到不同地域集群。

HBlock CSI安装时绑定的命名空间 spec: containers: name: myfrontend 容器名称 image: busybox 请替换为容器使用的镜像 imagePullPolicy: "IfNotPresent" 容器镜像的拉取策略 volumeMounts: mountPath: "/test6a" 卷挂载到容器的目标路径 name: lun06a 对应volumes标签下的资源名 command: [ "sleep", "1000000" ] volumes: name: lun06a volumes资源名，可以在volumeMounts下挂载 persistentVolumeClaim: claimName: csipvclocalnocreatestor1lun06a Pod指定使用的PVC名称 卷模式为Block，创建Pod csiapplocalpvblockstor2lunb1的配置文件csiapplocalpvstor1lun06a.yaml，参考examplesblockvolumesstaticpvcsiapplocalpvblock.yaml中的示例。 plaintext kind: Pod apiVersion: v1 metadata: name: csiapplocalpvblockstor2lunb1 Set to the actual namespace namespace: default spec: containers: name: lunb1 image: busybox imagePullPolicy: "IfNotPresent" volumeDevices: devicePath: "/dev/testb1" name: lunb1 command: [ "sleep", "1000000" ] volumes: name: lunb1 persistentVolumeClaim: claimName: csipvclocalnocreateblockstor2lunb1 应用配置文件 以csiapplocalpvstor1lun06a.yaml 为例。 plaintext [root@server test] kubectl apply f csiapplocalpvstor1lun06a.yaml pod/mycsiapplocalpvstor1lun06a created 验证Pod中挂载的卷 说明 如果命名空间非default，需要使用命令kubectl get pod n namespace grep Podname查询。 plaintext [root@server test] kubectl get podgrep mycsiapplocalpvstor1lun06a mycsiapplocalpvstor1lun06a 1/1 Running 0 92s 可以看到容器中已经挂载了路径/test6a，此路径对应HBlock中的卷lun06a。 plaintext [root@server ~] kubectl exec it mycsiapplocalpvstor1lun06a /bin/sh / ls bin dev etc home lib lib64 proc root sys test6a tmp usr var

平台的训练任务可以提供稳定和易用的训练环境,在降低训练成本的同时提升训练任务执行效率。 前置条件 完成训练数据集准备，完成存储配置准备（ZOS/HPFS）,详见我的数据集。 如果预置模型不满足开发要求，需要基于自有模型，需要完成模型文件准备，详见模型管理。 如果预置镜像不满足开发要求，需要基于自有镜像，需要完成镜像文件准备，详见我的镜像。 如果需要使用代码包，需要完成代码包准备，详见我的代码包。 创建训练任务 1. 登录智算服务平台。 2. 创建训练任务入口： 入口一：在左侧菜单选择“模型定制”“训练任务”，点击“新建任务”，进入任务创建页面。 入口二：在左侧菜单选择“模型定制”“开发机”，点击开发机列表的“开始训练”。 参数类型 参数名 说明 基本信息 任务名称 必填，训练任务名称。 基本信息 描述 非必填，输入128个字符的描述。 数据集配置 训练数据集 最多可添加10个，选择基础数据集或者标注数据集。 模型配置 模型来源 我的模型：最多5个，将模型管理中的模型文件挂载到容器内路径。 预置模型：最多5个，将预置模型挂载到容器内路径。 模型配置 模型文件 选择我的模型具体的模型文件及版本。 选择预置模型文件及具体版本。 存储配置 ZOS对象存储 最多选择5个，如果没有提前创建，可以点击“去创建对象存储”完成创建。 存储配置 HPFS并行文件系统 最多选择5个，如果没有提前创建，可以点击“去创建HPFS”完成创建。 结果可视化工具 TensorBoard 可对TensorBoard进行配置。 开启TensorBoard将会占用您少量资源（约1核CPU+1G内存），您可按需开启。 开启后，您需要对日志的输出路径进行配置： 存储类型：选择需要的存储类型。 输出路径：日志实际的输出路径，建议您在自有存储中创建空文件夹专用于TensorBoard日志的输出。 容器内挂载路径：即训练代码中您指定的TensorBoard Summary日志文件存储位置。平台会默认读取任务训练输出路径下Summary路径中数据，该路径需与代码中的TensorBoard日志路径一致，否则TensorBoard无法获取数据。 环境配置 文件目录 平台可持久化的挂载目录，后续可以在该目录下读写文件，是用户间隔离的。 环境配置 训练代码 非必填，可以选择目标代码包。 环境配置 启动命令 必填。如果您的代码包是文件夹，则需要填写python xx.py，其中xx.py是您的训练代码；如果您的代码中有启动参数，可以直接填写；若您使用的代码包是压缩包文件，需要在启动命令中添加解压命令zip。 资源配置 镜像来源 支持选择系统预置镜像、自定义镜像、他人分享镜像以及镜像地址输入。 资源配置 集群 支持公共集群和专属集群两种类型，其中专属集群需要提前购买。 资源配置 资源配额 选择目标资源配额，展示当前总资源及使用情况。 资源配置 资源规格 选择当前任务所需要的资源规格。 资源配置 训练模式 默认为DDP（分布式训练），如果在单一计算设备上进行机器学习模型训练选择单机训练。 资源配置 容错训练 启动容错训练后，如果训练过程中节点异常，系统会自动重新启用一个新的节点来替换异常节点，从上一个checkpoint开始继续训练。 高级配置 断点续训 支持昇腾NPU以及英伟达系列GPU的断点续训。 开启后，如因为节点故障导致训练任务异常，会封锁故障节点，重新调度训练任务；同时可以配置断点续训策略，支持设置【每次错误的最大重启次数】【容错重启策略】【容错策略】等参数。 高级配置 算力健康检查 检查昇腾机器节点的显卡状态、显卡通信状态和交换机状态，以及带宽的压测值。可训练任务详情页查看具体信息。

本节介绍框架管理常见问题及解决办法。 目前支持哪些训练框架和推理框架？ 当前支持vLLM、SGlang、MindIE等训推框架。 能否纳管私有框架？ 支持纳管私有框架，可以将本地框架镜像文件push到容器镜像，智算套件控制台会自动刷新和关联。

操作步骤 步骤 1 登录CCE控制台，在总览页面单击“购买Kubernetes集群”，或在左侧导航栏中单击“资源管理 > 集群管理”，单击“购买混合集群”。 步骤 2 参照下表设置集群参数。 创建集群参数配置 参数 参数说明 计费模式 包年/包月：预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。包年/包月集群创建后不能删除。 按需计费：后付费模式，按资源的实际使用时长计费，可以随时开通/删除资源。 本节以“按需计费”类型为例进行讲解。 区域 不同区域的云服务产品之间内网互不相通；请就近选择靠近您业务的区域，可减少网络时延，提高访问速度。 集群名称 新建集群的名称，创建后不可修改。 集群名称长度范围为4128个字符，以小写字母开头，由小写字母、数字、中划线（）组成，且不能以中划线（）结尾。 版本 Kubernetes社区基线版本，建议选择最新的版本。版本升级请参见集群版本升级说明。 若有Beta版本时，您可以选择试用，但不建议您将该版本用于商用场景。 集群管理规模 集群管理规模是指当前集群的控制节点可以管理的最大工作节点规模，您可以选择50节点、200节点、1000节点三种管理规模，请根据您的业务需求选择，该规模在集群创建后不可更改，请慎重选择。 若选择“1000节点”，表示当前集群的控制节点最多可管理1000个工作节点。由于不同管理规模的控制节点规格不同，因此配置费用会有差异。 任何一个集群中均包含“Master Node”和“Worker Node”，每一个Node对应一台云服务器。 Master Node：集群的控制节点，在创建集群时会自动创建控制节点，负责整个集群的管理和调度。 Worker Node：集群的工作节点，即用户购买或纳管的节点。工作负载是由控制节点分配的，当某个工作节点宕机时，控制节点会将工作负载转移到其他工作节点上。 控制节点数 多控制节点模式开启后将创建三个控制节点，在单个控制节点发生故障后集群可以继续使用，不影响业务功能。 多控制节点模式开关在集群创建完成后不可变更。 商用场景建议选择多控制节点模式集群。 虚拟私有云 新建集群所在的虚拟私有云，集群创建后不可更改。 虚拟私有云是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 若没有虚拟私有云可选择，请单击“创建虚拟私有云”进行创建，完成创建后单击刷新按钮。 所在子网 节点虚拟机运行的子网环境，集群创建后不可更改。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 若没有子网可选择，请单击“创建子网”进行创建，完成创建后单击刷新按钮。虚拟私有云、子网、集群的关系请参见集群概述。 请确保子网下的DNS 服务器可以解析对象存储服务域名，否则无法创建节点。 集群创建后子网无法修改，请谨慎选择。 网络模型 集群创建成功后，网络模型不可更改，请谨慎选择。 容器隧道网络 容器隧道网络下只能添加同一类型的节点，即全部为虚拟机节点或全部为裸金属节点。 基于底层VPC网络，另构建了独立的VXLAN隧道化容器网络，适用于一般场景。 VXLAN是将以太网报文封装成UDP报文进行隧道传输。容器网络是承载于VPC网络之上的Overlay网络平面，具有付出少量隧道封装性能损耗，即可获得通用性强、互通性强、高级特性支持全面等优势，可以满足大多数应用需求。 VPC 网络 VPC网络模式下每个节点占用一条VPC路由规则，Console界面中可显示当前局点支持的VPC路由规则条数，以及每个节点可供分配的容器IP个数（即可创建的Pod实例数目上限）， VPC路由方式与底层网络深度整合，适用于高性能场景，但每个节点占用一条VPC路由规则，节点数量受限于虚拟私有云VPC的路由配额。 VPC网络集群下的每个节点将会被分配固定大小的IP地址段，由于没有隧道封装的消耗，容器网络性能相对于容器隧道网络有一定优势。VPC网络集群由于VPC路由中配置有容器网段与节点IP的路由，可以支持集群外直接访问容器实例等特殊场景。 容器网段 请根据业务需求选择容器网段，确定容器网段后，容器实例将在规划的网段内分配IP，集群创建后该网段不可更改。 未勾选“自动选择”：请手动选择网段。若与子网网段有冲突时将有红色文字提示，请重新选择。建议使用网段：10.0.0.0/8~18，172.16.0.0/16~18，192.168.0.0/16~18。 不同集群使用相同的容器网段，会导致容器IP 冲突，应用访问异常。 勾选“自动选择”：系统将自动分配与子网网段无冲突的网段。 容器网段要设置合理的掩码，掩码决定集群内可用节点数量。集群中容器网段掩码设置不合适，会导致集群实际可用的节点较少。设置掩码后，选项下方会有当前网段最多支持的实例估算值，请作参考。 服务网段 服务网段为kubernetes service ip网段，集群创建后该网段不可更改。服务网段与已创建的路由不能冲突，如果冲突，请重新选择。 使用默认网段：默认设置为10.247.0.0/16网段。 手动设置网段：请根据业务需求设置合理的网段和掩码，掩码决定集群内可用service ip数量。 认证方式 认证机制主要用于对集群下的资源做权限控制。例如A用户只能对某个命名空间下的应用有读写权限，B用户对集群下的资源只有读权限等。角色权限控制的操作请参见集群管理权限控制。 默认状态下不选定“认证能力增强”，此时默认开启X509认证模式，X509是一种非常通用的证书格式。 若需要对集群进行权限控制，请勾选“认证能力增强”，选择“认证代理”。 单击“CA根证书”后的“上传文件”，上传符合规范且合法的证书，并勾选“我已确认上传的证书合法”。 证书若不合法，集群将无法创建成功。请上传小于1MB的文件，上传格式支持.crt或.cer格式。 集群描述 选填，请输入新建容器集群相应的描述信息。 高级设置 单击“高级设置”后展开详细项目，支持的功能如下（当前可用区中不支持的功能将隐藏）： 服务转发模式： iptables：社区传统的kubeproxy模式，完全以iptables规则的方式来实现service负载均衡。该方式最主要的问题是在服务多的时候产生太多的iptables规则，非增量式更新会引入一定的时延，大规模情况下有明显的性能问题。 ipvs：在社区获得广泛支持的kubeproxy模式，采用增量式更新，吞吐更高，速度更快，并可以保证service更新期间连接保持不断开，适用于大规模场景。 ipvs模式下，ingress和service使用相同的ELB实例时，无法在集群内的节点和容器中访问ingress。 说明 ipvs为大型集群提供了更好的可扩展性和性能。 ipvs支持比iptables更复杂的负载平衡算法（最小负载，最少连接，位置，加权等）。 ipvs支持服务器健康检查和连接重试等。 CPU 管理策略： 开启：支持给工作负载实例配置CPU独占，适用于对CPU缓存和调度延迟敏感的工作负载。 关闭：关闭工作负载实例独占CPU核的功能，优点是CPU共享池的可分配核数较多。 购买时长 若选择创建“包年/包月”的集群，请设置购买时长。 步骤 3 单击“下一步：创建节点”，在“创建节点”步骤中，参照如下参数配置节点： 创建节点： 现在添加：创建集群的同时创建节点，当前仅支持虚拟机节点。如果节点创建失败集群会一起回滚。 稍后添加：将不会创建节点，仅创建一个空集群，集群创建完成后可以添加虚拟机或裸金属节点。 计费模式：支持“包年/包月”和“按需计费”两种计费类型。 包年/包月：包年包月是预付费模式，按订单的购买周期计费，适用于可预估资源使用周期的场景，价格比按需计费模式更优惠。 按需计费：按需计费是后付费模式，按资源的实际使用时长计费，可以随时开通/删除资源。 创建集群时节点的计费方式跟随集群的计费方式，如集群的计费模式选择“按需计费”，则创建过程中节点的计费模式只能为“按需计费”，“包年/包月”同理。创建方式请参考节点管理>购买节点。 包年/包月节点创建后不能删除，如需停止使用，请执行退订操作。 当前区域：节点实例所在的资源池。 可用区：请根据业务需要进行选择。可用区是在同一区域下，电力、网络隔离的物理区域，可用区之间内网互通，不同可用区之间物理隔离。 如果您需要提高工作负载的高可靠性，建议您在创建集群后将云服务器部署在不同的可用区，购买集群时节点只能部署在一个可用区。 节点类型：选择“虚拟机节点”。 节点名称：自定义节点名称。长度范围为156个字符，以小写字母开头，支持小写字母、数字、中划线()，不能以中划线()结尾。 节点规格：请根据业务需求选择相应的节点规格。 通用型：该类型实例提供均衡的计算、存储以及网络配置，适用于大多数的使用场景。通用型实例可用于Web服务器、开发测试环境以及小型数据库工作负载等场景。 内存优化型：该类型实例提供内存比例更高的实例，可以用于对内存要求较高、数据量大的工作负载，例如关系数据库、NoSQL等场景。 GPU加速型：提供优秀的浮点计算能力，从容应对高实时、高并发的海量计算场景。P系列适合于深度学习，科学计算，CAE等；G系列适合于3D动画渲染，CAD等。 高性能计算型：实例提供具有更稳定、超高性能计算性能的实例，可以用于超高性能计算能力、高吞吐量的工作负载场景，例如科学计算。 通用计算增强型：该类型实例具有性能稳定且资源独享的特点，满足计算性能高且稳定的企业级工作负载诉求。 为确保节点稳定性，系统会自动预留部分资源，用于运行必须的系统组件。详细请参见节点管理>节点预留资源计算公式。 操作系统：请直接选择节点对应的操作系统。 系统盘：设置工作节点的系统盘空间。您可以设置系统盘的规格为40GB1024GB之间的数值，缺省值为40GB。 数据盘：设置工作节点的数据盘空间。您可以设置数据盘的规格为100GB32678GB之间的数值，缺省值为100GB。数据盘可提供的云硬盘类型与系统盘一致。 注意 若数据盘卸载或损坏，会导致docker服务异常，最终导致节点不可用。建议不要删除该数据盘。 数据盘空间分配：单击后方的“更改配置”可以对数据盘中的“k8s空间”和“用户空间”占比进行自定义设置，开启LVM管理的数据盘将按照设置的比例进行统一分配。部分集群版本不支持此功能，具体以界面为准。 k8s空间：您可以自定义数据盘中Docker和Kubelet的资源占比。Docker资源包含Docker工作目录、Docker镜像数据以及镜像元数据；Kubelet资源包含Pod配置文件、密钥以及临时存储EmptyDir等挂载数据。 用户空间：定义本地盘中不分配给kubernetes使用的空间大小和用户空间挂载路径。 请注意“挂载路径”不能设置为根目录“/”，否则将导致挂载失败。挂载路径一般设置为： /opt/xxxx（但不能为/opt/cloud） /mnt/xxxx（但不能为/mnt/paas） /tmp/xxx /var/xxx （但不能为/var/lib、/var/script、/var/paas等关键目录） /xxxx（但不能和系统目录冲突，例如bin、lib、home、root、boot、dev、etc、lost+found、mnt、proc、sbin、srv、tmp、var、media、opt、selinux、sys、usr等） 注意不能设置为/home/paas、/var/paas、/var/lib、/var/script、/mnt/paas、/opt/cloud，否则会导致系统或节点安装失败。 虚拟私有云：不可修改，仅用于展示当前集群所在的虚拟私有云。 所在子网：通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。可选择该集群虚拟私有云下的任意子网，集群节点支持跨子网。 该参数仅在v1.13.10r0及以上版本的集群中显示，请务必确保子网下的DNS服务器可以解析对象存储服务域名，否则无法创建节点。 已有集群添加节点时，如果子网对应的VPC新增了扩展网段且子网是扩展网段，要在控制节点安全组（即集群名称ccecontrol随机数）中添加如下三条安全组规则，以保证集群添加的节点功能可用（新建集群时如果VPC已经新增了扩展网段则不涉及此场景）： 弹性IP：独立申请的公网IP地址，若节点有互联网访问的需求，请选择“暂不使用”或“使用已有”。集群开启IPv6时，不显示该参数。弹性公网IP提供外网访问能力，可以灵活绑定及解绑，随时修改带宽。未绑定弹性公网IP的云服务器无法直接访问外网，无法直接对外进行互相通信。 暂不使用：若新增节点未绑定弹性IP，则在该节点上运行的工作负载将不能被外网访问，仅可作为私有网络中部署业务或者集群所需云服务器进行使用。 使用已有：请选择已有的弹性IP，将为当前节点分配已有弹性IP。 说明 CCE默认不启用VPC的SNAT。若VPC启用了SNAT，可以不使用EIP去访问外网。 共享带宽：请选择“暂不使用”或“使用已有”。仅在集群开启IPv6时，显示该参数。弹性公网IP提供外网访问能力，可以灵活绑定及解绑，随时修改带宽。未绑定弹性公网IP的云服务器无法直接访问外网，无法直接对外进行互相通信。 登录方式：支持密码和密钥对。 选择“密码”：用户名默认为“root”，请输入登录节点的密码，并确认密码。 登录节点时需要使用该密码，请妥善管理密码，系统无法获取您设置的密码内容。 选择“密钥对”：选择用于登录本节点的密钥对，支持选择共享密钥。 密钥对用于远程登录节点时的身份认证。若没有密钥对，可单击选项框右侧的“创建密钥对”来新建。 注意 如果子用户创建节点选择密钥对创建，这个密钥只对创建这个密钥的子用户有效，即使其他子用户在同一个组也无法选择，也无法使用。例如：A用户创建的密钥，B用户无法使用这个密钥对创建节点，并且Console也选不到。 云服务器高级设置：（可选），单击 展开后可对节点进行如下高级功能配置： 安装前执行脚本：请输入脚本命令，大小限制为0~1000字符。 脚本将在Kubernetes软件安装前执行，可能导致Kubernetes软件无法正常安装，需谨慎使用。常用于格式化数据盘等场景。 安装后执行脚本：请输入脚本命令，大小限制为0~1000字符。 脚本将在Kubernetes软件安装后执行，不影响Kubernetes软件安装。常用于修改Docker配置参数等场景。 新增数据盘：单击“新增数据盘”，选择云硬盘类型并输入数据盘规格。 子网IP：可选择“自动分配IP地址”和“手动分配IP地址”，推荐使用“自动分配IP地址”。 Kubernetes高级设置：（可选），单击 展开后可对集群进行如下高级功能配置： 最大实例数：节点最大允许创建的实例数(Pod)，该数量包含系统默认实例，取值范围为16~128。 该设置的目的为防止节点因管理过多实例而负载过重，请根据您的业务需要进行设置。 自定义镜像仓库：单击“新增自定义镜像仓库地址”输入镜像仓库地址。 添加自定义镜像仓库地址（非SSL镜像源地址）到docker启动参数中，避免拉取个人镜像仓库的镜像失败，格式可为“IP地址:端口或者域名”。安装后执行脚本与自定义镜像仓库不能同时使用。 单容器可用数据空间：该参数用于设置一个容器可用的数据空间大小，设置范围为10G到80G。如果设置的参数超过数据盘中Docker可占用的实际数据空间（由数据盘设置项中的资源分配自定义参数指定，默认为数据盘大小的90%），将以Docker的实际空间大小为主。该参数仅在v1.13.10r0及以上版本的集群中显示。 节点购买数量：此处设置的节点数不能超过集群管理的最大节点规模，请根据业务需求和界面提示进行选择，单击后方的 可查看影响能添加节点数的因素（取决于最小值）。如需申请更多配额，请单击。 购买时长：若选择创建“包年/包月”的集群，请设置购买时长。 步骤 4 单击“下一步：安装插件”，在“安装插件”步骤中选择要安装的插件。 “系统资源插件”为必装插件，“高级功能插件”可根据实际需求进行选择性安装。 所有插件也可以在集群创建完成后，在左侧导航栏中单击“插件管理”进行安装或卸载，具体请参见插件管理章节。 步骤 5 单击“下一步：配置确认”，阅读“使用说明”并点选“我已知晓上述限制”，确认所设置的服务选型参数、规格和费用等信息。 步骤 6 确认规格和费用后，单击“提交”，集群开始创建。 若选择购买“包年包月”的集群，请单击“去支付”，根据界面提示进行付款操作。 集群创建预计需要约10分钟，您可以单击“返回集群管理”进行其他操作或单击“查看集群事件列表”后查看集群详情。待集群状态为“正常”，表示集群创建成功。

问题原因 通常是节点上的容器占用索引节点过多导致节点的索引节点不足。 问题现象 1、当节点的可用索引节点低于inodesFree配置项时，则节点状态中InodesPressure为True，同时该节点上的容器被驱逐。 2、当节点索引点不足时，通常会有以下常见错误信息： 2.1 节点状态中InodesPressure为True。 2.2 当节点上的容器被驱逐时： 2.2.1 被驱逐的容器事件中可看到关键字The node was low on resource: inodes。 2.2.2 节点事件中可看到关键字attempting to reclaim inodes。 解决方案 通过节点的监控查看索引节点增长曲线，确认异常出现时间点，检查节点上的进程是否存在占用索引节点过多现象。 节点磁盘空间不足DiskPressure 问题原因 通常是节点上的容器占用磁盘过多、镜像文件过大导致节点的磁盘空间不足。 问题现象 1、当节点的可用磁盘空间低于imagefs.available配置项时，则节点状态中DiskPressure为True。 2、当可用磁盘空间低于nodefs.available配置项时，则该节点上的容器全部被驱逐。 3、当磁盘空间不足时，通常会有以下常见错误信息： 3.1 节点状态中DiskPressure为True。 3.2 当触发镜像回收策略后，磁盘空间仍然不足以达到健康阈值（默认为80%），在节点事件中可看到关键字failed to garbage collect required amount of images。 3.3 当节点上的容器被驱逐时： 3.3.1 被驱逐的容器事件中可看到关键字The node was low on resource: [DiskPressure]。 3.3.2 节点事件中可看到关键字attempting to reclaim ephemeralstorage或attempting to reclaim nodefs。

操作场景 CCE支持拉取第三方镜像仓库的镜像来创建工作负载。 通常第三方镜像仓库必须经过认证（帐号密码）才能访问，而CCE中容器拉取镜像是使用密钥认证方式，这就要求在拉取镜像前先创建镜像仓库的密钥。 前提条件 使用第三方镜像时，请确保工作负载运行的节点可访问公网。您可以通过负载均衡(LoadBalancer)方式访问公网。 通过界面操作 步骤 1 创建第三方镜像仓库的密钥。 单击左侧导航栏的“配置中心 > 密钥 Secret”，单击“添加密钥”，密钥类型必须选择为kubernetes.io/dockerconfigjson，如下图所示。详细操作请参见创建密钥。 此处的“用户名”和“密码”请填写第三方镜像仓库的帐号密码。 添加密钥 步骤 2 参照创建无状态负载(Deployment)或创建有状态负载(StatefulSet)，选择第三方镜像时，请执行如下操作。 1. 密钥认证：是。 2. 选择密钥：选择步骤1中创建的密钥。 3. 镜像地址：输入镜像地址。 步骤 3 单击“创建”。 使用kubectl创建第三方镜像仓库的密钥 步骤 1 请参见通过kubectl操作CCE集群配置kubectl命令。 步骤 2 登录已配置好kubectl命令的弹性云主机。 步骤 3 通过kubectl创建认证密钥 ，该密钥类型为dockercfg类型。 kubectl create secret dockerregistry myregistrykey dockerserverDOCKERREGISTRYSERVER dockerusernameDOCKERUSER dockerpasswordDOCKERPASSWORD dockeremailDOCKEREMAIL 其中，myregistrykey为密钥名称，其余参数如下所示。 DOCKERREGISTRYSERVER：第三方镜像仓库的地址，如“www.3rdregistry.com”或“10.10.10.10:443”。 DOCKERUSER：第三方镜像仓库的帐号。 DOCKERPASSWORD：第三方镜像仓库的密码。 DOCKEREMAIL：第三方镜像仓库的邮箱。 步骤 4 创建工作负载时使用第三方镜像，具体步骤请参见如下。 dockecfg类型的密钥作为私有镜像获取的认证方式，以Pod为例，创建的myregistrykey作为镜像的认证方式。 apiVersion: v1 kind: Pod metadata: name: foo namespace: default spec: containers: name: foo image: www.3rdregistry.com/janedoe/awesomeapp:v1 imagePullSecrets: name: myregistrykey

使用保密字典 方式1： 通过挂载数据卷使用配置项 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页。 2、在集群列表中点击需要使用保密字典的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在数据卷中，点击添加数据卷，选择secret类型，填写卷名称，并选择添加已有secret选择已有的保密字典。 6、在实例内容器的挂载点中，选择挂载数据卷，并添加挂载的容器路径及权限。 7、点击提交，完成创建。 方式2：环境变量中使用配置项 1、登陆云容器引擎控制台， 点击左侧导航栏中的集群，进入集群列表页面。 2、在集群列表中点击需要使⽤保密字典的集群，进入集群管理页面。 3、在集群管理页面导航栏中选择工作负载， 在列表中选择需要创建的工作负载，本文以无状态为例。 4、点击新建，进入新建Deployment页面。 5、根据实际需要设置工作负载的基本信息（名称、镜像等），并在环境变量中，点击新增变量，类型选择secretKeyRef，并选择已有的保密字典，填写环境变量名。 6、点击提交，完成创建。

功能 功能描述 创建函数 当前支持三种函数的创建： 1. 标准运行时函数：按照函数计算内置的标准运行时及内置定义的接口，编写程序来处理事件请求或HTTP请求 2. 自定义运行时函数：迁移框架应用或基于各种流行框架如 Flask、Express、SpringBoot 等编写程序 3. 容器函数：迁移容器应用或 GPU应用，使用容器镜像方式部署函数 版本管理 函数具有版本快照的属性，不同的版本可以有不同的业务逻辑或者实现方式，用于函数功能迭代的一种重要管理手段。 别名管理 可以为函数创建别名，它是一个指向特定版本的指针，用于简化发布、回滚和灰度发布过程。别名解析至其指向的版本，使得调用方无需关心具体版本。可以通过别名实现灰度发布。通过线上新旧版本共存的方式，可以先小范围验证新版本，再逐步切换流量至新版本，实现平滑过渡。 配置环境变量 环境变量可以作为一类特殊的配置，配置环境变量支持在不修改代码的情况下，实现配置的变更，从而支持业务新特性或者新逻辑。 配置网络 默认情况下，函数可以通过公网调用或者访问公网。若需访问VPC资源或允许VPC调用函数，可以通过配置网络来实现。 配置日志 配置日志项目和库，并授权函数访问日志服务。函数日志可以配置存储到日志服务中，便于分析和排查问题，或者用于统计或审计的需要。 配置存储 可为函数配置NAS或ZOS挂载，使得函数能像使用本地文件系统一样访问这些存储服务。 管理函数层 层提供公共依赖库、运行时环境和函数扩展，减少函数部署或更新时的代码包体积，节省存储，提高函数构建部署速度。 配置权限 可以给函数授权角色和角色策略，决策策略定义了函数能访问哪些资源。

本节主要介绍Glance使用HBlock卷的前置条件。 Glance使用HBlock卷的前置条件如下： HBlock服务已经正确配置，且可以正常启动。 正确安装OpenStack，支持的OpenStack版本详见环境要求。 正确安装OpenStack的接入插件，且功能正常。 说明 在使用Stor Cinder进行镜像创建卷的场景下，它支持采用克隆方式进行底层处理。当镜像文件较大时，利用克隆方式可以快速高效地完成卷的创建任务，大大提升了操作效率和用户体验。使用此方式的前提条件是： Glance配置了HBlock存储。 cinder.conf中配置：alloweddirecturlschemescinder，配置位置在[DEFAULT]标签下，否则不生效。 glanceapi.conf中配置：glanceapi.conf: showimagedirecturl True，配置位置在[DEFAULT]标签下，否则不生效。 对应的image必须是基于下列条件创建的：HBlock的卷，格式为raw，容器为bare。

云应用引擎 CAE（Cloud App Engine）是一款面向容器应用的 Serverless 全托管平台，提供完整的微服务应用托管和治理能力。CAE 可帮助您将微服务应用便捷地容器化并托管，实现秒级部署与全自动弹性伸缩，按使用量计费，大幅提高业务交付效率和系统可用性。作为 Serverless 架构中承载复杂应用的核心组件，CAE 让您聚焦业务逻辑，免运维底层基础设施，开箱即用监控、日志、服务治理等企业级能力，全面提升应用的可管理性与弹性。 产品架构 CAE产品架构如下所示。更多信息，请参见基本概念。 底层基于Kubernetes，实现了Serverless架构与微服务架构的完美结合。 支持Spring Cloud多种微服务框架、多种部署方式（ZIP包、镜像）和多种技术栈语言（Java、PHP、Python等）。 产品功能 功能 说明 应用全生命周期管理 提供从创建到运行的应用全生命周期管理服务，支持分批、灰度等多种发布策略，支持按流量秒级灰度。 无侵入应用监控 提供无侵入的应用监控和告警能力，支持任意语言和任意框架。 无侵入微服务治理 支持Spring Cloud零代码改造迁移至云应用引擎。提供服务注册与发现、环境隔离、配置管理、限流降级、应用无损上下线、服务鉴权、全链路灰度等能力。 一键启停开发测试环境 中大型企业包含多套环境，测试环境如果长期保有应用实例，会导致闲置浪费高。CAE提供逻辑隔离运行环境，通过一键启停开发测试环境能力，有效节省硬件成本。

云应用引擎 CAE（Cloud App Engine）是一款面向容器应用的 Serverless 全托管平台，提供完整的微服务应用托管和治理能力。CAE 可帮助您将微服务应用便捷地容器化并托管，实现秒级部署与全自动弹性伸缩，按使用量计费，大幅提高业务交付效率和系统可用性。作为 Serverless 架构中承载复杂应用的核心组件，CAE 让您聚焦业务逻辑，免运维底层基础设施，开箱即用监控、日志、服务治理等企业级能力，全面提升应用的可管理性与弹性。 产品架构 CAE产品架构如下所示。更多信息，请参见基本概念。 底层基于Kubernetes，实现了Serverless架构与微服务架构的完美结合。 支持Spring Cloud多种微服务框架、多种部署方式（ZIP包、镜像）和多种技术栈语言（Java、PHP、Python等）。 产品功能 功能 说明 应用全生命周期管理 提供从创建到运行的应用全生命周期管理服务，支持分批、灰度等多种发布策略，支持按流量秒级灰度。 无侵入应用监控 提供无侵入的应用监控和告警能力，支持任意语言和任意框架。 无侵入微服务治理 支持Spring Cloud零代码改造迁移至云应用引擎。提供服务注册与发现、环境隔离、配置管理、限流降级、应用无损上下线、服务鉴权、全链路灰度等能力。 一键启停开发测试环境 中大型企业包含多套环境，测试环境如果长期保有应用实例，会导致闲置浪费高。CAE提供逻辑隔离运行环境，通过一键启停开发测试环境能力，有效节省硬件成本。

本节主要介绍创建软件包构建任务 通过构建任务可以用软件包一键式生成镜像包，实现“软件包获取>镜像编译>镜像归档”的全流程自动化。 前提条件 1.已经创建集群。 2.已为构建节点绑定弹性IP。 操作步骤 1、登录ServiceStage控制台，选择“持续交付 > 构建”，单击“基于软件包构建”。 2、输入“Job名称”。 3、（可选）输入Job“描述”。 4、设置“包来源”。 支持以下上传方式： 从OBS对象存储选择对应的软件包，需要提前将软件包上传至OBS桶中。 单击“选择软件包”，选择对应的软件包。 5、选择构建方式。 系统默认 a.选择基础镜像语言，需与步骤4中选择的软件包编译语言一致。 b.选择“基础镜像版本”。 自定义Dockerfile 在编译框中输入自定义命令。 注意 请在echo、cat、debug等命令中慎用敏感信息或者进行敏感信息加密，以免造成信息泄露。 内置镜像 选择“基础镜像”，镜像语言需与步骤4中选择的软件包编译语言一致。 6、设置“镜像类型”。 公有：包含常见的标准操作系统镜像，所有用户可见，包括操作系统以及预装的公共应用。请根据您的实际情况自助配置应用环境或相关软件。 私有：包含操作系统或业务数据、预装的公共应用以及用户的私有应用的镜像，仅用户个人可见。 7、选择“镜像归档地址”。 8、构建集群。 使用自己的集群进行构建任务，可以通过节点标签将构建任务下发到固定节点上，新增过滤标签请参考“帮助中心 > 云容器引擎 > 用户指南 > 节点管理”。 9、单击“立即构建”启动构建。 单击“保存”仅保存设置，不进行构建。

参数 参数说明 密钥名称 新建的密钥的名称，同一个命名空间内命名必须唯一。 所属集群 使用新建密钥的集群。 集群命名空间 新建密钥所在的命名空间，默认为default。 描述 密钥的描述信息。 密钥类型 新建的密钥类型。 Opaque：一般密钥类型。 kubernetes.io/dockerconfigjson：存放拉取私有仓库镜像所需的认证信息。 IngressTLS：存放7层负载均衡服务所需的证书。 其他：若需要创建其他类型的密钥，请手动输入密钥类型。 密钥数据 工作负载密钥的数据可以在容器中使用。 当密钥为Opaque类型时。 1. 单击“添加更多密钥数据” 。 2. 输入键、值。其中“值”必须使用Base64编码，Base64编码方法请参见 如何进行Base64编码 。 当密钥为kubernetes.io/dockerconfigjson类型时，输入私有镜像仓库的帐号和密码。 当密钥为IngressTLS类型时，上传证书文件和私钥文件。 说明 1、证书是自签名或CA签名过的凭据，用来进行身份认证。 2、证书请求是对签名的请求，需要使用私钥进行签名。 密钥标签 标签以Key/value键值对的形式附加到各种对象上（如工作负载、节点、服务等）。 标签定义了这些对象的可识别属性，用来对它们进行管理和选择。 1. 单击“添加标签” 。 2. 输入键、值。

本文介绍我的模板相关操作。 模版创建 1. 在弹性容器实例控制台左侧导航栏中选择“智算容器组模板管理”。 2. 选择我的模板页签，点击“创建模板”进入创建模板页面。 3. 在创建模板界面中确认基础配置信息。 4. 在创建模板界面中确认镜像配置信息。 5. 在创建模板界面中确认其他配置，如启动命令，端口，环境变量等。 模版查看 模板创建完成后，可以点击我的模板页签进行查看。 模版修改 1. 模板创建完成后，可以点击点击修改操作。 2. 选择需要修改的参数，如网络参数，镜像配置，启动命令等。 模版删除 1.选择需要删除的模板，点击删除操作。 2. 当出现弹窗，点击“确认”即可。

本节介绍了常见问题:实例相关问题。 实例访问地址不通 确认使用的地址是否正确。内网地址只能在用户的VPC内的主机上访问。外网地址可以从公网访问。 个人实例和企业实例配额问题 个人版容器镜像实例不支持调整命名空间配额和仓库配额，而企业版支持通过扩容或缩容操作修改空间配额和仓库配额。

本章节介绍如何基于消息队列RocketMQ实现全链路灰度 概述 本文介绍在使用消息队列（RocketMQ）这种异步场景下，可以在不修改业务代码的情况下，实现异步场景的灰度，从而实现全链路灰度。本文介绍基于消息队列RocketMQ实现全链路灰度。 背景介绍 在大多数业务场景中对于消息的灰度并没有RPC调用那么严格，但是当全链路灰度调用中涉及到消息消费时，如果消息消费没有按照全链路流量规则路由，则会导致通过消息产生的流量逃逸，从而破坏全链路规则，导致出现一些不符合预期的情况。 如下图所示，本文分别部署网关、appa、appagray、appb、appbgray、appc、appcgray以及RocketMQ，模拟一个真实的全链路灰度场景。 通过网关调用appa应用的接口，当满足路由规则后，灰度流量会被路由到appagray，appagray又会调用appbgray，随后由appbgray发送灰度消息，appcgray将会收到灰度消息，而appc不会收到灰度消息。 前提条件 1. 用户已开通微服务治理中心企业版。 2. 用户已开通云容器引擎。 3. 用户已部署RocketMQ，且RocketMQ版本在4.5.0以上，broker.conf中已配置enablePropertyFiltertrue。 部署Demo应用 准备自建入口网关msgczuul，准备应用msgcappa，msgcappb和msgcappc。调用过程是msgcappa –> msgcappb > msgcappc。 步骤1：在云容器引擎中安装微服务治理插件： 1. 登录“云容器引擎”控制台。 2. 在左侧菜单栏选择“集群”，点击目标集群。 3. 在集群管理页面点击“插件”“插件市场”，选择“cubems”插件安装。 步骤2：为应用开启微服务治理能力： 1. 登录“云容器引擎”控制台。 2. 左侧菜单栏选择“集群”，点击目标集群。 3. 在集群管理页面点击“工作负载”“无状态”，选择目标命名空间。 4. 在Deployment列表页选择指定Deployment，并点击“全量替换”，进入Deployment编辑页。 5. 在Deployment编辑页点击“显示高级设置”，新增“Pod标签”: mseCubeMsAutoEnable:on。 6. 在发布应用时，配置指定环境变量，可指定注入微服务治理中心的应用名、命名空间和标签等信息。 环境变量配置如下： 环境变量名 环境变量值 MSEAPPNAME 接入到微服务治理中心的应用名。 MSESERVICETAG 应用标签信息，如灰度应用可配置gray。 MSENAMESPACE（选填） 接入到微服务治理中心的命名空间，默认为：default。 7. 完成编辑后点击“提交”，重新发布容器即可接入。 appa应用的配置 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appa" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appa" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appa" spec: containers: env: name: "MSEAPPNAME" value: "appa" image: "镜像仓库域名/xxx/appa:latest" imagePullPolicy: "Always" name: "appa" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appa" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appa" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appa" spec: containers: env: name: "MSEAPPNAME" value: "appa" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appa:latest" imagePullPolicy: "Always" name: "appa" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" appb应用的配置 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appb" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appb" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appb" spec: containers: env: name: "MSEAPPNAME" value: "appb" image: "镜像仓库域名/xxx/appb:latest" imagePullPolicy: "Always" name: "appb" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appb" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appb" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appb" spec: containers: env: name: "MSEAPPNAME" value: "appb" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appb:latest" imagePullPolicy: "Always" name: "appb" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" appc应用的配置 基线： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appc" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appc" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appc" spec: containers: env: name: "MSEAPPNAME" value: "appc" image: "镜像仓库域名/xxx/appc:latest" imagePullPolicy: "Always" name: "appc" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" 灰度： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "appc" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "appc" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "appc" spec: containers: env: name: "MSEAPPNAME" value: "appc" name: "MSESERVICETAG" value: "gray" image: "镜像仓库域名/xxx/appc:latest" imagePullPolicy: "Always" name: "appc" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi" zuul应用的配置： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "zuul" namespace: "default" spec: progressDeadlineSeconds: 600 replicas: 1 revisionHistoryLimit: 10 selector: matchLabels: name: "zuul" template: metadata: labels: mseCubeMsAutoEnable: "on" name: "zuul" spec: containers: env: name: "MSEAPPNAME" value: "zuul" image: "镜像仓库域名/xxx/zuul:latest" imagePullPolicy: "Always" name: "zuul" ports: containerPort: 26160 livenessProbe: tcpSocket: port: 26160 initialDelaySeconds: 10 periodSeconds: 30 resources: limits: cpu: "1" memory: "1Gi" requests: cpu: "1" memory: "1Gi"

查看策略列表和集群中已部署的策略实例 您可根据以下操作查看策略列表和集群中已部署的策略实例总数。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、选择【我的策略】Tab页查看集群所有已部署的策略以及策略对应的策略实例个数。 修改策略实例 您可根据以下操作修改指定集群已经部署的策略实例。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、在【我的策略】Tab页中选择目标策略，单击【编辑】在跳出的弹窗中修改相关配置即可。 删除策略实例 您可根据以下操作修改指定集群中的策略实例。 1、选择指定容器集群，在菜单栏【安全管理】中选择【策略管理】。 2、在【我的策略】Tab页中选择目标策略，单击【删除】即可删除该策略在集群中部署的所有实例。 策略参数说明 Category Policy Description Severity Category CCSENoEnvVarSecrets 限制Secret以secretKeyRef的形式挂载到应用Pod环境变量中。 medium Category CCSEPodsRequireSecurityContext 限制Pod中所有容器必须配置securitycontext字段。 low Category CCSERestrictNamespaces 限制资源部署在集群指定的命名空间中。 low Category CCSERestrictRoleBindings 限制指定命名空间下的rolebinding使用指定范围内的Role或Clusterrole。 medium Infra CCSEBlockProcessNamespaceSharing 限制在集群指定范围部署的应用中使用shareProcessNamespace。 high Infra CCSEEmptyDirHasSizeLimit 要求emptyDir类型的Volume必须指定sizelimit。 low Infra CCSELocalStorageRequireSafeToEvict 限制部署在集群指定范围内的Pod必须具有 “clusterautoscaler.kubernetes.io/safetoevict”: “true” 注释标签。默认情况下autoscaler在集群自动伸缩时不会驱逐使用HostPath或EmptyDir卷的Pod。为了允许驱逐这些Pod，必须在Pod上添加该注释标签。 low Infra CCSESASMaliciousImage Requires container images is safe and scanned by SAS. high Infra CCSEOSSStorageLocationConstraint Restricts location of oss storage in cluster. low K8sgeneral CCSEAllowedRepos 限制在集群指定范围部署的应用Pod中拉取白名单列表外的镜像。 high K8sgeneral CCSEBlockAutoinjectServiceEnv 要求在应用中配置enableServiceLinks: false防止在Pod环境变量中透出服务IP。 low K8sgeneral CCSEBlockAutomountToken 要求在应用中设置automountServiceAccountToken: false字段防止自动挂载serviceaccount。 high K8sgeneral CCSEBlockEphemeralContainer 限制在集群指定范围的应用Pod中启动临时容器。 medium K8sgeneral CCSEBlockLoadBalancer 限制在集群指定范围内部署LoadBalancer类型的Service。 high K8sgeneral CCSEBlockNodePort 限制在集群指定范围内使用NodePort类型的Service。 high K8sgeneral CCSEContainerLimits 要求集群指定范围的应用Pod配置资源limits。 low K8sgeneral CCSEExternalIPs 限制在集群指定范围内的Services实例使用白名单范围之外的externalIPs。 high K8sgeneral CCSEImageDigests 限制在集群指定范围内部署不符合digest格式的镜像。 low K8sgeneral CCSERequiredLabels 限制在集群指定范围内部署没有指定范式label标签的应用。 low K8sgeneral CCSERequiredProbes 限制在集群指定范围内部署的Pod配置指定类型的readinessProbe和livenessProbe。 medium K8sgeneral CCSECheckNginxPath 限制在Ingress实例的spec.rules[].http.paths[].path字段中使用危险配置。Ingressnginx 1.2.1以下版本建议开启该策略。 high K8sgeneral CCSECheckNginxAnnotation 限制在Ingress实例的metadata.annotations字段中使用危险配置。Ingressnginx 1.2.1以下版本建议开启该策略。 high

使用NVIDIA NGC 1. 生成NGC的API key 。 a. 在NGC账号注册网站成功注册完NGC账号之后，需要生成账户的API key。 登录NGC页面，单击“账户名”，选择“Setup”，会进入Setup页面，然后单击“Get API Key”，进入生成API Key的页面。 b. 在API Key的页面，单击“Generate API Key”，进入确认对话框。 c. 在确认对话框，单击“Confirm”，页面会变为类似于下图所示的页面。 d. 在Password处会显示一连串密码，用户返回GPU实例的shell界面按照图中的操作即可。 $ docker login nvcr.io Username: $oauthtoken Password: 【输入生成的秘钥】 2. 使用NGC中的镜像（以PyTorch为例）。 a. 进入NGC的CATALOG的目录部分，选择CONTAINERS分支，在Query查询中输入PyTorch，并单击“PyTorch”。 b. 单击“Get Container”，关于容器的拉取镜像的方法则会展示出来。 c. 按照上图中红色方框中的命令，可以获得最新版本的容器镜像，继续在GPU实例的命令行中输入以下命令。 $ docker pull nvcr.io/nvidia/pytorch:23.07py3 这样，我们就可以用docker容器的方式去使用框架或软件产品了。

本章介绍函数工作流的入门介绍。 使用流程 函数工作流FunctionGraph是一项基于事件驱动的函数托管计算服务。使用FunctionGraph函数，只需编写业务函数代码并设置运行的条件，无需配置和管理服务器等基础设施，函数以弹性、免运维、高可靠的方式运行。 使用FunctionGraph快速创建函数的流程如下： 1. 配置权限：确保登录的用户已有“FunctionGraph Administrator”权限。 2. 创建函数：选择使用空白模板创建函数、示例代码创建函数、容器镜像部署函数。 3. 配置函数：配置代码源或修改其他参数配置。 4. 测试函数：创建测试事件来调试函数。 5. 查看执行结果：在函数详情页面，根据配置的测试事件，查看执行结果。 6. 查看监控指标：在函数详情页面的“监控”页签，查看函数监控指标。