本文介绍如何应用回退。 用户可以停止运行中的应用，重新运行之前版本的应用。回退操作可以通过应用管理界面列表操作【回退】进入回退页面，也可以通过点击具体的应用进入详情页点击【回退】页签进入监控页面。 操作步骤 1.登录云容器引擎控制台，单击左侧导航栏的【工作负载】>【无状态】或【有状态】,进入应用管理列表； 2.点击应用，进入应用详情页面，点击选项页【回退】，进入回退页面； 3.查看应用版本列表，点击【回退到该版本】，等待应用重新创建。

云服务名称 是否支持条件键 云通信短信 否 弹性文件服务 否 分布式消息服务Kafka 否 账务 是 分布式消息服务RabbitMQ 否 分布式消息服务RocketMQ 否 云硬盘 是 天翼云电脑（政企版） 是 内网DNS 否 CRM业务中台 是 分布式缓存服务Redis版 否 弹性云主机 是 弹性负载均衡 否 镜像服务 是 云监控 否 弹性伸缩服务 否 虚拟私有云 是 物理机 否 云硬盘备份 否 云主机备份 否 服务器安全卫士（原生版） 否 密钥管理 否 云间高速 否 统一身份认证 是 客服工单 是 容器云服务引擎CCSE 是 微服务应用平台MSAP 否 活动与券 是 消息管理 是 Web应用防火墙（原生版） 否 云审计 否 企业组织 是 VPC终端节点 否 NAT网关 是

本节介绍了云审计的用户指南。 操作场景 本服务现已对接天翼云++云审计++，云审计服务提供对各种云资源操作的记录和查询功能，用于支撑合规审计、安全分析、操作追踪和问题定位等场景，同时提供事件跟踪功能，将操作日志转储至对象存储实现永久保存。 云审计可提供的功能服务具体如下： ● 记录审计日志：支持用户通过管理控制台或API接口发起的操作，以及各服务内部自触发的操作。 ● 审计日志查询：支持在管理控制台对7天内操作记录按照事件类型、事件来源、资源类型、筛选类型、操作用户和事件级别等多个维度进行组合查询。 使用限制 ● 云审计服务本身免费，包括时间记录以及7天内时间的存储和检索。 ● 用户通过云审计能查询到多久前的操作事件：7天。 ● 用户操作后多久可以通过云审计查询到数据：5分钟。 ● 其它限制请参考++使用限制云审计++。 操作步骤 1. 开通云审计服务。 参见++开通云审计服务云审计++。 2. 查看云审计事件。 参见++查看审计事件云审计++。 3. 在事件列表中，选择事件来源为“容器”，资源类型选择“云容器引擎”，上方时间选择需要筛选的时间段。点击查询即可。 4. 在审计事件右侧点击详情，可以看到更详细的事件信息。 更多云审计相关使用说明和常见问题请参考++用户指南、++++常见问题++。

本章主要介绍产品咨询相关问题。 主机迁移服务是否支持将阿里云、腾讯云等其他云服务商服务器迁移到天翼云？ 支持。主机迁移服务支持的云服务商有阿里云、腾讯云、AWS、Azure及其他云服务商，同时也支持将本地服务器、物理服务器、VM虚拟机等迁移到天翼云弹性云主机。原则上只要是兼容操作系统列表内的x86架构服务器都可以迁移到天翼云。 是否支持将天翼云弹性云主机迁移到本地或其他云服务商？ 您好，不支持将天翼云弹性云服务器迁移到本地或其他云服务商。您可以导出镜像并下载到本地或上传到其他云服务商。 天翼云技术人员是否可以帮我进行迁移？ 您好，主机迁移服务不直接参与您的业务迁移，迁移前您可以查看产品帮助中心，然后实施迁移。如果需要专业的迁移方案和专属工具支持，您可以使用天翼云甄选商城上云专业迁移服务。帮助您平滑迁移业务，缩短整体业务云化周期，解除您的顾虑，让您聚焦于业务发展。 是否支持迁移到专属云、鲲鹏云主机、裸金属服务器？ 专属云主机支持，迁移前请参考专属云页面开通专属云，设置目的端时，选择已创建的专属云。 鲲鹏云主机不支持，请根据鲲鹏相应说明选择专家服务。 裸金属服务器不支持。

本章节介绍如何为应用设置公网访问 概述 应用发布到K8s集群后，无法直接被外部访问，可为应用添加公网负载均衡来实现应用的公网访问。 设置公网访问 前提条件 已订购开通公网弹性负载均衡实例（需与应用所发布环境相同VPC），并导入到环境。 添加负载均衡(公网)访问方式 左侧导航栏，选择容器应用实例 > 应用发布 > 应用实例。点击需要设置公网的应用实例，进入应用实例详情页面，左下角访问方式配置出，添加负载均衡（公网）。 服务名称：输入合法名称即可 选择ELB：选择订购成功的公网ELB 外部流量策略：建议选择Cluster流量策略，网络插件cubecni的云容器引擎不支持Local流量策略。

操作步骤 对于已经创建的Serverless集群，您可以安装CoreDNS的相关插件来为集群提供DNS服务发现能力： 1. 登录云容器引擎控制台。 2. 在控制台的左侧导航栏中点击“集群 ”。 3. 在集群列表页面中，单击目标集群的名称进入集群详情界面。 4. 在集群管理页面的左侧导航栏中，选择“运维管理” ，然后单击“组件管理” 。 5. 在组件管理页面找到coredns插件，点击“安装”。 6. 如果安装成功，则会显示“已安装”。

本文介绍如何集群管理。 云容器引擎平台提供了集群【详情】、【日志】、【监控】等查看信息。提供了【kubectl】、【续订】、【退订】等基本操作。 操作步骤 1.控制台导航页选择【资源管理】，选择【集群管理】，即可进入集群管理界面，该页面将展示用户所有集群部分信息； 2.在集群管理界面，用户可执行【命令行工具】控制、查看【日志】及集群【退订】、【续订】操作。注：七天后无法退订，集群无删除功能； 3.点击集群名称可进入集群【详情】页面，展示该集群更详细的信息，并提供【监控】及【kubectl】操作详情页。

本文介绍如何 节点管理。 云容器引擎平台提供了节点【详情】、【事件】、【监控】等查看信息，监控提供了节点运行状态，资源占用情况等信息，提供了节点【重启】的基本操作。 操作步骤 1.控制台导航页选择【资源管理】，选择【节点管理】，即可进入节点管理界面，用户可通过筛选集群，展示该集群下所有节点的部分信息； 2.在节点管理界面，用户可执行【监控】查看、节点【重启】等操作； 3.点击节点名称可进入节点【详情】页面，展示该节点更详细的信息，并提供【监控】及【事件】查看。

本文主要介绍节点须知。 简介 节点是容器集群组成的基本元素。节点取决于业务，既可以是虚拟机，也可以是物理机。每个节点都包含运行Pod所需要的基本组件，包括Kubelet、Kubeproxy 、Container Runtime等。 说明 CCE创建的Kubernetes集群包含master节点和node节点，本章讲述的节点特指 node节点 ，node节点是集群的计算节点，即运行容器化应用的节点。 在云容器引擎CCE中，主要采用高性能的弹性云主机ECS或物理机BMS作为节点来构建高可用的Kubernetes集群。 支持的节点规格 不同区域支持的节点规格（flavor）不同，且节点规格存在新增、售罄下线等情况，建议您在使用前登录CCE控制台，在创建节点界面查看您需要的节点规格是否支持。 Docker容器底层文件存储系统说明 1.15.6及之前集群版本docker底层文件存储系统采用xfs格式。 1.15.11及之后版本集群新建节点或重置后docker底层文件存储系统全部采用ext4格式。 对于之前使用xfs格式容器应用，需要注意底层文件存储格式变动影响（不同文件系统格式文件排序存在差异：如部分java应用引用某个jar包，但目录中存在多个版本该jar包，在不指定版本时实际引用包由系统文件排序决定）。 查看当前节点使用的docker底层存储文件格式可采用docker info grep "Backing Filesystem"确认。 节点paas用户/用户组说明 在CCE集群中创建节点时，默认会在节点上创建paas用户/用户组。节点上的CCE组件和CCE插件在非必要时会以非root用户（paas用户/用户组）运行，以实现运行权限最小化，如果修改paas用户/用户组可能会影响节点上CCE组件和业务Pod正常运行。 注意 CCE组件正常运行依赖paas用户/用户组，您需要注意以下几点要求： 请勿自行修改节点内目录权限、容器目录权限等。 请勿自行修改paas用户/用户组的GID和UID。 请勿在业务中直接使用paas用户/用户组设置业务文件的所属用户和组。

部署在云应用引擎 CAE（Cloud App Engine）上的应用运行时，可能会出现 Pod 问题。本文介绍常见的 Pod 问题和解决方法。 ImagePullBackOff 当 CAE 无法获取到 Pod 中某个容器的镜像时，将出现此错误。 可能原因： 镜像名称无效，例如镜像名称拼写错误、镜像不存在。 镜像标签无效，例如标签拼写错误、标签不存在。 镜像属于私有仓库。 解决方案： 更正镜像名称与标签。 将镜像上传至天翼云镜像仓库。 CrashLoopBackOff 如果容器无法启动，出现此错误。 可能原因： 应用程序中存在错误，导致无法启动。 未正确配置容器。 Liveness探针失败太多次。 解决方案： 您可以通过查看实时日志和事件分析失败原因，并修改相关配置。 处于未就绪状态的Pod 如果Pod正在运行但未就绪（not ready），则表示 Readiness 就绪探针失败。 可能原因： 当“就绪”探针失败时，Pod未连接到服务，并且没有流量转发到该实例。 解决方案： 登录Webshell，执行您自定义的就绪探针命令，查看 Pod 是否正常运行。如果不正常，您可以通过实时日志或事件对其进行分析。

部署在云应用引擎 CAE（Cloud App Engine）上的应用运行时，可能会出现 Pod 问题。本文介绍常见的 Pod 问题和解决方法。 ImagePullBackOff 当 CAE 无法获取到 Pod 中某个容器的镜像时，将出现此错误。 可能原因： 镜像名称无效，例如镜像名称拼写错误、镜像不存在。 镜像标签无效，例如标签拼写错误、标签不存在。 镜像属于私有仓库。 解决方案： 更正镜像名称与标签。 将镜像上传至天翼云镜像仓库。 CrashLoopBackOff 如果容器无法启动，出现此错误。 可能原因： 应用程序中存在错误，导致无法启动。 未正确配置容器。 Liveness探针失败太多次。 解决方案： 您可以通过查看实时日志和事件分析失败原因，并修改相关配置。 处于未就绪状态的Pod 如果Pod正在运行但未就绪（not ready），则表示 Readiness 就绪探针失败。 可能原因： 当“就绪”探针失败时，Pod未连接到服务，并且没有流量转发到该实例。 解决方案： 登录Webshell，执行您自定义的就绪探针命令，查看 Pod 是否正常运行。如果不正常，您可以通过实时日志或事件对其进行分析。

参数 是否必填 参数类型 说明 示例 下级对象 instanceId 是 String 实例ID f04e47d9b48747958c9f4516cf1a8d82 namespaceName 是 String 命名空间名称 myns createRepoAuto 否 Boolean 是否允许直接通过推送镜像创建仓库 false defaultRepoPublic 否 Boolean 通过推送镜像创建的仓库的类型是否为公开。只有在设置createRepoAuto为true时该参数才生效 false accelerate 否 Boolean 是否开启镜像加速。用户需要开通云容器引擎集群后才能设置为true，并且仅对企业版实例生效 false

本小节介绍开启容器防护。 开启容器节点防护时，您需为指定的节点（主机）分配一个配额，关闭容器安全防护或删除节点（主机）后，该配额可分配给其他的节点（主机）使用。 检测周期 企业主机安全每日凌晨进行全量检测。 若您在检测周期前开启防护，您需要等到次日凌晨检测后才能看到检测结果。 前提条件 “企业主机安全 > 资产管理 > 容器管理”页面“容器节点管理”中“Agent状态”为“在线”。 已在云容器引擎成功创建节点。 节点的“防护状态”为“未防护”。 操作步骤 1、登录管理控制台。 2、 在弹窗界面单击“体验新版”，切换至企业主机安全页面。 注意 切换至新版后，在总览页左上角单击“返回旧版”，可切换至企业主机安全（旧版）。 3、 在左侧导航树中，选择“资产管理 > 容器管理”，进入“容器节点管理”页面。 容器节点管理 4、在“节点列表”中单击目标服务器“操作”列的“开启防护”，为需要开启防护的节点开启防护。 5、您可以根据自己的实际场景选择“包年/包月”或者“按需计费”，开启节点防护。 包年/ 包月 在“您确定要对以下集群开启防护吗？”对话框中，“计费模式”选择“包年/包月”，阅读并确认“《容器安全服务免责声明》”。 “防护配额”分配方式： 随机分配：下拉框选择“随机选择配额”，系统优先为主机分发服务剩余时间较长的配额。 指定分配：下拉框选择具体配额ID，您可以为主机分配指定的配额。 按需计费 在“您确定要对以下集群开启防护吗？”对话框中，“计费模式”选择“按需计费”，阅读并确认“《容器安全服务免责声明》”。 6、在弹出的提示框中，阅读“《容器安全服务免责声明》”后，并勾选“我已阅读并同意《容器安全服务免责声明》”。 7、单击“确定”，开启节点防护，目标服务器“容器防护状态”变更为“防护中”，说明该节点已开启防护。 注意 一个容器安全配额防护一个集群节点。

本文主要介绍计费类问题。 云容器引擎CCE如何定价/收费？ 计费项 云容器引擎（CCE）本身不收取任何费用，但在使用过程中会创建相关资源（如节点、带宽等），您需要为您使用的这些资源付费。CCE相关资源的计费项分为如下两部分： 1. 集群： 控制节点资源费用，按照每个集群的类型（虚拟机或裸金属、控制节点数）、集群规模（最大支持的节点数）的差异收取不同的费用。 2. IaaS基础设施： 集群工作节点所使用的IaaS基础设施费用，包括集群创建使用过程中自动创建或手动加入的相关资源，如云服务器、云硬盘、弹性IP/带宽、负载均衡等，价格参照相应产品价格说明 计费模式 CCE支持按需计费、包年/包月两种计费模式，供您灵活选择。 按需计费： 一种先使用后付费的方式，从“开通”开启计费到“删除”结束计费，按实际购买时长计费。这种购买方式比较灵活，您可以按需取用资源，随时开启和释放，无需提前购买大量资源。 说明 关于CCE集群休眠或节点关机后的收费说明： 集群休眠：集群休眠后，控制节点资源费用将停止收费，集群所属的云硬盘、绑定的弹性IP、带宽等资源按各自的计费方式（“包年/包月”或“按需付费”）进行收费。 节点关机：集群休眠后，集群中的工作节点（即ECS）并不会自动关机，如需关机可勾选“关机集群下所有节点”选项。您也可以在集群休眠后自行登录ECS控制台将节点关机，具体请参见节点关机。 大部分节点关机后不再收费，特殊ECS实例（包含本地硬盘，如磁盘增强型，超高I/O型等）关机后仍然正常收费，具体请参见ECS计费模式。 包年/包月： 先购买再使用的方式。这种购买方式相对于按需计费能够提供更大的折扣，对于长期使用者，推荐该方式。用户在购买时，系统会根据用户所选的机型对用户云账户中的金额进行扣除。 计费模式更改：计费周期内暂不支持计费模式更改。 注意 以集群作为计费量纲，根据集群类型和规模大小，按阶梯计费。 天翼云提供给客户进行续费与充值的时间，当您的包周期资源到期未续订或按需资源欠费时提供宽限期和保留期。

本文介绍如何集群创建。 集群是计算资源的集合，包含一组节点资源，容器运行在节点上。在创建容器应用前，您需要存在一个可用集群。目前最多可以创建5个集群，请确保至少有一个可用的集群。如集群数量不够，可申请增加配额。 操作前提 能够确保账户中有充足的余额，否则将导致您的业务开通失败； 在【创建集群】之前，请确保已完成VPC、子网的创建及安全组的配置，若未创建可参考上一【环境设置】部分。 操作步骤 1. 登录天翼云； 2. 选择【控制台】>点击切换到具体资源池，如杭州2节点； 3. 在控制台中找到【容器服务】>点击【容器引擎】，进入容器服务界面； 4. 进入【总览】页面>单击【创建集群】按钮，进入集群创建界面； 5. 按照需要完成集群参数填写，集群创建参数详见下表，其中带“”的参数为必填参数。 参数 参数说明 基础配置 集群名称 新建集群的名称 Kubernetes版本 1.15/1.18 地域 根据最初选择的地域决定，集群创建过程中不可选 虚拟私有云 新建集群所在的虚拟私有云。若没有可选虚拟私有云，单击“创建虚拟私有云”进行创建 子网 节点虚拟机运行的子网环境。若没有可选子网，单击“创建子网”进行创建 系列 分为基础版、高级版（基础版集群将创建1个master节点和相应控制节点，worker节点配置由用户自由选择；高级版集群将创建3个master节点和相应控制节点，worker节点配置由用户自由选择。) 容器CIDR 默认是10.223.0.0/16，确定容器网段后，容器实例将在规划的网段内分配IP。不能与集群所选的VPC重复，当vpc和容器网段或者服务网段冲突提示：默认网段与所选虚拟私有云网段有冲突，请重新选择vpc 服务CIDR 默认是10.96.0.0/16，服务网段为kubernetes service ip网段，请根据业务需求选择该网段。不能与集群所选的VPC重复 企业项目 此项与主子账户权限有关，如果有主子账户权限分配要求，请提前规划企业项目 注： 如果您选择了IPv4/IPv6双栈的VPC和子网，那么要同时设置IPv4的容器CIDR和服务CIDR，以及IPv6的容器CIDR和服务CIDR，均不能与集群所选VPC重复。默认情况下，IPv6容器CIDR：fd03::/112；IPv6服务CIDR：fd05::/112。如有需要用户请根据个人需求进行修改。 worker 节点配置 规格 请根据业务需求选择相应的节点规格。 当前使用的是通用型S2类型云主机，可选规格以界面上显示为准 操作系统 请选择节点对应的操作系统 系统盘 默认为普通IO，50GB 数据盘 普通IO、高IO，规格为[50,2048]GB，默认50GB;范围502048GB;整数;填入小数自动四舍五入为整数，输入为空自动设置为50；步长为10 弹性IP 使用已有IP：使用已经创建出的弹性公网IP 创建后设置：不使用弹性公网IP（不使用弹性公网IP不能通过公网发送请求，可创建后绑定） 网络模型 容器隧道网络：基于底层 VPC 网络，构建独立的容器 VXLAN 隧道化的容器网络，与底层网络解耦，支持高扩展性，网络策略，多容器网络平面 worker节点数 默认最小值是1，只允许填入整数；步长为1；设置的节点数不能超过最大节点规模50；输入为空自动设置为1 购买时长 根据需求，设置购买时长 6. 确认右侧订单详情无误并确保已放开安全组6443、9080、9443、2379、2380端口后，单击【创建集群】，进入付费界面，完成费用支付； 7. 集群创建预计需要 610 分钟。请根据界面提示查看集群创建过程。创建完成后，点击【返回集群管理】链接； 8. 在导航栏单击【资源管理】>【集群管理】标签，进入集群列表界面，可查看创建的集群。

本节包含了专属云（计算独享型）的服务协议。 天翼云专属云（计算独享型）服务协议

一直卡在上传界面直到超时 问题现象 ：通过页面上传镜像，一直卡在上传界面直到超时。 问题原因 ： 镜像命名不规范，导致上传失败。 页面上传走公网链路，可能会因为网络不稳定导致传输异常。 解决方法 ： 您可以按照镜像命名规范修改镜像名称后，重新上传镜像。 建议更换网络环境，或者通过容器引擎客户端上传。 为什么docker pull指令执行失败？ x509: certificate sigined by unknown authority 问题现象： 使用docker pull拉取镜像，报错“x509: certificate sigined by unknown authority”。 问题原因： 容器引擎客户端和SWR之间使用HTTPS的方式进行通信，客户端会对服务端的证书进行校验。如果客户端安装的根证书不完整，会报如下错误：“x509: certificate sigined by unknown authority”。 容器引擎客户端配置了Proxy导致。 解决方法： 如果您信赖服务端，跳过证书认证，那么可以手动配置容器引擎的启动参数，配置如下（其中地址配置成需要的即可，选择一个配置即可）： /etc/docker/daemon.json（如果没有可以手动创建），在该文件内添加如下配置（注意缩进，2个空格）： { "insecureregistries":["镜像仓库地址"] } /etc/sysconfig/docker： INSECUREREGISTRY'insecureregistry镜像仓库地址' 添加配置后执行如下命令重启：systemctl restart docker 或service restart docker。 执行docker info命令，检查Proxy配置是否正确，修改为正确的Proxy配置。 Error response from daemon 问题现象： 使用docker pull拉取官方镜像，如docker pull elasticsearch:5时，报错“Error response from daemon: Get net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)”。 问题原因： Docker默认的源为国外官方源，镜像拉取速度较慢，可能因超时而拉取失败。 解决方法： 将Docker镜像源修改为容器镜像服务或国内镜像源地址。

配置 说明 VPC实例类型 选择绑定的VPC实例类型。 同账号：绑定当前账号的VPC实例。 跨账号：绑定其他账号的VPC实例。 说明 如果选择跨账号，需要先完成跨账号授权，具体操作说明详见 专属云项目 选择绑定的VPC是否属于专属云项目，默认为无，说明VPC不署于专属云。 说明 如果绑定的VPC是专属云VPC，则选择对应的专属云。 VPC 选择绑定的VPC名称。 VPC网段（IPv4） 选择VPC的网段 IP类型 选择VPC子网的IP类型。 IPv4：IPv4类型的VPC子网 IPv6：IPv6类型的VPC子网 双栈：IPv4和IPv6类型的VPC子网 子网 选择专线网关需要访问的VPC子网。 权重 选择专线网关到VPC路由的权重，默认为100。 说明 表示当前专线网关到VPC侧路由的权重，多条路由的权重相等时采用负载均衡模式进行流量传输；某条路由的权重值越大，表示该路由优先级越高。

本节介绍Gang scheduling调度。 通过使用 Gang scheduling 能力，可有效解决原生调度器无法支持 AllorNothing 作业调度的问题。 前提条件 已安装智算套件。 背景信息 Gang scheduling 是一种保证一组相关任务同步执行的调度策略，多个任务的作业调度时，要么全部成功，要么全部失败，这种调度场景，称作为Gang scheduling。其中一个经典使用场景是分布式机器学习训练：在大规模机器学习模型的训练中，数据可能被分布到多个节点上，每个节点都需要运行一个模型的副本。这些模型副本需要同时开始训练，以保证参数更新的同步。随着大规模和复杂的工作负载在Kubernetes上的普及，需要对应的调度策略适配这种场景，避免资源浪费和延迟。由于Kubernetes的核心调度器默认不支持 Gang scheduling，使得一些工作负载无法很好地迁移至 Kubernetes。为了适配这种场景，目前的云容器引擎基于调度器框架实现 Gang scheduling 功能，可以在云容器引擎中非常方便使用该能力。 功能介绍 为了实现AllorNothing的特性，首先需要将一组同时调度的Pod通过annotations标识出来，这个标识可称为PodGroup。提交作业的时候调度器可根据工作负载的相关annotations，获取调度的配置并进行调度。只有当集群资源满足该任务最少运行个数时，才会统一调度，否则作业将一直处于Pending状态。 使用方法 下面使用kubeflow的TFJob作为例子展示Gang scheduling的能力。 plaintext apiVersion: "kubeflow.org/v1" kind: TFJob metadata: name: gangexample spec: tfReplicaSpecs: Worker: replicas: 2 restartPolicy: OnFailure template: spec: schedulerName: roc

本节介绍Gang scheduling调度。 通过使用 Gang scheduling 能力，可有效解决原生调度器无法支持 AllorNothing 作业调度的问题。 前提条件 已安装智算套件。 背景信息 Gang scheduling 是一种保证一组相关任务同步执行的调度策略，多个任务的作业调度时，要么全部成功，要么全部失败，这种调度场景，称作为Gang scheduling。其中一个经典使用场景是分布式机器学习训练：在大规模机器学习模型的训练中，数据可能被分布到多个节点上，每个节点都需要运行一个模型的副本。这些模型副本需要同时开始训练，以保证参数更新的同步。随着大规模和复杂的工作负载在Kubernetes上的普及，需要对应的调度策略适配这种场景，避免资源浪费和延迟。由于Kubernetes的核心调度器默认不支持Gang scheduling，使得一些工作负载无法很好地迁移至Kubernetes。为了适配这种场景，目前的云容器引擎基于调度器框架实现Gang scheduling功能，可以在云容器引擎中非常方便使用该能力。 功能介绍 为了实现AllorNothing的特性，首先需要将一组同时调度的Pod通过annotations标识出来，这个标识可称为PodGroup。提交作业的时候调度器可根据工作负载的相关annotations，获取调度的配置并进行调度。只有当集群资源满足该任务最少运行个数时，才会统一调度，否则作业将一直处于Pending状态。 使用方法 下面使用kubeflow的TFJob作为例子展示Gang scheduling的能力。 plaintext apiVersion: "kubeflow.org/v1" kind: TFJob metadata: name: gangexample spec: tfReplicaSpecs: Worker: replicas: 2 restartPolicy: OnFailure template: spec: schedulerName: roc

Hudi Hudi是数据湖的文件组织层，对Parquet格式文件进行管理提供数据湖能力，支持多种计算引擎，提供IUD接口，在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 资源池 ModelArts提供的大规模计算集群，可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种，分别为共享资源池和独享资源池。ModelArts默认提供公共资源池。专属资源池需单独购买，专属使用，不与其他用户共享。 Hue Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Kafka Kafka是一个分布式的、分区的、多副本的消息发布订阅系统，它提供了类似于JMS的特性，但在设计上完全不同，它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Spark Spark是一个开源的，并行数据处理框架，能够帮助用户简单的开发快速，统一的大数据应用，对数据进行离线处理，流式处理，交互式分析等等。

特权级容器 特权级容器：即给容器赋予主机的root用户权限，一般情况下都不需要设置。一个常见的使用场景是，使用主机目录挂载时，如果该目录是root用户权限的，那么容器想要操作这么目录，那么必须开启特权级容器，开启特权容器后，容器内的用户会设置为root用户 Deployment高级设置 负载注解与负载标签 支持给Deployment设置注解，注解将会以keyvalue形式写入Deployment 支持给Deployment设置标签，标签将会以keyvalue形式写入Deployment 镜像拉取凭证 支持给Deployment设置镜像拉取凭证 镜像拉取凭证主要适用于：如果我们给Deployment设置的镜像属于私有仓库中的镜像，那么一定要先创建镜像拉取凭证，然后再此处添加镜像拉取凭证 节点选择器 支持发布Deployment到指定节点上，选择了keyvalue之后，可以通过查看节点查看Deployment可以发布到哪些节点上。 注意 如果所有的节点都无法满足节点选择器，那么Pod将不会调度，会出现类似的事件0/3 nodes match node selector。 主机别名配置 如果我们希望给运行在k8s上的Pod增加一些域名的解析（例如宿主机的主机名），那么我们可以通过主机别名配置往容器的/etc/hosts文件中添加域名解析 给Deployment设置的主机别名可以等容器启动后，进入容器终端执行命令cat/etc/hosts查看

天翼云为您提供专属云（计算独享型）服务协议协议说明，请您点击查看。 专属云（计算独享型）服务协议

本文向您介绍如何配置独享型负载均衡器的保护模式。 您可以对负载均衡器开启修改保护和删除保护功能，防止因误操作导致负载均衡器的配置被修改或负载均衡器被删除。 删除保护 ：开启删除保护，防止因误操作导致负载均衡器被删除。如果您需要删除负载均衡器，请确认关闭删除保护开关。 修改保护 ：开启修改保护，防止因误操作导致负载均衡器的配置被修改。如果您需要修改负载均衡器的配置或删除负载均衡器，请确认关闭修改保护开关。 开启或关闭删除保护 1. 进入弹性负载均衡列表页面。 2. 在弹性负载均衡列表页面，单击需要配置删除保护的负载均衡器名称。 3. 切换到负载均衡实例的“基本信息”页签，开启或关闭“删除保护”开关。 注意 如果您的负载均衡实例由云容器引擎服务（CCE）管理，修改负载均衡实例的配置将会影响集群的运行，请您谨慎操作。 4. 删除保护开启后，您将无法删除该负载均衡实例，其余操作不受影响。 开启或关闭修改保护 1. 进入弹性负载均衡列表页面。 2. 在弹性负载均衡列表页面，单击需要配置修改保护的负载均衡器名称。 3. 切换到负载均衡实例的“基本信息”页签，单击修改保护右侧的“设置”。 4. 在设置修改保护的弹窗中，开启或关闭“修改保护开关”。 建议您填写“添加修改保护原因”。 注意 如果您的负载均衡实例由云容器引擎服务（CCE）管理，修改负载均衡实例的配置将会影响集群的运行，请您谨慎操作。 5. 单击“确定”。 修改保护开启后，您将无法修改负载均衡实例的配置且无法删除该负载均衡实例，其余操作不受影响。

本节介绍计费项。 计费项 集群管理费用 计费项 计费项说明 计费方式 备注 集群管理服务 CCE One集群管理费用由集群类型（包括天翼云集群、三方云集群和本地集群）、集群vCPU数量和订购时长决定。其中vCPU数量统计方法和vCPU计费规则见下方。 按需计费 如果关联天翼云集群，您需要创建天翼云 CCE 集群。 计费信息参见云容器引擎计费说明。 IaaS资源费用 使用天翼云CCE One服务时，会产生IaaS云资源（如：ELB、EIP等）费用，涉及计费的资源如下表所示： 计费项 计费项说明 计费方式 备注 IaaS云资源 ELB 按需计费 必须，绑定 API Server 使用。 计费信息参见 弹性负载均衡计费说明。 IaaS云资源 EIP 按需计费 非必须，公网暴露 API Server 使用。 计费信息参见 弹性IP计费说明。 IaaS云资源 ECS 按需计费 非必须，注册集群节点扩容使用。 计费信息参见 弹性云主机计费说明。 注意 分布式容器云平台CCE One提供分布式集群统一管理，其产生的费用仅包括注册集群管理费和使用到的IaaS资源费用。对于三方云集群和本地集群所产生的资源费用，不属于CCE One计费范围。

组件 参数 详情 默认 修改限制 容器引擎Docker配置 nativeumask execopt native.umask normal 不支持修改 dockerbasesize storageopts dm.basesize 0 不支持修改 insecureregistry 不安全的镜像源地址 false 不支持修改 limitcore 核数限制，节点池中创建的节点总核数不能超过该值 5368709120 defaultulimitnofile 容器内句柄数限制 {soft}:{hard} 该值大小不可超过节点内核参数nropen的值，且不能是负数。 节点内核参数nropen可通过以下命令获取：sysctl a grep nropen kubeproxy组件配置 conntrackmin sysctl w net.nfconntrackmax 131072 支持在节点池生命周期中修改 conntracktcptimeoutclosewait sysctl w net.netfilter.nfconntracktcptimeoutclosewait 1h0m0s kubelet组件配置 cpumanagerpolicy cpumanagerpolicy none 支持在节点池生命周期中修改 kubeapiqps 与kubeapiserver通信的qps 100 kubeapiburst 与kubeapiserver通信的burst 100 maxpods kubelet管理的pod上限 4020 podpidslimit k8s 限制进程数 1 withlocaldns 是否使用本地IP作为该节点的ClusterDNS false eventqps 事件创建QPS限制 5 allowedunsafesysctls 允许使用的不安全系统配置。 CCE从 1.17.17 集群版本开始，kubeapiserver开启了pod安全策略， 需要在pod安全策略的allowedUnsafeSysctls中增加相应的配置才能生效（1.17.17以下版本的集群可不配置）。 [] kubereservedmemsystemreservedmem 节点内存预留。 随节点规格变动，具体请参见节点预留资源计算公式 kubereservedmem，systemreservedmem之和小于内存的一半 topologymanagerpolicy 设置拓扑管理策略。合法值包括： restricted：kubelet 仅接受在所请求资源上实现最佳 NUMA对齐的Pod。 besteffort：kubelet会优先选择在 CPU 和设备资源上实现NUMA对齐的Pod。 none（默认）：不启用拓扑管理策略。 singlenumanode：kubelet仅允许在 CPU和设备资源上对齐到同一NUMA节点的Pod。 none 支持在节点池生命周期中修改须知修改topologymanagerpolicy和topologymanagerscope会重启kubelet， 并且以更改后的策略重新计算容器实例的资源分配，这有可能导致已经运行的容器实例重启甚至无法进行资源分配。 topologymanagerscope 设置拓扑管理策略的资源对齐粒度。合法值包括： container （默认)：对齐粒度为容器级 pod：对齐粒度为pod级 container oversubscriptionresource 节点超卖特性。仅 弹性云主机物理机 类型的节点池可见，设置为true表示开启节点超卖特性。 nicminimumtarget 节点池级别的节点最少绑定容器网卡数 默认：10 nicmaximumtarget 节点池级别的节点预热容器网卡上限检查值 默认：0 nicwarmtarget 节点池级别的节点动态预热容器网卡数 默认：2 nicmaxabovewarmtarget 节点池级别的节点预热容器网卡回收阈值 默认：2 容器引擎Containerd配置（仅使用Containerd的节点池可见） devmapperbasesize 单容器可用数据空间 不支持修改 limitcore 核数限制 5368709120 defaultulimitnofile 容器内句柄数限制 1048576 该值大小不可超过节点内核参数nropen的值，且不能是负数。 节点内核参数nropen可通过以下命令获取：sysctl a grep nropen

集群退订 步骤 1：登录云容器引擎控制台，在左侧导航栏中选择“集群管理”。 步骤 2：找到要退订的智算集群记录，单击“退订”。 步骤 3：在弹出的“退订”页面中，勾选要释放的资源，输入“DELETE”确认要删除集群。 步骤 4：单击“确定”，开始退订集群。退订集群需要花费10~15分钟，请耐心等候。退订后集群状态显示为已退订。 退订后裸金属保留15天。

ClusterComponent检查 检查项名称 说明 修复方案 集群Kubernetes版本过低 检查集群Kubernetes版本是否为云容器引擎当前支持的最新版本。 请通过控制台集群升级功能更新集群kubernetes版本。 集群DNS服务ClusterIP 检查集群DNS服务的Cluster IP是否正常分配，集群DNS服务异常会造成集群功能异常，影响业务。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 集群DNS服务后端端点数 检查集群DNS服务Endpoints数，数量过少时影响CoreDNS的高可用性。 请检查CoreDNS Pod运行状态和运行日志。更多信息，请参见DNS解析异常问题排查。 检查CoreDNS是否部署到不同节点上 检查CoreDNS是否配置了Pod反亲和，调度到不同的节点上，避免单一节点故障，提高可用性。 请检查集群CoreDNS是否配置了Pod反亲和。 检查NodeLocalDNS是否启用并给命名空间配置了自动注入 检查NodeLocalDNS插件是否安装，并给命名空间配置了自动注入，便于该命名空间下的Pod快速解析DNS。 请检查集群中是否安装了NodeLocalDNS插件并给命名空间配置了自动注入。 检查CoreDNS是否调度在Master节点上 Master节点尽量避免业务Pod调度在其上，检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 请检查CoreDNS是否配置了nodeAffinity或nodeSelector导致调度到master节点上。 检查集群APISever是否可用 检查节点能否正常连接集群API Server，访问集群中其他K8s资源。 请检查集群相关配置。检查Master组件Pod是否异常。API Server使用的负载均衡ELB是否异常。 检查集群免密插件版本是否最新 检查集群免密插件版本是否为为云容器引擎当前支持的最新版本。 集群免密插件版本检查过低，请尽快升级版本。

本文主要介绍集群权限（IAM授权）。 CCE集群权限是基于IAM系统策略 和自定义策略的授权，可以通过用户组功能实现IAM用户的授权。 注意 集群权限仅针对与集群相关的资源（如集群、节点等）有效，您必须确保同时配置了 前提条件 给用户组授权之前，请您了解用户组可以添加的CCE系统策略，并结合实际需求进行选择，CCE支持的系统策略及策略间的对比。 拥有Security Administrator（IAM除切换角色外所有权限）权限的用户（如账号默认拥有此权限），才能看见CCE控制台权限管理页面当前用户组及用户组所拥有的权限。 配置说明 CCE控制台“权限管理 > 集群权限”页面中创建用户组和具体权限设置均是跳转到IAM控制台进行具体操作，设置完后在集群权限页面能看到用户组所拥有的权限。本章节描述操作直接以IAM中操作为主，不重复介绍在CCE控制台如何跳转。 示例流程 图 给用户授予CCE权限流程 1. 创建用户组并授权。 在IAM控制台创建用户组，并授予CCE权限，例如CCEReadOnlyAccess。 说明 CCE服务按区域部署，在IAM控制台授予CCE权限时请选择“区域级项目”。 2. 创建用户并加入用户组。 在IAM控制台创建用户，并将其加入1中创建的用户组。 3. 用户登录并验证权限。 新创建的用户登录控制台，切换至授权区域，验证权限： 在“服务列表”中选择云容器引擎，进入CCE主界面尝试购买集群，如果无法无法成功操作（假设当前权限仅包含CCEReadOnlyAccess），表示“CCEReadOnlyAccess”已生效。 在“服务列表”中选择除云容器引擎外（假设当前策略仅包含CCEReadOnlyAccess）的任一服务，若提示权限不足，表示“CCEReadOnlyAccess”已生效。

此章节主要介绍主账号和子账号的使用流程 主账号使用流程 前置条件 已使用主账号登录到一站式智算平台 主账号使用流程 主账号的使用流程，整体如下： 注：资源配额和工作空间目前仅在杭州7资源池支持 主账号的使用流程按照AI全周期的工作流程进行，具体步骤如下： 流程 子任务 说明 详细指导 购买专属集群 购买专属集群 相比平台提供的默认集群资源，购买专属集群资源独享，隔离性更好 注：非必要步骤，可以使用平台提供的默认集群按需使用 需联系客户经理进行购买 创建资源配额/队列 创建资源配额/队列 在购买专属集群后，可以将专属集群资源按照一定维度划分成多个资源配额或队列，供成员在工作空间内进行作业时使用 注：非必要步骤，非必需购买专属集群，可以使用平台提供的默认集群，默认集群无需创建资源配额/队列，可直接使用。 队列管理 资源配额 创建工作空间 创建工作空间 工作空间可对等于项目，不同项目相互隔离。 注：非必要步骤，非必须创建新的工作空间，可使用默认的工作空间 工作空间 创建工作空间 关联资源配额/队列 设置工作空间内需要使用的资源配额或队列资源 工作空间 创建工作空间 成员管理 管理工作空间成员 工作空间 数据集准备与处理 创建基础数据集 可上传基础数据集到ZOS或HPFS 基础数据集 数据集准备与处理 创建标注数据集 创建标注数据集，可对数据集进行标注，并发布为新的数据集 标注数据集 数据集准备与处理 数据清洗 可以对数据进行清洗 数据处理 镜像准备 预置镜像 预置镜像即平台预先设置的完整镜像，可直接用于创建任务时使用 预置镜像 镜像准备 自定义镜像 可以通过开发机自主制作镜像或通过天翼云容器镜像服务将镜像服务内的容器共享给一体化智算平台 自定义镜像 镜像准备 他人分享镜像 可将自己的镜像分享给他人使用 镜像分享 代码准备 导入代码包 将代码上传到平台 我的代码包 模型准备 导入模型 可将用户自己的模型或在 平台训练、精调好的模型导入到平台进行版本管理、评估及部署 我的模型 AI作业 模型开发 可通过启动和管理在线JupyterLab或VSCode集成开发环境在线编程进行模型开发 开发机 AI作业 模型训练 创建自定义创建训练任务，支持单机和多机分布式训练 训练任务 AI作业 模型精调 零代码快速创建和管理精调任务，提供全参微调和lora微调两种精调方式。基于平台的基础大模型，选择训练数据集和算力即可快速启动精调任务。 模型精调 AI作业 模型评估 可对模型进行评估，自动评估打分，生成评估报告 模型评估 AI作业 模型压缩 不减少模型效果的前提下压缩模型大小，进而提升模型在推理调用时的性能 模型压缩 AI作业 模型部署 部署模型，提供推理服务 模型服务 AI作业 体验模型 可以对预置模型和自己部署的模型进行体验 体验中心 综合管理 成员管理 查看并管理本租户下所有用户的平台使用情况 成员管理 综合管理 总览资源 平台管理员能够轻松查看并管理专属集群的资源使用情况 资源总览 综合管理 调度中心 旨在让平台管理员能够轻松查看并调度集群资源 调度中心 综合管理 设置 旨在让平台管理员能够轻松查看并设置本租户下所有用户对资源使用的限额 设置 综合管理 操作审计 对平台操作事件进行跟踪 操作审计

项目 说明 部署方式 独享引擎 使用场景 业务服务器部署在云上。 大型企业网站，具备较大的业务规模且基于业务特性具有定制化的安全需求。 防护对象 域名 IP 优势 部署灵活 独享引擎实例资源由用户独享 可以满足大规模流量攻击场景防护需求 独享引擎实例部署在VPC内，网络链路时延低

本章节介绍如何部署Demo微服务应用到ECS 概述 在微服务云应用平台中接入您的应用进行发布，所支持的介质类型大体上可分为制品（JAR/WAR/TAR包等）、镜像等，您可以按实际需求选择接入的方式。 为了帮助您快速体验将微服务应用托管到ECS。微服务云应用平台提供了官方Demo应用，您可以将该Demo应用托管到ECS中。本文介绍部署两个Demo应用：consumer和provider应用，并验证consumer调用provider。 托管Demo微服务应用 前提条件 1.您已开通微服务云应用平台 2.您已订购2台ECS虚机实例 3.您已订购一个nacos注册中心实例 4.您已开通微服务治理中心 【可选】 5.您已开通应用性能监控 【可选】 注意 一台ECS机器只能部署一个应用实例副本，订购ECS时请根据部署应用所需资源选择规格订购。 目前支持ECS发布的资源池如下：华东1、华北2、华南2、西南1、西安7。 目前只支持导入CPU架构为x86或ARM, 以及操作系统是64位, 且是以下版本:ctyunos2.0.1和centos7.x的ECS。 创建环境和导入资源 说明 环境：即我们常说的开发环境、生产环境，是用于应用部署和运行的计算、网络、中间件等资源的集合。 例如可以把同VPC下的云容器引擎、注册中心、数据库等实例组成一个环境。 资源：是支撑应用运行的设施，资源可以导入到环境里供应用使用。例如常用资源包括：云容器引擎、ECS、注册中心、微服务治理中心、应用性能监控、数据库实例等。 在左侧导航栏，选择环境管理。在环境列表左上角点击创建环境。 进入环境详情，将nacos注册中心导入到环境。在环境里创建ECS集群，将ECS导入到ECS集群。