发布路由 1. 登录云原生API网关控制台，在顶部菜单栏选择资源池。 2. 在左侧导航栏，选择 "AI网关实例" ，进入实例概览。 3. 在左侧导航栏，选择"Model API"，然后单击目标API名称进入API详情页面。 4. 单击路由列表，单击目标路由，进入路由详情页。 5. 单击路由详情页右上角发布按钮，并在弹窗中单击确认。 下线路由 1. 登录云原生API网关控制台，在顶部菜单栏选择资源池。 2. 在左侧导航栏，选择 "AI网关实例" ，进入实例概览。 3. 在左侧导航栏，选择"Model API"，然后单击目标API名称进入API详情页面。 4. 单击路由列表，单击目标路由，进入路由详情页。 5. 单击路由详情页右上角下线按钮，并在弹窗中单击确认。

超低时延 CN2DCI承载网面向大客户的业务而设计，确保负载不超过50%，同时支持路径定制，骨干网节点间平均时延指标最优低于30ms，全面满足算力专网业务低时延要求。

本节介绍创建智能路由。 前提条件 已完成AI套件安装，网络组件运行正常。 已创建智能网关（同命名空间），且处于运行状态。 已创建推理应用，且处于运行状态。 约束与限制 创建智能路由依赖智能网关和推理应用，请参考创建智能网关和创建推理应用官方文档进行创建。 操作步骤 1、创建智能路由 登录云容器引擎管理控制台； 在集群列表页点击进入指定集群； 进入主菜单 智算套件 > AI应用列表> 在线推理，点击应用名称： 选择智能路由Tab页，点击创建按钮： 右侧弹框显示智能路由配置信息，说明如下： 配置项 说明 名称 智能路由名称不可编辑，命名规范：${inferenceName}scheduler。 命名空间 命名空间不可编辑，与推理应用保持一致。 网关类型 流量接入方式：智能网关（IGW）表示集群内自建网关；AI网关（AGW）表示云上AI网关产品。 网关实例 根据选择的网关类型，筛选出可用的网关实例列表。 如选择智能网关，会自动筛选出同命名空间运行中的网关实例 如果网关实例列表为空，可点击右侧立即创建按钮跳转至对应网关的创建页面 路由规则 目前支持负载感知和前缀缓存感知，后续会进一步适配LoRA、语义路由等规则 调度配置 CPU 网关实例容器CPU配置，单位核数 调度配置 内存 网关实例容器内存配置，单位Gi 调度配置 副本数 网关实例部署的副本数，一般建议设置3副本 点击创建按钮，完成智能路由创建

支持CPU架构 CPU 架构 规格 规则族 （虚拟 ）CPU 型号 是否支持 X86计算 通用型 通用型s8e INTER(R) XEON(R) PLATINUM 8566C ✓ X86计算 通用型 通用型s8r ✓ X86计算 通用型 通用型s8 ✓ X86计算 通用型 通用型s7 Inter Xeon Processor (Icelake) ✓ X86计算 通用型 通用型s6 ✓ X86计算 通用型 海光通用型hs1 Hygon Dhyana Processor ✓ X86计算 计算型 计算型c8e ✓ X86计算 计算型 计算型c8 ✓ X86计算 计算型 计算型c7 ✓ X86计算 计算型 计算型c6 ✓ X86计算 计算型 海光计算型hc1 ✓ X86计算 内存型 内存型m8e ✓ X86计算 内存型 内存型m8 ✓ X86计算 内存型 内存型m7 ✓ X86计算 内存型 内存型m6 ✓ X86计算 内存型 海光内存型hm1 ✓ X86计算 增强型 网络增强型c8ne INTER(R) XEON(R) PLATINUM 8566C ✓ X86计算 增强型 网络增强型m8ne ✓ X86计算 本地盘型 超高IO型ip3 Inter Xeon Processor (Icelake) ✓ X86计算 GPU加速/AI加速型 GPU计算加速型p8a ✓ X86计算 GPU加速/AI加速型 GPU计算加速型pn8i ✓ X86计算 GPU加速/AI加速型 GPU计算加速型pi7 ✓ X86计算 GPU加速/AI加速型 GPU图形加速基础型g7 Inter Xeon Processor (Icelake) ✓ X86计算 经济型 经济型e Inter Xeon Processor (Cascadelake) ✓ ARM计算 通用型 鲲鹏通用型ks1 Kunpeng902 ✓ ARM计算 通用型 飞腾通用型fs1 Phytium S2500 ✓（需升级到v2.1.1 版本） ARM计算 计算型 鲲鹏计算型kc1 Kunpeng902 ✓ ARM计算 计算型 飞腾计算型fc1 Phytium S2500 ✓（需升级到 v2.1.1 版本） ARM计算 内存型 鲲鹏内存型km1 Kunpeng902 ✓ ARM计算 内存型 飞腾内存型fm1 Phytium S2500 ✓ （需升级到 v2.1.1 版本）

GPUStack产品使用手册,含单机版和集群版(Worker、Server) 产品概述 1.1 产品介绍 GPUStack云服务是基于开源GPUStack构建的托管式AI模型部署平台，让您无需管理基础设施，即可在高性能GPU集群上轻松部署和运行各类AI模型，支持单机版和集群版（Worker、Server）。 单机版 集群版 面向用户 个人、中小团队或企业内部 企业研发团队、实验室、AI算力平台 适用场景 1. 个人开发者的大模型微调、推理效果验证 2. 小团队的算法原型开发、单卡模型性能测试 3. 教学科研场景的小规模 AI 实验 4. 临时算力需求（如短期模型 demo 制作) 1. 企业大模型训练 / 推理的规模化算力需求 2. 多团队共享 GPU 算力池的资源管控场景 3. 高并发模型服务（如智能客服等） 4. 异构 GPU 资源混合调度（支持 NVIDIA/昇腾等） 资源配置 单GPU服务器 Server节点：8C/16G 计算型服务器 Worker节点：1~N台GPU服务器（支持英伟达、昇腾等不同厂商GPU卡） 1.2 产品核心能力 资源管理：提供自动化GPU资源调度与集群管理，支持异构GPU设备统一纳管，实现资源利用率最大化与成本最优化； 模型部署：支持主流开源大模型一键部署，兼容Hugging Face、ModelScope等模型源，集成vLLM、SGLang和TensorRTLLM等高性能推理引擎，满足不同场景性能需求； 智能运维：内置自动扩缩容、故障转移与负载均衡机制，提供实时性能监控与告警，确保服务高可用性与稳定性； 安全管控：提供完善的认证授权体系与网络隔离策略，支持私有化部署与数据安全保障，满足企业级安全合规要求。

GPUStack产品使用手册,含单机版和集群版(Worker、Server) 产品概述 1.1 产品介绍 GPUStack云服务是基于开源GPUStack构建的托管式AI模型部署平台，让您无需管理基础设施，即可在高性能GPU集群上轻松部署和运行各类AI模型，支持单机版和集群版（Worker、Server）。 单机版 集群版 面向用户 个人、中小团队或企业内部 企业研发团队、实验室、AI算力平台 适用场景 1. 个人开发者的大模型微调、推理效果验证 2. 小团队的算法原型开发、单卡模型性能测试 3. 教学科研场景的小规模 AI 实验 4. 临时算力需求（如短期模型 demo 制作) 1. 企业大模型训练 / 推理的规模化算力需求 2. 多团队共享 GPU 算力池的资源管控场景 3. 高并发模型服务（如智能客服等） 4. 异构 GPU 资源混合调度（支持 NVIDIA/昇腾等） 资源配置 单GPU服务器 Server节点：8C/16G 计算型服务器 Worker节点：1~N台GPU服务器（支持英伟达、昇腾等不同厂商GPU卡） 1.2 产品核心能力 资源管理：提供自动化GPU资源调度与集群管理，支持异构GPU设备统一纳管，实现资源利用率最大化与成本最优化； 模型部署：支持主流开源大模型一键部署，兼容Hugging Face、ModelScope等模型源，集成vLLM、SGLang和TensorRTLLM等高性能推理引擎，满足不同场景性能需求； 智能运维：内置自动扩缩容、故障转移与负载均衡机制，提供实时性能监控与告警，确保服务高可用性与稳定性； 安全管控：提供完善的认证授权体系与网络隔离策略，支持私有化部署与数据安全保障，满足企业级安全合规要求。

实例字符集 说明 ChinesePRC90CIAI ChinesePRC90，不区分大小写、不区分重音（兼容SQL Server 2005）。 ChinesePRCCIAI ChinesePRC，不区分大小写、不区分重音。 ChinesePRCCIAS ChinesePRC，不区分大小写、区分重音。 CyrillicGeneralCIAS CyrllicGeneral，不区分大小写，区分重音。 SQLLatin1GeneralCP1CIAS 对于Unicode 数据为 Latin1General，不区分大小写，区分重音。

AI 网关通过消费者来为路由、API开启认证能力,本文介绍AI网关控制台如何管理消费者。 操作步骤 1. 登录 云原生API网关控制台，并在顶部菜单栏选择地域。 2. 在左侧导航栏，选择 "AI网关消费者"。 3. 单击 "创建消费者" ，在创建消费者面板中配置相关参数，然后单击 "保存" 。 配置项 描述 消费者名称 自定义消费者名称，要保证唯一性 命名规则：支持英文字母、数字和下划线，以英文字母或数字开头及结尾, 432个字符 启用状态 消费者状态包括已启用和已停用。创建完成后可以手动启停 注意 消费者只有启用状态时才生效。 描述 对消费者进行描述 认证方式 当前AI网关中消费者支持JWT和KEY两种认证方式。创建认证时必须选择至少一种认证方式。删除消费者下的认证时也要保证至少存在一种认证方式。对于KEY认证的key，填写时需保证唯一，例如消费者1和消费者2下的KEY认证不可设置相同的key值。 JWT认证：JSON Web Token (JWT) 是一种用于在客户端和服务器之间以紧凑且自包含的JSON对象形式安全地传输信息。JWT通过数字签名确保信息的完整性和真实性，常用于在网关中验证用户身份并控制对资源的授权访问，从而实现无状态的身份验证和授权机制。 秘钥类型：可选择对称秘钥和非对称秘钥。 加密算法：对称秘钥加密算法可选择HS256和HS512。非对称秘钥加密算法可选择RS256和ES256。 秘钥：对称秘钥时需填写secret，如果开启base64secret则需按照base64编码格式填写。非对称秘钥时需填写RSA/ES公钥和私钥。 KEY认证：KEY认证是一种基础的认证机制，客户端在调用API时需将凭证（如API Key）以特定方式添加到请求中，网关接收到请求后会校验Key的有效性和权限范围。这种认证方式安全性较低，不建议用于涉及敏感操作的场景。 Bearer前缀：如果勾选，则访问时需携带"Bearer XXXXXXXXXXX"的Key值；如果不勾选，则直接携带Key值访问。 Key：自定义Key凭证。

本章节介绍发布单相关功能 概述 发布单主要用于发布同环境下多个应用实例，并指定应用实例间发布顺序。 发布单列表 发布单主要展示该环境下历史发布单信息。在左侧导航栏单击应用运维容器应用实例应用发布发布单进入发布单列表页面。发布单列表页面分成发布单统计和发布单列表两块内容。 发布单统计 发布单统计用于统计当前环境下发布单信息，展示发布单总计、发布成功总计、发布失败总计、发布中总计、待审核总计、审核不通过总计、待发布总计、已取消总计。 发布单列表 发布单列表包括发布单名称、部署单元、应用数量、状态、执行人、执行时间、操作列。根据状态的不同，操作列存在不同。 创建发布单 1. 在发布单列表页面，单击创建发布单按钮，进入发布单配置页面 2. 填写基本信息 配置项 描述 发布单名称 发布单名称。 部署单元 展示当前环境下的所有部署单元。 发布类型 支持普通发布和金丝雀发布。金丝雀发布支持按流量发布和按泳道发布。具体参考应用总览。 发布批次 选择发布分批次数。仅普通发布才有该选项。 首批灰度数量 首批发布的应用实例数量。右侧会显示应用当前实例数，为保证应用稳定性，灰度实例数不能超过应用实例总数的50%。仅金丝雀发布才有该选项。说明： 灰度分组发布后，必须手动开始剩余分批发布。 剩余分批次数 首批灰度发布后，剩余的应用实例按照该处设置的批次完成分批发布。 分批方式 说明： 当普通发布的发布批次大于1或者金丝雀发布的剩余分批次数大于1时，需配置分批间处理方式。 支持手动和自动。手动：手动触发下一个批次的发布。自动：根据间隔自动分配分批发布。间隔为剩余批次间的发布时间间隔，单位：分钟。 应用实例列表 您可以在待选应用实例列表中单击选择需要的应用实例，单击>图标将应用实例添加到已选应用实例列表中。若应用实例存在多个版本，需要选择要发布的版本。默认选择最新的版本。 3. 高级配置 高级配置用于设置应用实例间依赖关系。当选择了 2 个及以上应用实例时，可能需要填写应用实例之间的依赖关系。若应用实例之间不存在依赖关系，则直接跳过。 注意 应用实例之间不可循环依赖，即不可出现应用实例 A 依赖于应用实例 B，同时应用实例 B 又依赖于应用实例 A 这种情况。 4. 在预览页面确认信息无误后，单击创建。系统会自动跳转到发布单列表页面，单击发布单名称进入发布单详情页面，等待初始化完成后点击发布即可开始发布。

本节介绍如何 创建vLLM NPU单机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档] 操作步骤 创建任务 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 基本信息 应用类型：vLLM 开启PD分离选择 静态PD分离 推理类型选择 单机 配置信息 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 简单的示例： 推理框架： ascendvllm 框架版本：v0.11.0rc2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 队列：选择存在且资源足够的的队列 Prefill CPU，内存，共享内存不填，NPU填：4 Decode DecodeMaster 的资源菜单：CPU，内存，共享内存不填，NPU填：4 点击确认完成创建。

本节介绍如何打通注册集群与联邦实例之间的联通网络。 ​全局网络架构 集群联邦控制面和成员集群间存在互联互通网络，以支撑联邦控制面与成员集群间的数据交互需求。联邦控制面整体组网，分为两个步骤来进行： 1. 三方集群接入云上注册集群：可选专线内网或公网方式接入，接入后三方集群均以HUB网关为代理向云上暴露访问接口。 2. 接入集群注册到具体联邦实例：注册集群和联邦实例间存在可能同资源池或跨资源池情况，不同情况下可选组网方式不一样，部分情况下也需要依赖用户介入来打通网络。 三方集群接入到注册集群HUB网关 第一步：三方集群到云上接入网络规划 首先，需要规划天翼云上的资源池、VPC及子网信息，建议资源池与用户三方集群真实地域尽量就近或相同，以实现就近互联以及确保相关调度器识别的地理位置信息准确；云上VPC、子网可选择新建也可选择已有，只要确保不影响业务且有足够的VPC下资源配额即可。如果选择新建VPC或子网，需要在这一步将相关资源准备好。 其次，用户集群与天翼云上VPC网络打通方式主要有公网和专线内网两种方式，具体选择哪个与用户场景对质量、成本的要求有关。 网络模式 优点 缺点 建议场景 公网 方便快捷、成本低廉。 稳定性及安全性差，不适合对网络质量及带宽高要求的场景。 例如云上云下一体化组网等混合云场景。 建议只功能验证场景使用。 不建议应用于生产环境。 专线内网 基于天翼云专业的云间网络产品，将用户云下集群网络与云上VPC网络内网打通。 具备高安全性、高带宽低延时、高稳定性等特点。 成本相对公网略高。 建设周期相对公网方式略长。 建议用户生产环境，或对云上云下网络稳定性、安全性等有较高要求的场景使用。 规划好云上资源池、VPC、子网及云上云下网络互通方式后，即可继续下一步。

平台提供了以下大模型API能力。 模型名称 模型简介 模型ID DeepSeekR1昇腾版 DeepSeekR1是一款具有671B参数大小的创新性大语言模型，由杭州深度求索人工智能基础技术研究有限公司开发。该模型基于 transformer 架构，通过对海量语料数据进行预训练，结合注意力机制，能够理解和生成自然语言。它经过监督微调、人类反馈的强化学习等技术进行对齐，具备语义分析、计算推理、问答对话、篇章生成、代码编写等多种能力。R1 模型在多个 NLP 基准测试中表现出色，具备较强的泛化能力和适应性。 4bd107bff85941239e27b1509eccfe98 DeepSeekR1昇腾版2 DeepSeekR1是一款具有671B参数大小的创新性大语言模型，该模型基于 transformer 架构，通过对海量语料数据进行预训练，结合注意力机制，经过监督微调、人类反馈的强化学习等技术进行对齐，具备语义分析、计算推理、问答对话、篇章生成、代码编写等多种能力。R1 模型在多个 NLP 基准测试中表现出色，具备较强的泛化能力和适应性。 7ba7726dad4c4ea4ab7f39c7741aea68 DeepSeekV3昇腾版 DeepSeekV3是DeepSeek团队开发的新一代专家混合（MoE）语言模型，共有671B参数，在14.8万亿个Tokens上进行预训练。该模型采用多头潜在注意力（MLA）和DeepSeekMoE架构，继承了DeepSeekV2模型的优势，并在性能、效率和功能上进行了显著提升。 9dc913a037774fc0b248376905c85da5 DeepSeekR1DistillLlama70B DeepSeekR1DistillLlama70B是基于Llama架构并经过强化学习和蒸馏优化开发的高性能语言模型。该模型融合了DeepSeekR1的先进知识蒸馏技术与Llama70B模型的架构优势。通过知识蒸馏，在保持较小参数规模的同时，具备强大的语言理解和生成能力。 515fdba33cc84aa799bbd44b6e00660d DeepSeekR1DistillQwen32B DeepSeekR1DistillQwen32B是通过知识蒸馏技术从DeepSeekR1模型中提炼出来的小型语言模型。它继承了DeepSeekR1的推理能力，专注于数学和逻辑推理任务，但体积更小，适合资源受限的环境。 b383c1eecf2c4b30b4bcca7f019cf90d Baichuan2Turbo BaichuanTurbo系列模型是百川智能推出的大语言模型，采用搜索增强技术实现大模型与领域知识、全网知识的全面链接。 43ac83747cb34730a00b7cfe590c89ac Llama213BChat Llama2是预先训练和微调的生成文本模型的集合，其规模从70亿到700亿个参数不等。这是13B微调模型的存储库，针对对话用例进行了优化。 96dc8f33609d4ce6af3ff55ea377831a Qwen7BChat 通义千问7B（Qwen7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen7B的基础上，使用对齐机制打造了基于大语言模型的AI助手Qwen7BChat。 fc23987da1344a8f8bdf1274e832f193 Llama27BChat Llama27BChat是Meta AI开发的大型语言模型Llama2家族中最小的聊天模型。该模型有70亿个参数，并在来自公开来源的2万亿token数据上进行了预训练。它已经在超过一百万个人工注释的指令数据集上进行了微调。 e30f90ca899a4b1a9c25c0949edd64fc Llama270BChat Llama 2 是预训练和微调的生成文本模型的集合，规模从 70 亿到 700 亿个参数不等。这是 70B 微调模型的存储库，针对对话用例进行了优化。 bafbc7785d50466c89819da43964332b Qwen1.57BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.57BChat版本。 bfc0bdbf8b394c139a734235b1e6f887 Qwen272BInstruct Qwen2 是 Qwen 大型语言模型的新系列。Qwen2发布了5个尺寸的预训练和指令微调模型，包括Qwen20.5B、Qwen21.5B、Qwen27B、Qwen257BA14B以及Qwen272B。这是指令调整的 72B Qwen2 模型，使用了大量数据对模型进行了预训练，并使用监督微调和直接偏好优化对模型进行了后训练。 2f05789705a64606a552fc2b30326bba ChatGLM36B ChatGLM36B 是 ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM36B 引入了更强大的基础模型、更完整的功能支持、更全面的开源序列几大特性。 7450fa195778420393542c7fa13c6640 TeleChat12B 星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型，TeleChat12B模型基座采用3万亿 Tokens中英文高质量语料进行训练。TeleChat12Bbot在模型结构、训练数据、训练方法等方面进行了改进，在通用问答和知识类、代码类、数学类榜单上相比TeleChat7Bbot均有大幅提升。 fdc31b36028043c48b15131885b148ce Qwen1.514BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.514BChat版本。 acfe01f00b0c4ff49c29c6c77b771b60 Llama38BInstruct Meta 开发并发布了 Meta Llama 3 系列大型语言模型 （LLM），包含 8B 和 70B 两种参数大小，Llama38BInstruct 是经过指令微调的版本，针对对话用例进行了优化，在常见的行业基准测试中优于许多可用的开源聊天模型。 bda59c34e4424598bbd5930eba713fbf Llama370BInstruct Meta 开发并发布了 Meta Llama 3 系列大型语言模型 （LLM），包含 8B 和 70B 两种参数大小，Llama370BInstruct 是经过指令微调的版本，针对对话用例进行了优化，在常见的行业基准测试中优于许多可用的开源聊天模型。 6192ed0cb6334302a2c32735dbbb6ce3 Qwen1.572BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.572BChat版本。 9d140d415f11414aa05c8888e267a896 Qwen1.532BChat Qwen1.532B 是 Qwen1.5 语言模型系列的最新成员，除了模型大小外，其在模型架构上除了GQA几乎无其他差异。GQA能让该模型在模型服务时具有更高的推理效率潜力。这是Qwen1.532BChat版本。 12d5a37bf1ed4bf9b1cb8e446cfa60b3 InternLM2Chat7B InternLM2Chat7B 是书生·浦语大模型系列中开源的 70 亿参数库模型和针对实际场景量身定制的聊天模型。InternLM2相比于初代InternLM，在推理、数学、代码等方面的能力提升尤为显著，综合能力领先于同量级开源模型。 50beebff68b34803bd71d380e49078f5 Qwen27BInstruct Qwen27BInstruct是 Qwen2大型语言模型系列中覆盖70亿参数的指令调优语言模型，支持高达 131,072 个令牌的上下文长度，能够处理大量输入。 0e97efbf3aa042ebbaf0b2d358403b94 QwenVLChat QwenVLChat模型是在阿里云研发的大规模视觉语言模型 QwenVL 系列的基础上，使用对齐机制打造的视觉AI助手，该模型有更优秀的中文指令跟随，支持更灵活的交互方式，包括多图、多轮问答、创作等能力。 e8c39004ff804ca699d47b9254039db8 StableDiffusionV2.1 StableDiffusionV2.1是由 Stability AI 公司推出的基于深度学习的文生图模型，它能够根据文本描述生成详细的图像，同时也可以应用于其他任务，例如图生图，生成简短视频等。 40f9ae16e840417289ad2951f5b2c88f DeepseekV2LiteChat DeepseekV2LiteChat是一款强大的开源专家混合（MoE）语言聊天模型，具有16B参数，2.4B活动参数，使用5.7T令牌从头开始训练，其特点是同时具备经济的训练和高效的推理。 0855b510473e4ec3a029569853f64974 Qwen2.572BInstruct Qwen2.5系列发布了许多基本语言模型和指令调整语言模型，参数范围从0.5到720亿个参数不等。Qwen2.572BInstruct模型是Qwen2.5系列大型语言模型指令调整版本。 d9df728b30a346afb74d2099b6c209aa Gemma29BIT Gemma29BIT是Google最新发布的具有90亿参数的开源大型语言模型的指令调优版本。模型在大量文本数据上进行预训练，并且在性能上相较于前一代有了显著提升。该版本的性能在同类产品中也处于领先地位，超过了Llama38B和其他同规模的开源模型。 4dae2b9727db46b7b86e84e8ae6530a9 Llama3.23BInstruct Meta Llama3.2多语言大型语言模型（LLMs）系列是一系列预训练及指令微调的生成模型，包含1B和3B参数规模。Llama3.2指令微调的纯文本模型专门针对多语言对话应用场景进行了优化，包括代理检索和摘要任务。它们在通用行业基准测试中超越了许多可用的开源和闭源聊天模型。这是Llama3.23BInstruct版本。 f7d0baa95fd2480280214bfe505b0e2e ChatGLM36B32K ChatGLM36B32K模型在ChatGLM36B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。具体对位置编码进行了更新，并设计了更有针对性的长文本训练方法，在对话阶段使用 32K 的上下文长度训练。 98b6d84f6b15421886d64350f2832782 CodeGemma7BIT CodeGemma是构建在Gemma之上的轻量级开放代码模型的集合。CodeGemma7BIT模型是CodeGemma系列模型之一，是一种文本到文本和文本到代码的解码器模型的指令调整变体，具有70亿参数，可用于代码聊天和指令跟随。 fa8b78d2db034b6798c894e30fba1173 Qwen2.5Math7BInstruct Qwen2.5Math系列是数学专项大语言模型Qwen2Math的升级版。系列包括1.5B、7B、72B三种参数的基础模型和指令微调模型以及数学奖励模型Qwen2.5MathRM72B，Qwen2.5Math7BInstruct的性能与Qwen2Math72BInstruct相当。 ea056b1eedfc479198b49e2ef156e2aa DeepSeekCoderV2LiteInstruct DeepSeekCoderV2LiteInstruct是一款强大的开源专家混合（MoE）语言聊天模型，具有16B参数，2.4B活动参数。该模型基于DeepSeekV2进一步预训练，增加了6T Tokens，可在特定的代码任务中实现与GPT4Turbo相当的性能。 f23651e4a8904ea589a6372e0e860b10

本节介绍如何创建MindIE NPU多机PD分离任务。 本示例基于 MindIE 推理框架，选用 DeepSeekV3.1w8a8c8QuaRot 模型进行多机 PD（Prefill/Decode）分离部署。整体采用 1P × 1D 架构，其中 Prefill 阶段部署 1 个实例，由 1 个 Master + 1 个 Worker 角色组成，每个角色占用 8 张 NPU 卡；Decode 阶段部署 1 个实例，由 1 个 Master + 3 个 Worker 角色组成，每个角色占用 8 张 NPU 卡。因此，本任务共使用 6 台机器、48 张 NPU 卡，通过 Prefill 与 Decode 解耦调度，有效降低首 Token 时延并提升整体吞吐性能。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存)[参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：MindIE 开启PD分离选择 静态PD分离

本节介绍智算套件定义。 产品定义 智算套件是利用云原生架构和技术，在云容器引擎上快速定制化构建AI生产系统，帮助用户基于 Kubernetes 充分利用天翼云上弹性算力，支持弹性训练与推理等场景。 产品介绍 套件名称 套件说明 驱动管理 为GPU云主机或物理机的算力调度提供硬件驱动。 模型预热 将模型从对象存储预热到本地盘，大幅提升模型部署效率。 智算套件控制面引擎 提供高可用控制面，管理智算套件控制台正常运行。 故障诊断 为集群提供集群巡检、故障诊断等能力。 网络 为集群容器提供使用RDMA网络的能力，包括IB和RoCE。 弹性数据集 支持数据集版本管理，提供弹性加载能力。 弹性训练 为集群提供AI任务接入，兼容主流AI框架和工具，包括TensorFlow、PyTorch、Horovod、Spark等。 GPU安全容器 支持Kata安全容器运行时，满足业务高安全需求。 智能调度 为集群提供智能任务调度策略，可支持Gang、Capacity、Binpack/Spread和Queue等智能调度。 监控 为集群提供硬件监控能力，可采集GPU/NPU，显存等，支持可视化查看GPU的分配、使用和健康状态。

系列2：AI网关 AI网关实例具体计费规则如下： 实例规格 主机类型 按需（元/每小时） 包年包月（元/每月） 标准版1 X86通用型 7.93 3998 标准版2 X86通用型 15.18 7651 标准版3 X86通用型 28.73 14477 企业版1 X86通用型 56.10 28276 企业版2 X86通用型 110.48 55684 企业版3 X86通用型 164.86 83092 铂金版1 X86通用型 213.77 107738 铂金版2 X86通用型 425.85 214629 铂金版3 X86通用型 637.94 321524 铂金版4 X86通用型 850.03 428415

本节介绍翼甲卫士的基础管理功能。 用户开通翼甲卫士后，可在AI云电脑（政企版）控制台安全防护进入翼甲管理界面。 绑定/解绑/更换带宽 点击“操作”后可在下拉菜单点击对应选项，对带宽绑定状态进行变更，支持解绑、更换、绑定（操作生效期间会导致关联AI云电脑35分钟无法上网）。 扩容 点击“操作”后可在下拉菜单点击扩容，对各项配置进行扩容，支持公网流量处理能力、日志容量、短信告警配置扩容。

天翼云数据传输服务DTS(TeleDB DTS)是一种集数据迁移和数据实时同步于一体的数据传输服务。它支持关系型数据库、NoSQL数据库间的数据传输,致力于解决远距离、毫秒级异步数据传输难题。

FTP模式 方向 协议 端口 源地址 主动模式 入方向 TCP 20端口和21端口 0.0.0.0/0 被动模式 入方向 TCP 21端口和1024 65535间的端口（例如50006000） 0.0.0.0/0

应用退后台桌面断连 天翼云电脑应用切换至手机后台后，可设定时长，让云电脑桌面自动断开连接。 面容/指纹识别 如需手机系统支持面容/指纹识别，可启用安全登录，我账号与安全点击“面容/指纹识别”。 虚拟MFA 开启MFA可以对登录、敏感操作进行二次认证，提高账户的安全性。 退出登录 如需退出AI云电脑登录账号，我点击页面底部“退出登录”，二次确认之后即可退出AI云电脑登录账号。

本节介绍如何创建vLLM NPU多机推理。 本示例基于 vLLM 推理框架，选用 deepseekr1distillqwen7b 模型进行多机部署。整体部署 1 个推理应用实例，由 1 个 master + 1 个 worker 角色组成，每个角色占用 1 张 NPU 卡，因此本任务共使用 2 张 NPU 卡，用于验证模型在多机环境下的推理能力。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 应用数：1 配置信息 推理类型选择多机，推理框架、框架版本、推理模型、模型版本、根据实际情况选择。简单的示例： 推理框架： ascendvllm 框架版本：v0.14.0rc1 推理模型：deepseekr1distillqwen7b 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建 vLLM GPU 单机PD分离任务。 前置条件 1. 确认智算套件已经安装并且全部运行中 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存，rdma/rdmashareddevicea) [参考创建队列的文档] 操作步骤 1. 进入智算套件，AI应用列表，在线推理菜单，创建AI应用 2. 创建应用 基本信息 应用类型：vLLM 开启PD分离选择：静态PD分离 推理类型选择：单机 PD分离：Prefill PD分离：Decode 推理框架，框架版本，推理模型，模型版本根据实际情况选择。 简单的示例： 推理框架： nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen1.5b 模型版本：v1 资源：CPU，内存，共享内存可以不填 选择 GPU：4，rdma/rdmashareddevicea：1 队列：选择存在且资源足够的的队列 点击确认完成创建。

项目 Stream Pub/Sub 持久化 支持 不支持 消费分组 支持 不支持 消费确认 支持 不支持 性能 与客户端数量无关，性能非常好 客户端多的时候，性能会出现明显的下降 数据隔离 DB间数据互相独立 不同DB的数据能互相看到，不独立

防护模块防护顺序 WAF不同防护模块用于防护不同的安全场景，当所有模块都开启时，模块之间会存在防护的先后顺序，从而实现高效的安全防护。 天翼云WAF各模块间防护顺序如下：

AI网关 对于AI 网关实例，根据不同实例规格的QPS、客户端连接数的性能差异，提供不同的实例规格。 以下是不同网关实例规格下各项参数详情（CPU处于安全水位（30%）时的参考）。 网关规格 QPS 最大客户端连接数 最大HTTPS每秒新建连接数 标准版1 1600 21000 700 标准版2 3200 42000 1400 标准版3 6400 84000 2800 企业版1 12800 168000 5600 企业版2 25600 336000 11200 企业版3 38400 504000 16800 铂金版1 51200 672000 22400 铂金版2 102400 1344000 44800 铂金版3 153600 2016000 67200 铂金版4 192000 2520000 84000

分布式消息服务RocketMQ是一款低成本、高可靠、高性能的消息中间件产品,兼容开源RocketMQ客户端,提供高效可靠的消息传递服务,解决分布式应用系统之间的消息数据通信难题,用于系统间的解耦,用户只需专注业务,无需部署运维,适用于电商、金融、政企等多样业务场景。

操作步骤 在集群列表页点击进入指定集群； 在左侧导航栏中选择“智算套件/AI套件管理”，进入AI套件列表页； 点击“统一安装”； 等待所有套件状态转变为“运行中”。 注意 在安装智算套件时，会额外创建以下对象。 对象名称 对象介绍 委托 在安装智算套件时，会创建isuitedelegate委托。 对象存储 在安装智算套件时，会在当前地域/当前可用区下创建存储桶。 isuitecrs isuitezos ：用于下方的容器镜像服务实例。 容器镜像服务 在安装智算套件时，会在当前地域创建一个容器镜像服务实例。 isuite

本节介绍如何创建vLLM GPU多机推理任务。 本示例基于 vLLM 推理框架，选用 deepseekr1distillqwen7b 模型进行多机部署。整体部署 1 个推理应用实例，由 1 个 master + 1 个 worker 角色组成，每个角色占用 1 张 GPU 卡，因此本任务共使用 2 张 GPU 卡，用于验证模型在多机环境下的推理能力。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件 > AI应用管理 > 队列管理，确保队列存在并且有足够的资源(GPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 1. 进入智算套件 > AI应用列表 > 在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 应用数：1 配置信息 推理类型选择多机，推理框架、框架版本、推理模型、模型版本根据实际情况选择即可。简单的示例： 推理框架：nvidiavllm 框架版本：v0.11.2 推理模型：deepseekr1distillqwen7b 模型版本：v1 队列：选择存在且资源足够的的队列

本节介绍如何创建vLLM NPU多机推理。 本示例基于 vLLM 推理框架，选用 deepseekr1distillqwen7b 模型进行多机部署。整体部署 1 个推理应用实例，由 1 个 master + 1 个 worker 角色组成，每个角色占用 1 张 NPU 卡，因此本任务共使用 2 张 NPU 卡，用于验证模型在多机环境下的推理能力。 前置条件 1. 确认智算套件已经安装并且全部运行中。 2. 进入智算套件，AI应用管理，队列管理，确保队列存在并且有足够的资源(NPU,CPU,内存) [参考创建队列的文档]。 操作步骤 创建应用 进入智算套件，AI应用列表，在线推理菜单，创建AI应用。 基本信息 应用类型：vLLM 应用数：1 配置信息 推理类型选择多机，推理框架、框架版本、推理模型、模型版本、根据实际情况选择。简单的示例： 推理框架： ascendvllm 框架版本：v0.14.0rc1 推理模型：deepseekr1distillqwen7b 模型版本：v1 队列：选择存在且资源足够的的队列

本文介绍如何创建服务来源。 概述 支持添加云容器引擎和注册配置中心作为服务来源，通过服务发现模块监听服务来源，动态感知后端服务。 创建云容器引擎服务来源 1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。 2. 在左侧导航栏，单击服务，然后单击服务来源。 3. 单击创建来源，在创建来源面板中，配置以下参数： ● 来源类型：选择容器服务，通过K8s Server发现后端服务。 ● 容器集群：选择后端服务所在的集群。 注意：只能添加同VPC内的容器集群，不支持跨VPC的服务来源。 创建注册配置中心服务来源 1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。 2. 在左侧导航栏，单击服务，然后单击服务来源。 3. 单击创建来源，在创建来源面板中，配置以下参数： ● 来源类型：选择MSE Nacos，通过 MSE Nacos 注册中心发现后端服务。 ● 集群名称：选择后端服务所在的MSE Nacos集群。 注意：只能添加同VPC内的MSE Nacos集群，不支持跨VPC的服务来源。 ● 拉取间隔：网关节点定时从来源实例同步服务注册信息的间隔，取值范围为15s~60s。 删除服务来源 1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。 2. 在左侧导航栏，单击服务，随后单击服务来源。 3. 单击需要变更的服务来源对应的删除。 4. 在删除服务面板，单击确定，完成删除服务来源。

参数 说明 选择本端VPC 名称 对等连接名称，名称由数字、字母、中文、、组成，不能以数字、和开头，长度范围为232个字符。 选择本端VPC 描述 可选参数。 根据需要在文本框中输入对等连接的描述信息。长度范围为1200个字符。 选择本端VPC 企业项目 所属企业项目，系统默认为default。 选择本端VPC 本端VPC 本端VPC：显示已选择的本端VPC，可在下拉框中选择。 选择本端VPC 本端VPC网段 显示本端VPC的网段。 选择对端VPC 账户 当前账户：表示在同一个账户内、同一个地域下的不同VPC间建立对等连接。 其他账户：表示在同一个地域下的不同账户的VPC间建立对等连接 此处选择当前账户。 选择对端VPC 对端VPC 对端VPC：显示已选择的对端VPC，可在下拉框中选择。 选择对端VPC 对端VPC网段 显示对端VPC网段。 对端VPC网段选择的子网网段不能和本端VPC的子网网段相同。当两端VPC网段重叠时，要注意两端VPC中要互通的子网网段不要重叠，否则无法通过路由互通。

参数 说明 选择本端VPC 名称 对等连接名称，由汉字、英文字母、数字、中划线、下划线等构成，一般不超过64个字符。 选择本端VPC 描述 可选参数。 根据需要在文本框中输入对等连接的描述信息。 选择本端VPC 企业项目 所属企业项目，系统默认为default。 选择本端VPC 本端VPC 本端VPC：显示已选择的本端VPC，可在下拉框中选择。 选择本端VPC 本端VPC网段 显示本端VPC的网段。 选择对端VPC 账户 当前账户：表示在同一个账户内、同一个地域下的不同VPC间建立对等连接。 其他账户：表示在同一个地域下的不同账户的VPC间建立对等连接。 此处选择当前账户。 选择对端VPC 对端VPC 对端VPC：显示已选择的对端VPC，可在下拉框中选择。 选择对端VPC 对端VPC网段 显示对端VPC网段。 对端VPC网段选择的子网网段不能和本端VPC的子网网段相同或有重叠网段，否则对等连接路由可能无法连通。

本节介绍了云容器引擎的最佳实践:存储卷。 存储基础知识 云容器引擎使用Kubernetes编排系统作为集群、应用、存储、网络等模块的管理平台。本文为您介绍容器存储相关的基础知识，以便在使用容器服务的存储能力时，了解相应模块的基础知识和使用原则。 数据卷（Volume） 因为容器中的文件在磁盘上是临时存放的，所以Kubernetes定义了数据卷（Volume）以解决容器中的文件因容器重启而丢失的问题。数据卷（Volume）是Pod与外部存储设备进行数据传递的通道，也是Pod内部容器间、Pod与Pod间、Pod与外部环境进行数据共享的方式。数据卷（Volume）定义了外置存储的细节，并内嵌到Pod中作为Pod的一部分。实质是外置存储在Kubernetes系统的一个资源映射，当负载需要使用外置存储的时候，可以从数据卷（Volume）中查到相关信息并进行存储挂载操作。 数据卷（Volume）分类 描述 本地存储 适用于本地存储的数据卷，例如HostPath、emptyDir等。本地存储卷的特点是数据保存在集群的特定节点上，并且不能随着应用漂移，节点停机时数据即不再可用。 网络存储 适用于网络存储的数据卷，例如Ceph、GlusterFS、NFS、iSCSI等。网络存储卷的特点是数据不在集群的某个节点上，而是在远端的存储服务上，使用存储卷时需要将存储服务挂载到本地使用。 Secret和ConfigMap Secret和ConfigMap是特殊的数据卷，其数据是集群的一些对象信息，该对象数据以卷的形式被挂载到节点上供应用使用。 PVC 一种数据卷定义方式，将数据卷抽象成一个独立于Pod的对象，这个对象定义（关联）的存储信息即存储卷对应的真正存储信息，供Kubernetes负载挂载使用。 数据卷（Volume）使用原则：一个Pod可以挂载多个数据卷（Volume）。一个Pod可以挂载多种类型的数据卷（Volume）。每个被Pod挂载的Volume卷，可以在不同的容器间共享。Kubernetes环境推荐使用PVC和PV方式挂载数据卷（Volume）。虽然单Pod可以挂载多个数据卷（Volume），但是并不建议给一个Pod挂载过多数据卷。