本章节介绍故障演练服务的应用场景。 故障演练服务适用于多种复杂的业务和技术场景，旨在帮助用户从被动响应故障转变为主动发现和规避风险，全面提升系统的稳定性和韧性。 1. 验证高可用（HA）与容灾（DR）预案 这是故障演练的核心应用场景之一。通过模拟关键组件的失效，可以验证系统的自动切换、故障转移和恢复能力是否符合预期。 场景示例： 数据层 ：通过模拟分布式缓存服务Redis版的主备切换、节点宕机等场景，验证组件能否无感切换，量化对上层业务的影响，评估高可用架构的实际效果。 中间件 ：通过模拟分布式消息服务Kafka的Broker节点宕机等场景，检验消息中间件的高可用特性，评估业务数据的可靠性和业务消息生产/消费的合理性。 应用层 ：通过模拟承载关键业务的云主机宕机等场景，验证应用健康检查与流量转移的及时性和有效性，评估业务连续性是否符合架构设计要求。 2. 评估系统性能水位 在业务大促、秒杀等高并发场景来临前，通过主动对系统资源施加压力，可以提前发现性能瓶颈，为容量规划和扩容决策提供数据支持。 场景示例： 计算资源压测 ：通过模拟云主机CPU/内存高负载场景，监测应用服务的响应延迟与错误率变化，评估应用系统在资源瓶颈下的稳定性表现。 存储性能压测 ：通过模拟云主机磁盘I/O高负载场景，监测数据库事务处理、日志写入等关键操作在压力下的吞吐量、延迟及错误率表现，评估存储系统的性能瓶颈。

本章节主要介绍翼MapReduce基本使用流程。 天翼云大数据平台 翼MapReduce是一个在云上部署和管理Hadoop系统的服务，一键即可开通部署Hadoop、HBase、Hive、Spark、Flink、Doris等大数据集群。翼MapReduce提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、HBase、Hive、Spark、Flink、Doris等大数据组件。 翼MapReduce使用简单，通过使用在集群中连接在一起的多台计算机，您可以运行各种任务，处理或者存储（PB级）巨量数据。翼MapReduce的基本使用流程如下： 1. 创建集群：进入天翼云官网翼MapReduce服务订购页面，选择需要的业务场景，创建集群。用户可以通过业务场景简化大数据集群组合，可以用于数据湖、数据服务、云搜索、数据分析等业务需要。选择完业务场景与服务后，用户可以进一步指定集群的操作系统、主机类型、CPU类型、实例规格、实例数量、数据盘类型（普通IO、高IO、超高IO与通用型SSD多款类型）等。 2. 管理集群：上述集群购买部署完成后，翼MapReduce为用户提供企业级的大数据集群的统一管理平台翼MR Manager，帮助用户快速掌握集群服务及主机的健康状态，通过图形化的指标监控及时获取系统的关键信息，根据实际业务的性能需求修改服务属性的配置，对集群、服务、角色实例等实现一键启停等操作。 3. 创建翼MapReduce操作用户：主用户可以使用统一身份认证服务（Identity and Access Management，简称IAM）来创建子用户，通过精细的权限管理，在翼MR控制台给子用户赋予不同的角色权限。 4. 退订：如果您不想继续使用已有集群，可以通过天翼云官网的订单管理页面，对集群进行退订操作。 5. 续订：如果您的集群即将到期，可以通过续订操作延长集群使用期限。 6. 配置升级：当master、core或者core节点ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。 7. 节点扩容：当master、core或task节点组内的资源无法满足您的业务需求时，您可以使用节点扩容功能增加ECS实例数量。 8. 节点缩容：当task节点组内的资源超出您的业务需求时，您可以使用节点缩容功能减少实例数量。 9. 新增节点组：当存量core或task节点组的计算或存储资源无法满足您的业务需求时，您可以使用新增节点组功能增加ECS实例。 10. 磁盘扩容：当master、core或task节点的数据存储空间无法满足您的业务需求时，您可以使用磁盘扩容功能增加云硬盘数据盘的空间。

一站式智算服务平台为您提供优质的服务体验,本文带您了解平台产品优势。 全流程开发工具 提供训练数据管理、模型开发（代码式开发工具、预置大模型、预置开发环境）、模型训练、模型精调、模型管理、模型评估、服务部署到模型服务调用的全链路功能。集成分布式训练调度技术、多种训练加速方法和高性能存储，支撑大模型训练，并极大降低训练和应用模型成本、缩短训练时长。 兼顾各类用户需求 面向需要开发复杂模型的用户，提供完整的代码式开发工具、预置大模型、预置开发环境等，满足用户的各种复杂模型开发需求。面向希望能快速、便捷建模的用户，则充分利用大模型微调训练的特点，提供快速微调工具，只需选择数据、配置参数即可完成大模型微调，降低大模型训练的使用门槛。 部署快捷，适配广泛 集成分布式算力调度、模型并行推理和多种运算加速能力，提升模型推理性能，实现推理服务的快捷部署。同时，适配多种模型结构，灵活支持用户各类复杂推理应用需求。 集成多种AI框架 集成多种AI框架，包括国产AI框架，支持各种主流大模型。 安全可信 符合数据监管要求，不设置数据埋点，不收集存储用户的入参和出参数据，从根本上保证了用户的数据隐私安全。

本文介绍云日志服务基础资源的使用限制。 云日志服务的使用限制如下，如您有更大的使用需求，请提交工单申请。 类别 说明 日志项目 您在每个天翼云账号每个资源池下最多可创建50个日志项目。 日志单元 您在一个日志项目下最多创建50个日志单元。 采集规则 您在一个日志项目下最多创建200个采集规则。在一个主机组下最多可添加100个采集规则。 主机组 您在每个天翼云账号每个资源池下最多可创建200个主机组。 主机组下主机数量 您在每个主机组下最多可添加200个主机。 日志存储时间 日志支持保存1~365天，您可以在日志单元中进行设置。 快速查询数 您在1个日志单元中最多可创建50个快速查询。 仪表盘数量 一个天翼云账号最多可创建100个仪表盘。 数据加工任务 您在每个天翼云账号每个资源池下最多可创建10个数据加工任务。 数据转储任务 您在每个天翼云账号每个资源池下最多可创建10个数据转储任务。 告警规则数量 您在1个天翼云账号下最多可创建200个告警规则。

本小节主要介绍态势感知与其他云服务之间的关系。 与安全服务的关系 态势感知从企业主机安全（Host Security Service，HSS 2.0）等安全防护服务中获取必要的安全事件记录，进行大数据挖掘和机器学习，智能AI分析并识别出攻击和入侵，帮助用户了解攻击和入侵过程，并提供相关的防护措施建议。 与ECS的关系 态势感知为弹性云主机（Elastic Cloud Server，ECS）提供资产安全管理服务，结合HSS主机防护状态，全方位呈现当前ECS安全风险态势，并提供相应防护建议。 与OBS的关系 通过对象存储（Object Storage Service，OBS），您可以将SA日志存储至OBS桶中，确保日志不丢失，实现数据持久化。

平台提供了以下大模型API能力。 模型名称 模型简介 模型ID DeepSeekR1昇腾版 DeepSeekR1是一款具有671B参数大小的创新性大语言模型，由杭州深度求索人工智能基础技术研究有限公司开发。该模型基于 transformer 架构，通过对海量语料数据进行预训练，结合注意力机制，能够理解和生成自然语言。它经过监督微调、人类反馈的强化学习等技术进行对齐，具备语义分析、计算推理、问答对话、篇章生成、代码编写等多种能力。R1 模型在多个 NLP 基准测试中表现出色，具备较强的泛化能力和适应性。 4bd107bff85941239e27b1509eccfe98 DeepSeekR1昇腾版2 DeepSeekR1是一款具有671B参数大小的创新性大语言模型，该模型基于 transformer 架构，通过对海量语料数据进行预训练，结合注意力机制，经过监督微调、人类反馈的强化学习等技术进行对齐，具备语义分析、计算推理、问答对话、篇章生成、代码编写等多种能力。R1 模型在多个 NLP 基准测试中表现出色，具备较强的泛化能力和适应性。 7ba7726dad4c4ea4ab7f39c7741aea68 DeepSeekV3昇腾版 DeepSeekV3是DeepSeek团队开发的新一代专家混合（MoE）语言模型，共有671B参数，在14.8万亿个Tokens上进行预训练。该模型采用多头潜在注意力（MLA）和DeepSeekMoE架构，继承了DeepSeekV2模型的优势，并在性能、效率和功能上进行了显著提升。 9dc913a037774fc0b248376905c85da5 DeepSeekR1DistillLlama70B DeepSeekR1DistillLlama70B是基于Llama架构并经过强化学习和蒸馏优化开发的高性能语言模型。该模型融合了DeepSeekR1的先进知识蒸馏技术与Llama70B模型的架构优势。通过知识蒸馏，在保持较小参数规模的同时，具备强大的语言理解和生成能力。 515fdba33cc84aa799bbd44b6e00660d DeepSeekR1DistillQwen32B DeepSeekR1DistillQwen32B是通过知识蒸馏技术从DeepSeekR1模型中提炼出来的小型语言模型。它继承了DeepSeekR1的推理能力，专注于数学和逻辑推理任务，但体积更小，适合资源受限的环境。 b383c1eecf2c4b30b4bcca7f019cf90d Baichuan2Turbo BaichuanTurbo系列模型是百川智能推出的大语言模型，采用搜索增强技术实现大模型与领域知识、全网知识的全面链接。 43ac83747cb34730a00b7cfe590c89ac Llama213BChat Llama2是预先训练和微调的生成文本模型的集合，其规模从70亿到700亿个参数不等。这是13B微调模型的存储库，针对对话用例进行了优化。 96dc8f33609d4ce6af3ff55ea377831a Qwen7BChat 通义千问7B（Qwen7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen7B的基础上，使用对齐机制打造了基于大语言模型的AI助手Qwen7BChat。 fc23987da1344a8f8bdf1274e832f193 Llama27BChat Llama27BChat是Meta AI开发的大型语言模型Llama2家族中最小的聊天模型。该模型有70亿个参数，并在来自公开来源的2万亿token数据上进行了预训练。它已经在超过一百万个人工注释的指令数据集上进行了微调。 e30f90ca899a4b1a9c25c0949edd64fc Llama270BChat Llama 2 是预训练和微调的生成文本模型的集合，规模从 70 亿到 700 亿个参数不等。这是 70B 微调模型的存储库，针对对话用例进行了优化。 bafbc7785d50466c89819da43964332b Qwen1.57BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.57BChat版本。 bfc0bdbf8b394c139a734235b1e6f887 Qwen272BInstruct Qwen2 是 Qwen 大型语言模型的新系列。Qwen2发布了5个尺寸的预训练和指令微调模型，包括Qwen20.5B、Qwen21.5B、Qwen27B、Qwen257BA14B以及Qwen272B。这是指令调整的 72B Qwen2 模型，使用了大量数据对模型进行了预训练，并使用监督微调和直接偏好优化对模型进行了后训练。 2f05789705a64606a552fc2b30326bba ChatGLM36B ChatGLM36B 是 ChatGLM 系列最新一代的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM36B 引入了更强大的基础模型、更完整的功能支持、更全面的开源序列几大特性。 7450fa195778420393542c7fa13c6640 TeleChat12B 星辰语义大模型TeleChat是由中电信人工智能科技有限公司研发训练的大语言模型，TeleChat12B模型基座采用3万亿 Tokens中英文高质量语料进行训练。TeleChat12Bbot在模型结构、训练数据、训练方法等方面进行了改进，在通用问答和知识类、代码类、数学类榜单上相比TeleChat7Bbot均有大幅提升。 fdc31b36028043c48b15131885b148ce Qwen1.514BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.514BChat版本。 acfe01f00b0c4ff49c29c6c77b771b60 Llama38BInstruct Meta 开发并发布了 Meta Llama 3 系列大型语言模型 （LLM），包含 8B 和 70B 两种参数大小，Llama38BInstruct 是经过指令微调的版本，针对对话用例进行了优化，在常见的行业基准测试中优于许多可用的开源聊天模型。 bda59c34e4424598bbd5930eba713fbf Llama370BInstruct Meta 开发并发布了 Meta Llama 3 系列大型语言模型 （LLM），包含 8B 和 70B 两种参数大小，Llama370BInstruct 是经过指令微调的版本，针对对话用例进行了优化，在常见的行业基准测试中优于许多可用的开源聊天模型。 6192ed0cb6334302a2c32735dbbb6ce3 Qwen1.572BChat 通义千问1.5（Qwen1.5）是阿里云研发的通义千问系列开源模型，是一种基于 Transformer 的纯解码器语言模型，已在大量数据上进行了预训练。该系列包括Base和Chat等多版本、多规模，满足不同的计算需求，这是Qwen1.572BChat版本。 9d140d415f11414aa05c8888e267a896 Qwen1.532BChat Qwen1.532B 是 Qwen1.5 语言模型系列的最新成员，除了模型大小外，其在模型架构上除了GQA几乎无其他差异。GQA能让该模型在模型服务时具有更高的推理效率潜力。这是Qwen1.532BChat版本。 12d5a37bf1ed4bf9b1cb8e446cfa60b3 InternLM2Chat7B InternLM2Chat7B 是书生·浦语大模型系列中开源的 70 亿参数库模型和针对实际场景量身定制的聊天模型。InternLM2相比于初代InternLM，在推理、数学、代码等方面的能力提升尤为显著，综合能力领先于同量级开源模型。 50beebff68b34803bd71d380e49078f5 Qwen27BInstruct Qwen27BInstruct是 Qwen2大型语言模型系列中覆盖70亿参数的指令调优语言模型，支持高达 131,072 个令牌的上下文长度，能够处理大量输入。 0e97efbf3aa042ebbaf0b2d358403b94 QwenVLChat QwenVLChat模型是在阿里云研发的大规模视觉语言模型 QwenVL 系列的基础上，使用对齐机制打造的视觉AI助手，该模型有更优秀的中文指令跟随，支持更灵活的交互方式，包括多图、多轮问答、创作等能力。 e8c39004ff804ca699d47b9254039db8 StableDiffusionV2.1 StableDiffusionV2.1是由 Stability AI 公司推出的基于深度学习的文生图模型，它能够根据文本描述生成详细的图像，同时也可以应用于其他任务，例如图生图，生成简短视频等。 40f9ae16e840417289ad2951f5b2c88f DeepseekV2LiteChat DeepseekV2LiteChat是一款强大的开源专家混合（MoE）语言聊天模型，具有16B参数，2.4B活动参数，使用5.7T令牌从头开始训练，其特点是同时具备经济的训练和高效的推理。 0855b510473e4ec3a029569853f64974 Qwen2.572BInstruct Qwen2.5系列发布了许多基本语言模型和指令调整语言模型，参数范围从0.5到720亿个参数不等。Qwen2.572BInstruct模型是Qwen2.5系列大型语言模型指令调整版本。 d9df728b30a346afb74d2099b6c209aa Gemma29BIT Gemma29BIT是Google最新发布的具有90亿参数的开源大型语言模型的指令调优版本。模型在大量文本数据上进行预训练，并且在性能上相较于前一代有了显著提升。该版本的性能在同类产品中也处于领先地位，超过了Llama38B和其他同规模的开源模型。 4dae2b9727db46b7b86e84e8ae6530a9 Llama3.23BInstruct Meta Llama3.2多语言大型语言模型（LLMs）系列是一系列预训练及指令微调的生成模型，包含1B和3B参数规模。Llama3.2指令微调的纯文本模型专门针对多语言对话应用场景进行了优化，包括代理检索和摘要任务。它们在通用行业基准测试中超越了许多可用的开源和闭源聊天模型。这是Llama3.23BInstruct版本。 f7d0baa95fd2480280214bfe505b0e2e ChatGLM36B32K ChatGLM36B32K模型在ChatGLM36B的基础上进一步强化了对于长文本的理解能力，能够更好的处理最多32K长度的上下文。具体对位置编码进行了更新，并设计了更有针对性的长文本训练方法，在对话阶段使用 32K 的上下文长度训练。 98b6d84f6b15421886d64350f2832782 CodeGemma7BIT CodeGemma是构建在Gemma之上的轻量级开放代码模型的集合。CodeGemma7BIT模型是CodeGemma系列模型之一，是一种文本到文本和文本到代码的解码器模型的指令调整变体，具有70亿参数，可用于代码聊天和指令跟随。 fa8b78d2db034b6798c894e30fba1173 Qwen2.5Math7BInstruct Qwen2.5Math系列是数学专项大语言模型Qwen2Math的升级版。系列包括1.5B、7B、72B三种参数的基础模型和指令微调模型以及数学奖励模型Qwen2.5MathRM72B，Qwen2.5Math7BInstruct的性能与Qwen2Math72BInstruct相当。 ea056b1eedfc479198b49e2ef156e2aa DeepSeekCoderV2LiteInstruct DeepSeekCoderV2LiteInstruct是一款强大的开源专家混合（MoE）语言聊天模型，具有16B参数，2.4B活动参数。该模型基于DeepSeekV2进一步预训练，增加了6T Tokens，可在特定的代码任务中实现与GPT4Turbo相当的性能。 f23651e4a8904ea589a6372e0e860b10

本文介绍星辰MaaS智能体平台使用前的准备工作。 注册天翼云账号 在开通和使用星辰MaaS智能体平台之前，您需要先注册天翼云账号。 1. 注册账号，请参考账号中心注册天翼云账号账号中心操作指南 天翼云 2. 如需实名认证，请参考账号中心中国电信天翼云管理中心

业务场景对比 对比项 GeminiDB Redis 开源Redis 业务场景 GeminiDB Redis的特点： 关心重要数据安全。 关心系统稳定性，不希望高峰期间发生宕机。 关心数据一致性。 GeminiDB Redis适用的业务场景： 数据量小场景，GeminiDB Redis提供更低成本。 数据量大场景，开源Redis难以胜任，GeminiDB Redis完美驾驭。 开源Redis的特点： 对数据安全性要求低，接受核心数据丢失或被LRU挤出。 对稳定性要求低，接受OOM宕机发生。 接受多点访问数据不一致。 开源Redis适用的业务场景： 往往只能用于数据量小、数据有效期短的业务。 其他对比优势 对比项 GeminiDB Redis 开源Redis 成本 成本降低75%~90% GeminiDB Redis支持全量数据落盘，采用GaussDB基础组件服务，拥有极大价格优势。 硬件成本极高开源Redis的全部数据保存在纯内存介质中，且自身Fork机制导致内存使用率低。 最大容量 PB级数据量GeminiDB Redis采用存算分离架构，使得存储资源自由扩容的同时计算层资源也可以同步弹性伸缩，性能有保障。 百GB级数据量如果开源Redis集群持续增加数据量，一方面会导致硬件成本突增，另一方面其内部Gossip集群管理效率也将变得极低。 容量利用率 100% GeminiDB Redis采用纯自研架构，不受Fork问题影响，用户购买的持久化存储空间几乎全部可用。 物理压缩：对存储介质中的数据块整体进行二次压缩。 根据实际业务测试，String、Hash等常用结构在GeminiDB Redis实例中，存储空间占用仅为开源Redis的70%~85%。 只使用逻辑压缩 时延 平均时延差距不大，p9999表现有一定差距。 平均时延较低，p9999时延较低。 扛写能力 强 GeminiDB Redis支持多节点同时写入，且采用多线程架构，吞吐轻松翻倍。 弱 开源Redis集群中仅主节点可写，且属于单线程架构，业务高峰有OOM宕机风险。 数据可靠性 高 逐条命令实时落盘，底层三副本冗余存储，无数据丢失风险。 低 内存数据秒级落盘，且主从异步复制不及时，存在数据丢失风险。 数据一致性 强一致性 GeminiDB Redis实现了三副本强一致，多点访问无脏读风险。 弱一致性 开源Redis采用主从异步复制，多点访问存在数据不一致问题。 可用性 强 即使N1个节点同时故障，GeminiDB Redis实例依然可用。 中等 如果有一半的主节点发生故障，开源Redis集群将不可用。任意一对主从节点故障，开源Redis集群将不可用。 故障恢复 分钟级恢复，数据恢复时长与数据量无关 在全量数据下沉存储的Shared Everthting架构下，数据只需被可用节点接管即可，几乎不需耗时加载。 数据量越大，恢复耗时越久 数据物理分散在多个独立节点上，故障恢复需要将RDB快照从磁盘加载进内存，耗时久。 负载均衡 支持 细粒度数据分片，节点间实现动态负载均衡。 不支持 开源Redis需要依赖第三方组件。 扩容 平滑扩容 节点扩容：分钟级完成，业务秒级感知。 容量扩容：秒级完成，业务0感知。 Shared Everthting架构下，底层数据可被任一节点访问，扩容过程不发生数据拷贝搬迁，速度极快。 耗时长，对业务影响大 各节点本地内存装载数据分片，迁移意味着新节点的加入以及数据的拷贝搬迁，耗时长。 安全 高 GeminiDB Redis采用纯自研架构，不存在开源Redis安全漏洞问题。提供虚拟私有云、子网、安全组、DDoS防护以及SSL安全访问等多层安全防护体系，实现租户隔离和访问控制。 低 开源Redis内核不定期会爆出安全漏洞问题，如CVE202132761等。如版本升级不及时，随时有被恶意利用风险。网络环境安全级别取决于所使用的云服务质量。 运维 一站式服务 GeminiDB Redis提供成熟的迁移方案、实时监控、故障预警和数据库专家团队724小时支撑。 取决于所使用的云服务质量

天翼云支持哪些类型的物理专线？ 天翼云依托中国电信丰富的网络资源，云专线兼容底层IPRAN、MSTP、MPLS VPN、OTN等多种线路类型，可适配用户不同接入场景的地理位置和环境条件，满足用户多种组网需求。 物理专线支持的最大带宽是多少？ 支持1G/10G/100G等多种端口带宽规格；同时提供端口聚合和链路能力，实现专线带宽弹性扩容，帮助企业轻松应对大流量业务传输场景。如需帮助请联系客户经理咨询详细业务。 物理专线是否支持高可用部署？ 您可以通过负载冗余专线或主备冗余专线方式，实现物理专线的高可用。具体操作，请参见： 双专线负载方式实现客户站点与VPC互通 双专线主备方式实现客户站点与VPC互通 是否支持通过物理专线将本地的VLAN 延伸到VPC中？ 不支持。 天翼云云专线服务目前仅支持与用户本地网络进行三层互连。 物理专线的互联IP地址是什么含义？ 为了客户本地数据中心与天翼云资源池之间的通信，您需要为物理专线两端同时规划IP地址，且两个IP地址处于同一网段，可以直接通信，这两个IP地址被称为互联IP。 用户的互联IP通常有两个：本端互联IP、远端互联IP。 本端互联IP：天翼云资源池到本地数据中心的路由网关。 远端互联IP：本地数据中心到天翼云资源池的路由网关。

FAQ 1. 如何基于Ollama使用其它大模型？ 请参考ollama模型站支持的大模型，在云主机上面下载您想要下载的大模型。 plaintext ollama pull $modename 随后在Cherry Studio上面选择启用对应的大模型，相关操作参考下图。 2. 如何配置外部大模型？ 参考下图步骤，填入您获取的其它大模型调用的API密钥，启用相应大模型服务。 随后，在对话框中选择对应的大模型，即可使用对应大模型服务。 3. 如何启用联网搜索功能？ Cherry Studio目前已经支持的联网模型服务商有： Google Gemini 腾讯混元 智谱AI 注意 如果您想了解更多的Cherry Studio功能，请访问Cherry Studio文档。

本文基于Ollama和天翼云GPU云主机介绍使用OceanFS轻松部署DeepSeek模型的方法。 什么是DeepSeek? DeepSeek 是一个基于 Transformer 架构的大型语言模型（LLM），由深度求索（DeepSeek）公司开发。它能够处理自然语言理解、生成、翻译、问答等多种任务。在目前大模型主流榜单中，DeepSeekV3 在开源模型中位列榜首，与世界上最先进的闭源模型不分伯仲。 当前 DeepSeek 模型有多个版本，参数量从 1.5B、70B到671B不等，适用于不同的应用场景和计算资源。参数量越多，资源消耗越多，推理结果越有效。使用者可以根据自己实际需求选择不同模型版本。 注意 为维护良好的网络环境和公共秩序，禁止任何用户或机构利用天翼云平台从事违法活动、传播不良信息或实施违反社会公序良俗的行为。若发生此类行为，天翼云将依法采取必要措施，停止相关服务功能，并依法追究责任。 模型由DeepSeek公司提供，模型的结果仅供参考，并可能因不同的环境、数据或操作条件而有所不同，我们不对模型的任何结果负责。 什么是Ollama？ Ollama 是一个开源的 LLM（大型语言模型）服务工具，用于简化在本地运行大语言模型，降低大语言模型的使用门槛，使得不同水平的使用者均能在本地环境快速实验、管理和部署模型。它不仅仅提供了现成的模型和工具集，还提供了方便的界面和 API，使得从文本生成、对话系统到语义分析等任务都能快速实现。

计费项 计费说明 数据仓库节点 对您选择的节点规格计费，计费详情请参见 快照存储空间 数据仓库服务（DWS）提供了部分免费存储空间，用于存放您的快照数据，免费空间内不计费。当快照数据存储空间超过免费空间大小时，超出部分按照对象存储服务（OBS）的计费规则进行计费。 免费空间大小是您的集群的总存储空间大小，即单节点存储空间大小x节点数。 云数仓存储 用户在可选范围内自定义集群使用的存储类型与存储容量，采用存储资源独立计费的方式。 公网IP及带宽（可选） 数据仓库服务（DWS）集群支持绑定弹性公网IP，所需费用按照虚拟私有云（VPC）服务的弹性公网IP计费规则进行计费。计费详情请参见弹性IP

本节介绍了什么是DDoS高防（边缘云版）。 产品定义 DDoS 高防（边缘云版）是针对游戏、互联网及金融等业务遭受大流量 DDoS 攻击导致用户服务不可用的情况而推出的付费防护服务。该产品依托于丰富的边缘云清洗节点，采用自主研发的高性能负载均衡服务，可实现网络层、CC等应用层防护，保障客户在大规模流量攻击的同时业务稳定、安全运行。 产品架构 DDoS 高防（边缘云版）采用的是分布式架构，将防护能力赋能于更下沉的边缘节点，使用云原生为内核，结合智能调度，可以实现边缘就近清洗，动态扩容，可以满足业务突发、大规模流量攻击。 支持大规模流量清洗，清洗能力达到T级以上。 支持从网络层/传输层（L3/4）到应用层（L7）DDoS攻击的防护。 依托强大的自研防护集群优势，结合 AI 智能引擎持续优化防护策略、IP 画像、行为模式分析、Cookie 挑战等多维算法，实现大数据联动防护。 提供可视化管理界面，结合云原生、智能调度能力，实现资源动态扩容，满足三网防护需求。

本节介绍天翼云手机在订购方面的常见问题。 云手机的订购方式有哪些？ 天翼云手机支持三种订购方式： （1）营业厅内订购：请前往当地的电信营业厅咨询天翼云手机产品订购相关内容。 （2）应用内订购：天翼云手机App内提供“订购云手机”服务。 （3）天翼云网门户订购：可在天翼云网门户“天翼云手机”产品详情页前往控制台进行订购。 云手机需要购买带宽？ 云手机（政企版）支持单独购买带宽，具体带宽大小以购买为准。订购带宽可参考上网带宽。 云手机到期前有提醒吗？ 我们在您的云手机到期前提醒三次，分别为前7天、前3天，前一天和到期当天，以短信和邮件形式进行通知。 退订云手机前有哪些限制条件？ 关于产品退订规则说明，请参考退订规则 退订云手机后，退款如何返还？ 系统提示退订申请已提交，3个工作日内进行审核，审核结果将以短信告知，退订成功过后，现金支付部分将实时返还至您的现金帐户中，拓展券支付部分不予退还。 云手机政企版都有哪些资源池上线售卖？ 天翼云手机政企版提供多个资源池供您选择，您可以在创建云手机界面切换不同资源池，但各资源池的实际剩余资源情况可能会有所变化，请以实际情况为准。

本节介绍智算安全专区常见问题。 Q1. 大模型安全卫士是什么？ 大模型安全卫士是一款专为大模型安全设计的一站式防护产品，提供从开发、训练、部署到运营的全生命周期安全闭环，保护用户的智算基础设施。 Q2. 开通大模型安全卫士需要哪些要求？ 大模型安全卫士需要部署在和安装大模型的云主机所在的同一个虚拟私有云（VPC）内。 Q3. 大模型安全卫士能解决智算场景下哪些安全问题？ 有效拦截大模型推理过程中的潜在违规内容，对输入和输出的语义进行深度分析和检测，防止模型被利用进行恶意攻击或生成有害内容，强化了模型推理过程中的安全保障。 代理RAG业务系统请求，解析文件进行内容检测。保障语料库及生成内容的安全性、合规性，防止恶意攻击（如数据投毒、提示注入）、敏感信息泄露及生成有害内容。 支持开启模型推理的情况下检测聊天内容中的隐私信息并脱敏。

四、vLLM Benchmark 1. 前言 vLLM Benchmark 是 vLLM 框架用于评估和优化其推理性能的标准化测试工具集，核心作用是为大语言模型（LLM）的推理服务提供量化指标，帮助开发者优化模型部署策略。 2. 测试环境配置 如下图所示为测试环境拓扑，其中GPU云主机配置有4块GPU卡。部署DeepSeek的模型，安装vLLM推理引擎服务并启动；启动Open WebUI服务来接入到vLLM，实现从浏览器客户端登录系统进行问答；vLLM Benchmark用于进行性能压力测试，sharegpt dataset数据集用于性能压测过程的输入数据。 可以通过如下命令来安装vLLM Benchmark工具脚本： plaintext git clone cd vllm/benchmarks/ 3. 测试实践 使用vLLM Benchmark进行性能测试时可以指定sharegpt数据集。 Sharegpt数据集的所有问题均来自于真实的用户提问，更贴近实际应用场景，可以全面、真实地评估模型在实际应用场景中的表现。具体的指标和测试方法见下文。 如下所示为性能压测命令： plaintext python benchmarkserving.py model /root/modelpath/deepseekai/DeepSeekR1DistillQwen32B backend vllm datasetname sharegpt datasetpath /root/ShareGPTV3unfilteredcleanedsplit.json maxconcurrency 1 numprompts 50 命令参数解释如下： model：指定模型路径； backend：指定后端推理引擎类型； datasetname：指定数据集类型； datasetpath：指定数据集路径； maxconcurrency：指定并发数，默认为1； numprompts：指定总的请求数； 对应的测试结果如下所示： 指标说明： 测试结果中的具体指标含义如下所示： Output token throughput(tok/s）：输出 Token 吞吐量，单位为 tok/s，是衡量大模型服务生成效率的核心指标，指系统每秒能够生成的输出 token 数量。它直接反映模型的文本生成速度和系统的整体处理能力，是评估推理成本和服务商业价值的关键依据。 TTFT：Time to First Token，首 Token 延迟，是衡量大模型服务响应速度的核心指标，具体指从用户发送请求到系统生成第一个输出 。 TPOT：指排除首 Token 延迟后，生成每个后续输出 token 的平均耗时。计算公式为：总解码时间 / 输出 token 数量。例如，若 TPOT 为 50ms，则每秒可生成 20 个 token。 ITL：连续两个输出token之间的间隔时间，单位毫秒，反映生成稳定性。 指定输入输出token长度 当使用的数据集为random类型的时候，执行vLLM Benchmark压测命令的时候可以指定输入长度和输出长度，测试命令如下： plaintext python vllm/benchmarks/benchmarkserving.py model /root/modelpath/deepseekai/DeepSeekR1DistillQwen32B backend vllm datasetname random randominputlen 256 randomoutputlen 256 maxconcurrency 1 numprompts 50 进行上述测试时如果使用vllm启动的时候添加了servedmodelname参数以及apikey参数，测试的时候需要在上述命令中加入servedmodelname内容，并且在环境变量中添加OPENAIAPIKEYyourkey。

本节介绍了分布式消息服务RabbitMQ产品常见应用场景。 行业应用 RabbitMQ在需要高效、可靠的消息传递和处理的任何行业都有广泛的应用，常见行业及其实际业务场景如下。 电子商务：RabbitMQ可用于处理订单和库存管理，处理支付通知及其它与物流相关的消息。 金融服务：RabbitMQ可以用于处理实时交易数据、通知和报价，并支持金融机构之间的异步通信。 电信：RabbitMQ可用于处理电话呼叫记录、短信和多媒体消息的分发等。 物流和供应链管理：RabbitMQ可以用于跟踪货物的位置和状态，以及协调供应链中各个环节的消息传递。 社交媒体：RabbitMQ可以用于实现实时消息推送、聊天和通知功能，以及处理用户生成内容。 游戏开发：RabbitMQ可用于处理游戏中的多人互动、玩家间的消息传递和协作。 科学和研究领域：RabbitMQ可以用于分布式计算、任务队列和数据流处理。 RabbitMQ通常用于业务的应用解耦、错峰流控与流量削峰和异步通信场景。 应用解耦 RabbitMQ可以将应用程序之间的耦合度降低，使得系统更加灵活和可扩展。以下是一些使用RabbitMQ实现应用解耦的举例： 订单和库存管理系统：假设有一个在线商店，订单系统负责接收和处理用户的订单，而库存管理系统则负责跟踪库存并更新库存状态。通过使用RabbitMQ，订单系统可以将订单信息发送到一个名为"orderqueue"的消息队列中，而库存管理系统则监听该队列，并在收到订单消息时进行库存更新。这样，订单系统和库存管理系统可以解耦，并且可以独立地进行扩展和维护。 日志处理系统：在一个大规模的分布式系统中，各个服务都会生成大量的日志信息。为了对这些日志进行集中管理和分析，可以使用RabbitMQ作为日志消息的中间代理。每个服务将其产生的日志消息发送到RabbitMQ的一个名为"logqueue"的消息队列中，然后日志处理系统从该队列中消费日志消息，并进行相应的处理和存储。这样，每个服务的日志处理可以独立进行，互不影响。 流量控制系统：在一个微服务架构中，可能会有多个服务实例同时运行，当某个服务实例过载时，传统的负载均衡器无法有效地控制流量分发。通过使用RabbitMQ，可以实现基于消息的流量控制。每个服务实例将其当前的负载情况发送到一个名为"loadqueue"的消息队列中，一个负载控制器订阅该队列，并根据各个服务实例的负载情况来动态调整流量分发。这样，流量控制仍然可以在应用层面进行解耦。

背景信息 在云原生和大数据成本优化的大趋势下，分布式消息Kafka引入弹性存储功能，正是为了应对传统架构中“高成本、难扩展、利用率低”的痛点。通过弹性存储能力，实现存储成本的显著下降和资源的按需使用，使企业能够以更经济的方式处理海量流数据。弹性存储能力核心优势如下： 显著降低存储成本 存储费用通常常仅为超高IO云盘费用的30%左右。通过将不常访问的历史数据迁移到对象存储，企业可以在保留更长数据保留周期的同时，大幅降低总体拥有成本。 实现按需使用、弹性扩展 弹性存储解耦了计算与存储。对象存储具备近乎无限的扩展能力，无需预先规划容量。用户可以根据业务需求灵活延长数据保留时间（如从 7 天延长至 90 天甚至更久），而无需担心存储瓶颈。 提升资源利用率与运维效率 本地磁盘资源专注于服务高频访问的热数据，提升集群性能；冷数据由对象存储承载，减轻 Kafka服务端的存储压力。同时，减少了因存储不足而频繁扩容的运维负担。 支持更多数据应用场景 低成本的长期数据保留使得 Kafka 不仅可用于实时流处理，还可作为事件溯源、数据湖入湖前的缓冲层、合规归档等场景的统一数据平台，提升数据价值。

本章节介绍云原生API网关的定义。 概述 云原生API网关产品包含API网关和AI网关两个网关类型。API网关是一款面向现代应用架构设计的高性能网关解决方案，集成流量治理、安全防护、服务集成与可观测能力于一体。通过动态路由、插件热插拔、配置热更新等关键特性，实现对海量API请求的高效处理与灵活控制，全面适配微服务、Kubernetes、AI推理等多样化场景，助力企业构建稳定安全、可演进的API基础设施，全面提升系统的敏捷性与运维效率。AI网关是一款面向AI场景的高性能网关解决方案，统一代理大模型API、MCP Server和Agent API，可以作为AI应用与大模型服务、工具和其他Agent之间的桥梁，助力企业提升AI服务的集成效率和治理能力。 API网关 API网关在使用上，分为HTTP API、REST API、WebSocket API。 HTTP API 以路由为核心，适用于接口规范不统一的场景。推荐用于流量转发、Kubernetes Ingress、微服务间通信等应用。若您关注请求路由控制和流量管理，建议选择此类型。 REST API 遵循统一的OpenAPI 规范，适用于前后端协作、系统集成以及API的精细化管理。适合需要对外提供标准接口文档、SDK 等协作支持的场景。若您希望构建标准化、可治理的API接口体系，建议选择此类型。 WebSocket API 基于WebSocket协议，支持双向实时通信，适用于AI、IoT、即时通讯等对实时性要求高的场景。相较于传统HTTP接口，具备长连接和低延迟优势，已内置相关默认配置。若您的应用需实现高效的实时数据交互，建议选择此类型。 AI网关

换了个地方使用，云电脑响应变慢了怎么办？ 云电脑订购时，根据所选“常用地区”就近匹配资源，切换使用地可能导致网络传输距离变长，服务响应变慢。如因使用地变化大导致时延增加，建议重新订购，暂不支持切换地域。 云电脑内的游戏存档和数据如何保留？ 每台游戏云电脑提供独占的系统盘或数据盘（如有订购），关机后数据保留； 在云电脑有效期内，用户数据不丢失，且数据仅可由当台云电脑访问，无需担心账号、数据泄露； 可通过如第三方游戏平台提供的存档云同步功能进行跨端同步。 当前包月周期的可用时长不够了怎么办？ 可参考++订购操作指引++中【升级套餐说明】部分，通过升级套餐增加可用时长。 云电脑到期冻结了怎么办？ 可参考++订购操作指引++中【到期、续订说明】部分，及时续订云电脑。 游戏中出现鼠标卡视角、不断旋转等问题怎么办？ 请升级云电脑客户端，确保版本不低于v2.9.0。详细设置可参考上文“++鼠标模式自由视角++”功能说明。

本页重点介绍通过天翼云官网门户订购数据迁移实例的过程。 操作步骤 1、登入天翼云门户。 登录天翼云 2、进入数据传输服务DTS控制台。 在天翼云门户首页顶部菜单栏，点击“控制中心”进入【控制中心】页面。 在【控制中心】页面顶部的资源池下拉列表框中选择相应资源池，找到页面中的“数据库”服务列表，选择“数据传输服务DTS”，进入DTS控制台，默认进入概览页面。 或从其他数据库的“购买TeleDB数据库实例”页面，直接切换到【数据库生态工具】，选择“DTS”。 3、概览页点击“创建实例”，进入开通页进行实例创建。 在【概览】页面中，点击“创建实例”按钮，进入“购买TeleDB数据库实例”> "DTS"页面，进行如下设置或选择： 标题部分的设置或选择：“组件引擎”选择“DTS”，“区域”根据用户选择所在资源池固定，“计费模式”目前仅支持“包年/包月”。 进行“基础配置”部分的设置或选择：“可用区”按实际选择。 进行“资源配置”部分的设置或选择：“配置方式”可选择“引导模式”或“快捷模式”，引导模式让用户可以准确选择需要的源与目标数据库，同步拓扑和数据库架构等，从而准确识别最小链路规格；快捷模式下用户可直接选择链路规格，简化配置； 引导模式下：“场景功能”可选择“数据迁移”或“数据同步”，根据用户上云业务场景选择；“源数据库”可选“MySQL”、“PostgreSQL”、“DDS/MongoDB”或“SQLServer”，目标数据库的选择根据源数据库的选择可选DTS支持的对应链路；“机器类型”普通资源池默认不展示，国产化资源存在时，可根据不同的资源池支持的机器类型选择。 选择“数据迁移”>"DDS/MongoDB"时，新增“数据库架构类型”选择，可选择“副本集”或“分片”，选择“分片”后，新增“节点数量”的选择，数量的大小会影响“链路规格”可选择的规格范围；“链路规格”可选择"较小规格"、“标准规格”或“大规格”。 选择“数据同步”>"MySQL" 或“PostgreSQL”时，新增“同步拓扑”选择，可选择“单向同步”或“双向同步”，“双向同步”会影响可选择的规格范围；“链路规格”可选择"较小规格"、“中规格”、“标准规格”或“大规格”。 快捷模式下：“场景功能”可选择“数据迁移”或“数据同步”，“链路规格”可选择"较小规格"、“中规格”、“标准规格”或“大规格”。 进行“企业项目”部分的设置或选择： 对应的企业项目已创建的情况，直接在“企业项目”下拉列表中选择； 对应的企业项目不在下拉列表中的情况，则点击下拉列表下方“创建新的企业项目，请到企业管理配置”中的“企业管理”跳转到企业项目管理页面，完成企业项目的创建后，再重新进入服务开通页面选择企业项目。 进行“网络配置”部分的设置或选择：“配置方式”代表DTS实例资源采用什么方式来配置，可选择“使⽤⽬标数据库所在VPC”，将DTS实例将放在与⽬标数据库同⼀VPC下；或选择“直接指定VPC”，选择当前资源池下已有的VPC。 “使⽤⽬标数据库所在VPC”下：“选择实例”可选择当前资源池下已有的云上数据库实例，带出“虚拟私有云”、“子网”、“安全组”，可检查确认；若选择“资源配置”>“快捷模式”时，需要选择“目标数据库”，可选“MySQL”、“PostgreSQL”、“DDS/MongoDB”或“SQLServer”，从而选择实例。 “直接指定VPC”下：“连接方式”可选择“使用IPv4地址连接”或“使用IPv6地址连接”，选择后公网连接方式不一样，请根据数据库实例是否开通了IPv6地址来选择；“虚拟私有云”、“子网”、“安全组”根据当前资源池下已有的VPC来选择。 进行“实例配置”部分的设置：输入实例名称，若不输入将自动填充。 进行“购买量”部分的选择：选择“购买时长”和“购买数量”。 说明 为了保证开通数据库迁移实例的过程顺利，请预先准备好需要的网络资源和数据库资源。

本文介绍分区域分运营商回源功能的适用场景和配置说明。 功能介绍 如果您的域名有多个源站，且希望通过CDN加速实现多个源站之间负载均衡，您可以按照区域或者运营商划分源站，让不同区域或者运营商的客户端IP回不同的源，从而实现同运营商回源，或者就近回源。下图为分运营商回源的原理图，电信客户端用户经过CDN加速平台后回到电信源站，联通客户端用户经过CDN加速平台后回到联通源站。分区域回源原理类似。 适用场景 场景一：分区域回源 域名有多个源站，分别分布在北京、上海、广州三个区域，可以配置华北、西北、东北三个大区的所有省份的用户回北京源站；配置华东、华中这两个大区的所有省份的用户回上海源站；配置华南、西南这两个大区的所有省份的用户回广州源站。从而保证每个地区的用户都回就近的源站，同时也帮助源站解决负载均衡问题。 场景二：分运营商回源 域名有多个源站，分别是电信源站、联通源站、移动源站，可以配置联通用户回联通源站；配置移动用户回移动源站；配置电信及其他运营商用户回电信源站。从而保证电信、联通、移动的用户都能同运营商回源，其他小运营都回电信源站，解决跨运营商回源的问题。 场景三: 多个源站提供不同的内容，通过分区域回源实现不同地区看到不同的内容 例如：域名在国内和海外各有一个源站，国内源站响应中文网站，海外源站响应英文网站，可以配置国内用户回国内源站，海外用户回海外源站，从而实现国内用户访问中文网站，海外用户访问海外网站的效果。 场景四：分区域分运营商回源 例如：域名有多个源站，分别为源站1、源站2、源站3，可以配置福建电信、广西电信、广东电信回源站1；配置上海移动、浙江移动、江苏移动回源站2；其他区域和运营商回源站3。

天翼云大数据型物理机提供高带宽、大容量的存储和计算资源，是低时延、高性能、高可靠的大数据业务基础资源，用于提升大数据分析业务资源利用率，满足大规模数据处理、分布式计算和实时分析的需求，助力企业做出准确决策和优化业务运营，挖掘数据中的价值。 规格名称 CPU 内存（GB） 处理器 处理器主频（GHz） 本地磁盘 内网带宽（Gbps） 是否支持挂载云硬盘 physical.s5se.2xlarge1.1 2路32核 512 Intel 8378A 3.0 系统盘：2960GB（SSD）数据盘：12 12000GB（SATA） 50 不支持 physical.s5.2xlarge29 2路32核 768 Intel 8378A 3.0 系统盘：2480GB（SSD）数据盘：10 3200GB（NVMeSSD） 225 不支持

步骤二：微调DeepSeek模型 1. 启动LLaMAFactory服务 在完成云主机开通后，即可通过ssh连接到云主机命令行。模型及LLaMAFactory服务均已放置在/root目录下，且已完成配套环境安装，可直接运行。 plaintext 进入目录 cd /root/LLaMAFactory 启动webui服务 (也可通过nohup放到后台启动) llamafactorycli webui 在成功启动LLaMAFactory服务后，您将可以通过 访问到相关页面。 plaintext 访问服务 2. 配置基础大模型和微调方法 在成功进入LLaMAFactory页面后，您首先需要按照如图的内容进行页面语言，模型名称和模型路径的设置。 注意 模型预置在/root/DeepSeekR1DistillQwen7B目录下。 3. 配置微调数据集 在Train页面内，您需要配置用于微调训练的数据集。镜像内预置了alpaca格式的天翼云示例数据，您也可参考示例数据修改/root/LLaMAFactory/data/目录下的alpacazhctyun.json(微调数据集)和datasetinfo.json(数据集信息)两个文件，改用您自己的私有数据。 镜像内置两份数据集，单条内容示例如下： data/alpacazhctyun.json(天翼云文档数据集) plaintext { "instruction": "天翼云的通用型弹性云主机有哪些规格？", "input": "", "output": " 用户询问通用型云主机规格，首先需要明确通用型的定位是平衡计算和内存资源。根据产品文档，通用型以s7系列为代表，应当列举不同后缀规格及其配置差异，最后补充适用场景说明。 n通用型弹性云主机有多个规格，例如s7.small、s7.medium、s7.large、s7.xlarge等，每种规格提供不同的vCPU和内存配置，适合多种业务场景。" } data/alpacaenmedcalcbenchmax2k.json(医学计算数据集MedCalcBench) plaintext { "instruction": "A 16yearold female adolescent was referred to our hospital with severe hypertension (systolic pressure 178 mmHg), which was first detected 7 months prior to presentation during a routine annual physical ...", "input": "What is the patient's Creatinine Clearance using the CockroftGault Equation in terms of mL/min? You should use the patient's adjusted body weight in kg instead of the patient's actual body weight if the patient is ...", "output": " The formula for computing CockcroftGault is given by CrCl ((140 age) adjusted weight (gendercoefficient)) / (serum creatinine 72), where the gendercoefficient is 1 if male, and 0.85 if female..." } 4. 配置相关训练参数 在Train页面内，还有大量可修改的微调训练参数。如果您对他们还不够了解，可暂时不进行修改。其中，训练轮数与样本量级关联性较大，如果您的微调数据量很少，则可能需要设置较大的训练轮数，才能有效果。 5. 启动微调训练 点击最下方的开始按钮，即可基于上面选择的基础模型和微调数据集，启动模型微调训练。页面下方会显示实时的训练进度，训练日志和loss变化情况。 如果您的训练样本较多，单张A10显卡的24G显存很容易因为无法承载，而导致报错"CUDA out of memory"。此时，您需要将云主机变配到显存更大的机型规格，并开启DeepSpeed stage3进行模型参数分片，如下图所示。 同时，您还需要修改默认DeepSpeed配置中的部分参数，以保证训练正常进行。修改/root/LLaMAFactory/cache/dsz3config.json中的如下内容： plaintext "zerooptimization": { "stage": 3, "overlapcomm": true, "contiguousgradients": true, "subgroupsize": 1e9, "reducebucketsize": "auto", "stage3prefetchbucketsize": "auto", "stage3parampersistencethreshold": "auto", "stage3maxliveparameters": 1e4, //降低该参数以减少显存占用 "stage3maxreusedistance": 1e4, //降低该参数以减少显存占用 "stage3gather16bitweightsonmodelsave": true }

步骤二：微调DeepSeek模型 1. 启动LLaMAFactory服务 在完成云主机开通后，即可通过ssh连接到到云主机命令行。模型及LLaMAFactory服务均已放置在/root目录下，且已完成配套环境安装，可直接运行。 plaintext 进入目录 cd /root/LLaMAFactory 启动webui服务 (也可通过nohup放到后台启动) llamafactorycli webui 在成功启动LLaMAFactory服务后，您将可以通过 访问到相关页面。 plaintext 访问服务 2. 配置基础大模型和微调方法 在成功进入LLaMAFactory页面后，您首先需要按照如图的内容进行页面语言，模型名称和模型路径的设置。 注意 注意模型预置在/root/DeepSeekR1DistillQwen7B目录下。 3. 配置微调数据集 在Train页面内，您需要配置用于微调训练的数据集。镜像内预置了alpaca格式的天翼云示例数据，您也可参考示例数据修改/root/LLaMAFactory/data/目录下的alpacazhctyun.json(微调数据集)和datasetinfo.json(数据集信息)两个文件，改用您自己的私有数据。 镜像内置两份数据集，单条内容示例如下： data/alpacazhctyun.json(天翼云文档数据集) plaintext { "instruction": "天翼云的通用型弹性云主机有哪些规格？", "input": "", "output": " 用户询问通用型云主机规格，首先需要明确通用型的定位是平衡计算和内存资源。根据产品文档，通用型以s7系列为代表，应当列举不同后缀规格及其配置差异，最后补充适用场景说明。 n通用型弹性云主机有多个规格，例如s7.small、s7.medium、s7.large、s7.xlarge等，每种规格提供不同的vCPU和内存配置，适合多种业务场景。" } data/alpacaenmedcalcbenchmax2k.json(医学计算数据集MedCalcBench) plaintext { "instruction": "A 16yearold female adolescent was referred to our hospital with severe hypertension (systolic pressure 178 mmHg), which was first detected 7 months prior to presentation during a routine annual physical ...", "input": "What is the patient's Creatinine Clearance using the CockroftGault Equation in terms of mL/min? You should use the patient's adjusted body weight in kg instead of the patient's actual body weight if the patient is ...", "output": " The formula for computing CockcroftGault is given by CrCl ((140 age) adjusted weight (gendercoefficient)) / (serum creatinine 72), where the gendercoefficient is 1 if male, and 0.85 if female..." } 4. 配置相关训练参数 在Train页面内，还有大量可修改的微调训练参数。如果您对他们还不够了解，可暂时不进行修改。其中，训练轮数与样本量级关联性较大，如果您的微调数据量很少，则可能需要设置较大的训练轮数，才能有效果。 5. 启动微调训练 点击最下方的开始按钮，即可基于上面选择的基础模型和微调数据集，启动模型微调训练。页面下方会显示实时的训练进度，训练日志和loss变化情况。 如果您的训练样本较多，单张A10显卡的24G显存很容易因为无法承载，而导致报错"CUDA out of memory"。此时，您需要将云主机变配到显存更大的机型规格，并开启DeepSpeed stage3进行模型参数分片，如下图所示。 同时，您还需要修改默认DeepSpeed配置中的部分参数，以保证训练正常进行。修改/root/LLaMAFactory/cache/dsz3config.json中的如下内容： plaintext "zerooptimization": { "stage": 3, "overlapcomm": true, "contiguousgradients": true, "subgroupsize": 1e9, "reducebucketsize": "auto", "stage3prefetchbucketsize": "auto", "stage3parampersistencethreshold": "auto", "stage3maxliveparameters": 1e4, //降低该参数以减少显存占用 "stage3maxreusedistance": 1e4, //降低该参数以减少显存占用 "stage3gather16bitweightsonmodelsave": true }

与分布式缓存服务（DCS）的关系 分布式缓存服务（Distributed Cache Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DCS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。 与文档数据库服务（DDS）的关系 文档数据库服务（Document Database Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DDS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。 与翼MapReduce服务（MRS）的关系 MapReduce服务（MapReduce Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从MRS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到MapReduce服务表中。 与数据治理中心的关系 在数据湖治理中心（Data Lake Governance Center）中，数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。

应用场景 数据快递是一种海量数据传输解决方案，支持 TB 到 PB 级数据上云，通过硬盘（外置 USB 接口），向并行文件传输大量数据，解决海量数据传输网络成本高、传输时间长等难题。 智算场景：AI 场景的素材数据、原型数据等需要寄送到数据中心，投喂给智算平台，提升数据质量和模型效果。 原始数据迁移：把基因、石油、气象、IOT 等原始数据迁移到并行文件服务。 离线备份数据：将客户完整备份或增量备份发送到并行文件服务，实现可靠的冗余离站存储。 注意 专属资源的客户，拥有独立的机房设备，可采用邮寄硬盘到存储机房的方式。 准备工作 客户需要自助完成迁移数据存储到硬盘等存储介质上，建议客户将小文件压缩成大文件后再进行数据迁移。 存储介质邮寄到机房后，联系运维人员将硬盘插在可连接HPFS客户端的物理机上作为迁移机器。需要提前和运维人员确认硬盘数量和迁移服务器网络是否和HPFS互通。 操作步骤 1. 客户将硬盘快递到云公司机房的专属资源池集群。 2. 机房配置单独的数据迁移服务器用于读取客户硬盘数据。数据迁移服务器通过网闸与天翼云资源池隔离。 3. 客户硬盘插入到迁移服务器后，先进行安全扫描，确保客户数据无安全隐患。此前步骤，网闸处于关闭状态 4. 打开网闸，将客户硬盘数据拷贝到云内的服务器上。 5. 与客户联系确认数据准确。 6. 关闭网闸。 7. 在数据迁移服务器上，按客户要求将硬盘数据销毁和硬盘快递寄回。

本文介绍云日志服务查询和分析相关限制。 日志查询 限制项 说明 备注 日志采集到搜索时延 从日志产生到日志在控制台能被搜索到的时间间隔小于2分钟（非阻塞情况下）。 不涉及。 关键词个数 关键词，即单次查询时布尔逻辑符外的条件个数。每次查询最多30个。 不涉及。 操作并发数 您在1个天翼云账号下支持的最大查询操作并发数为20个。 如您有更大的使用需求，请提交工单申请。 返回结果 通过控制台查询：默认最多返回100条查询结果。 不涉及。 返回结果 通过API查询：默认最多返回5000条查询结果。 不涉及。 字段值大小 单个字段值最大为2KB，超出部分不参与快速分析，但是可以通过关键词查询。 不涉及。 查询结果排序 默认按照秒级时间从最新开始展示。 不涉及。 模糊查询 在查询语句单个词长度小于255字符 星号（）或问号（?）不能用在词的开头。 long数据类型和double数据类型不支持使用星号（）或问号（?）进行模糊查询 不涉及。 搜索时间范围 单次搜索，时间跨度默认不超过30天。 不涉及 表1 日志查询限制 日志分析 限制项 说明 备注 操作并发数 您在1个天翼云账号下支持的最大查询操作并发数为20个。 如您有更大的使用需求，请提交工单申请。 返回结果 通过控制台查询：默认最多返回100条查询结果；最大返回100MB的数据 不涉及。 字段值大小 单个字段值最大为2KB，超出部分不参与分析 不涉及。 分析时间范围 单次分析，时间跨度默认不超过30天。 不涉及 分析数据量 单次搜索分析最大支持扫描400MB日志数据（不包含缓存数据），超过部分截断，标记为搜索分析结果不精确。 不涉及 表2 日志分析限制注意 云日志服务为海量数据分析而优化，并非为实时事务处理设计。因此，我们不建议将其用于需要毫秒级响应、强一致性事务的核心业务场景，如交易、订单或库存管理。

1.2 CPU算力用于大模型推理的适用场景 CPU适用于以下大模型推理场景： 场景1: 大模型推理需要的内存超过了单块GPU的显存容量，需要多块或更高配GPU卡，采用CPU方案，可以降低成本； 场景2: 应用请求量小，GPU利用率低，采用CPU推理，资源划分的粒度更小，可有效降低起建成本； 场景3: GPU资源紧缺，CPU更容易获取，且可以胜任大模型推理。 2 天翼云EMR实例DeepSeekR1DistillQwen7B蒸馏模型部署实践 本节内容主要介绍如何在天翼云EMR实例上，基于Intel® xFasterTransformer加速库和vllm推理引擎完成模型部署，并展示相关性能指标。 2.1 服务部署 为了方便用户使用，天翼云联合英特尔制作了一键部署的云主机镜像，内置DeepSeekR1DistillQwen7B模型、vLLM推理框架、xFT加速库以及openwebui前端可视环境。您可在天翼云控制台选择下列资源池和镜像，开通云主机进行体验。 类型 可用资源 可用资源池 华东华东1az2、华东华东1az3 可用规格 c8e系列（最低内存需求32G） 可用镜像 DeepSeekvLLM英特尔AMX推理加速（CPU） 完成云主机开通后，推理服务会在5分钟内自动启动，您无需进行任何其他操作。 注意 如需在云主机外访问服务，您需要绑定弹性IP，并在安全组内放行22/3000/8000端口。

本文为您介绍海量文件服务OceanFS产品相关规格,带您更快了解产品能力。 存储类型 OceanFS容量型是基于“HDD+SSD”的文件存储，数据节点和元数据节点独立部署，提供纠删码数据冗余机制，保障数据可靠性和服务高可用，故障迁移无感知。是一款高性能、高性价比的文件存储产品，适用于企业办公、中小规模高性能计算、备份、日志存储等通用场景，不适用于对数据库、Kafka等对时延敏感的业务。 性能规格 参数 容量型 最大带宽 读：5GB/s 写：2GB/s 说明 读和写无法同时达到上述最大值，读写混合带宽最大5GB/s。 多台云主机可达到上述最大带宽，测试时建议使用多台云主机。 带宽大小与容量相关，但是由于有缓存，所以容量和性能的比例不容易体现。 最大IOPS 读：50000 写：10000 说明 IOPS大小与容量非线性相关。容量越大，性能越好，取决于实际压力情况。 最大OPS 读：3000 写：1000 时延 最低单路4K随机读写时延：10ms 说明 时延是指低负载情况下的最低延迟，非稳定时延。时延与容量无关。 单文件系统容量范围 按配置容量计费：100GB~4PB 按实际使用量计费：0~4PB 说明 单用户单地域默认容量配额为500TB，如需申请500TB以上文件系统，需要通过工单申请配额。

12 隐私权保护 天翼云不收集客户在TeleDB数据库中存储的信息。为了更好地改进产品和服务，用户同意天翼云代理可以收集、维护、处理和使用客户在使用本产品过程中产生的诊断性、技术性、使用及相关信息， 包括但不限于定期搜集系统日志、独特的系统或硬件识别码（“诊断信息”）。为便于本公司和第三方开发商改善其设计配合本产品使用的产品、硬件和服务，本公司并可向任何此类伙伴或第三方开发商提供与该伙伴或第三方开发商的产品、硬件和/或服务有关的诊断信息子集。如根据有关法律法规的规定导致天翼云不得再按照上述方式处理诊断信息，天翼云将按照有关法律法规的规定变更数据处理方式，并将通过满足法律法规的要求且在商业上合理的方式通知您，并获得您的同意。 13 免责与责任限制 1. 本产品经过详细的测试，但不能保证与提供的技术清单外的，所有的软硬件系统完全兼容，不能保证本产品完全没有错误。 2. 使用本产品风险由用户自行承担，在适用法律允许的最大范围内，对因使用或不能使用本产品所产生的损害及风险，包括但不限于直接或间接的数据丢失、个人损害、商业赢利的丧失、贸易中断、商业信息的丢失或任何其它经济损失，本公司不承担任何责任。 3. 对于因电信系统或互联网网络故障、计算机故障或病毒、信息损坏或丢失、计算机系统问题或其它任何不可抗力原因而产生损失，本公司不承担任何责任。 4. 用户违反本协议规定，对本公司造成损害的。本公司有权采取包括但不限于中断使用许可、停止提供服务、限制使用、法律追究等措施。 5. 对于从非本公司指定站点下载的本产品以及从非本公司发行的介质上获得的本产品，本公司无法保证该产品是否感染计算机病毒、是否隐藏有伪装的木马程序或者黑客产品，使用此类产品，将可能导致不可预测的风险，建议用户不要轻易下载、安装、使用，本公司不承担任何由此产生的任何法律责任。 6. 本《协议》所述明示担保，为担保的全部内容。在适用法律所允许的最大范围内，天翼云及其供应商提供的本“产品”和支持服务（如有）均为按现状及包含所有瑕疵状况下提供，不允诺其它不论是明示的、暗示的还是法定的任何保证和担保：包括但不限于本“产品”对特殊应用目的适销性或适应性，反应的精确性，结果的完整性，不含病毒及疏忽，针对本“产品”提供或不提供支持服务。

云专线(CDA)提供用户本地数据中心与天翼云VPC之间的连接服务。云专线产品在充分利用中国电信云网融合优势的同时,依托现有的IT基础设施,灵活搭建云上云下高速、低时延、稳定安全的专属连接通道。