天翼云CPU实例部署DeepSeek-R1模型最佳实践 2.2 模型使用 2.2.1 openwebui前端使用 镜像已内置openwebui,并已完成和vllm的连接配置,可直接通过以下地址进行访问: plaintext 注意 1. 首次打开页面时,您需要先完成管理员注册,以进行后续的用户管理。注册数据均保存在云实例的/root/volume/openwebui目录下。 2. 如果首次打开对话页面时没有模型可供选择,请您稍等几分钟让模型完成加载即可。 2.2.2 vllm api调用 镜像内置vllm服务可直接通过如下地址访问: plaintext 根路径 查询现有模型 其他api接口参阅vllm文档 注意 vllm服务配置有APIKEY,您可在云实例的/root/recreatecontainer.sh文件开头查看到当前值,并可进行修改以确保服务安全。 2.3 性能指标 借助于英特尔AMX的加速能力,本推理服务能够取得显著的性能提升,天翼云完成测试并给出参考指标如下: 基本参数 vcpu数:24(物理核12) 内存:64GB 硬盘:60G 通用型SSD 模型:DeepSeekR1DistillQwen7B(bf16) batch size:1 输入token个数:3060 输出token个数:256 性能数据 平均token生成速率: 首token时延: 在天翼云c8e系列24vcpu云主机上,启用AMX加速能力后,DeepSeek 7B蒸馏模型(BF16)推理速度能够超越9token/s,满足日常使用需求。 3 基于英特尔®至强®6处理器部署满血版DeepSeekR1 671B实践