searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

Qwen3 一键部署教程:天翼云科研助手实操指南

2025-05-20 08:31:48
15
0

(一)进入天翼云官网找到科研助手

进入天翼云官网,通过产品->人工智能->天翼云息壤智算->科研助手进入控制界面。
image.png
(二)创建专属开发机

进入科研助手界面后,往左边看,找到开发机菜单栏,点击 “创建开发机”。在资源配置的时选择合适配置的算力资源。
image.png

选好资源配置后,再挑框架版本,镜像选择openwebui-qwen3-pub-dataset。

image.png

(三)启动Qwen3服务

进入开发机界面后,启动控制台,进入juypter页面,打开命令行终端启动qwq环境并且切换到工作目录。

conda activate qwq
cd /home/batchcom/scripts/
python3 -m vllm.entrypoints.openai.api_server --model /home/dataset-hpfs-0/QwQ3/QwQ3-32B/ --host 0.0.0.0 --port 8002 --dtype auto --max-num-seqs 32 --max-model-len 1024 --tensor-parallel-size 4 --trust-remote-code --gpu-memory-utilization 0.8

image.png

输入对应的vllm模型服务启动命令。
image.png

更换模型路径参数启动相应的模型server。

image.png

模型服务启动界面。

image.png

运行单个、多对话提问脚本进行Qwen3的模型服务调用。

image.png

(四)运行结果展示

image.png


0条评论
0 / 1000
颜****逸
4文章数
0粉丝数
颜****逸
4 文章 | 0 粉丝
原创

Qwen3 一键部署教程:天翼云科研助手实操指南

2025-05-20 08:31:48
15
0

(一)进入天翼云官网找到科研助手

进入天翼云官网,通过产品->人工智能->天翼云息壤智算->科研助手进入控制界面。
image.png
(二)创建专属开发机

进入科研助手界面后,往左边看,找到开发机菜单栏,点击 “创建开发机”。在资源配置的时选择合适配置的算力资源。
image.png

选好资源配置后,再挑框架版本,镜像选择openwebui-qwen3-pub-dataset。

image.png

(三)启动Qwen3服务

进入开发机界面后,启动控制台,进入juypter页面,打开命令行终端启动qwq环境并且切换到工作目录。

conda activate qwq
cd /home/batchcom/scripts/
python3 -m vllm.entrypoints.openai.api_server --model /home/dataset-hpfs-0/QwQ3/QwQ3-32B/ --host 0.0.0.0 --port 8002 --dtype auto --max-num-seqs 32 --max-model-len 1024 --tensor-parallel-size 4 --trust-remote-code --gpu-memory-utilization 0.8

image.png

输入对应的vllm模型服务启动命令。
image.png

更换模型路径参数启动相应的模型server。

image.png

模型服务启动界面。

image.png

运行单个、多对话提问脚本进行Qwen3的模型服务调用。

image.png

(四)运行结果展示

image.png


文章来自个人专栏
文章 | 订阅
0条评论
0 / 1000
请输入你的评论
0
0