(一)进入天翼云官网找到科研助手
进入天翼云官网,通过产品->人工智能->天翼云息壤智算->科研助手进入控制界面。
(二)创建专属开发机
进入科研助手界面后,往左边看,找到开发机菜单栏,点击 “创建开发机”。在资源配置的时选择合适配置的算力资源。
选好资源配置后,再挑框架版本,镜像选择openwebui-qwen3-pub-dataset。
(三)启动Qwen3服务
进入开发机界面后,启动控制台,进入juypter页面,打开命令行终端启动qwq环境并且切换到工作目录。
conda activate qwq
cd /home/batchcom/scripts/
python3 -m vllm.entrypoints.openai.api_server --model /home/dataset-hpfs-0/QwQ3/QwQ3-32B/ --host 0.0.0.0 --port 8002 --dtype auto --max-num-seqs 32 --max-model-len 1024 --tensor-parallel-size 4 --trust-remote-code --gpu-memory-utilization 0.8
输入对应的vllm模型服务启动命令。
更换模型路径参数启动相应的模型server。
模型服务启动界面。
运行单个、多对话提问脚本进行Qwen3的模型服务调用。
(四)运行结果展示