概述
概述 阿里巴巴开源的新一代通义千问模型Qwen2.5,在部分公开基准测试中表现优异。其创新的“混合推理”架构,将“快思考”与“慢思考”集成于同一个模型。对于简单问题,模型可以低算力快速响应;对于复杂问题,则可启动多步骤深度思考,旨在实现算力消耗与回答质量的平衡。
本最佳实践将指导您如何在应用托管平台的应用市场中,快速部署应用,并对外提供API调用服务,方便您即刻体验,开箱即用。
前置说明
该文档为应用托管平台控制台通过应用市场以推理api形态体验 Qwen3的说明,通过应用托管平台控制台,打开应用市场,创建对应的Qwen3推理api应用,使用 web 界面和 Qwen3 推理对话,Qwen3推理api应用支持8b、14b、32b不同参数量的模型体验。
本产品中的模型由第三方主体提供,尽管云公司已尽最大努力进行识别和维护,但仍无法保证模型的可用性。请客户按照该产品的服务协议使用该产品,做好甄别并对自行选择的服务负责。
使用前准备
天翼云账号注册:使用应用托管平台须具备天翼云官网账号。已有天翼云账号的直接登录即可,如无天翼云账号需先注册,注册流程可参考:注册账号。
使用前提:如需使用服务请先完成实名认证,请参考账号中心-实名认证。如需使用按需服务,请确认账号余额≥100 元。
操作指引
部署Qwen3应用
订购应用
登录应用托管控制台,选择左侧的应用市场点击进入页面。
在应用市场页面,选择目标应用,点击【开启应用】,进入应用部署页面。
输入API_KEY,选择访问策略及公网访问,勾选同意用户协议,点击【开启应用】,支付订单,即可完成Qwen3服务部署。
服务详情查看
进入应用托管租户控制台。
选择【应用实例】,进入应用实例列表页面。
刷新应用实例列表,等待新创建的应用进入到【运行中】状态后点击实例名称,进入实例详情页面。
服务调用
准备工作
API调用地址(base_url):在应用托管租户控制台,进入【应用实例】,进入应用详情,在访问信息模块,获取"外网地址”,API调用地址格式为“http://{外网地址}/v1/”
API认证(api_key):在应用托管租户控制台,进入【应用实例】,进入应用详情,点击查看配置,获取的api_key。
模型名称:qwen3:32b,qwen3:8b
使用python代码调用api接口
准备python代码
from openai import OpenAI import httpx c = httpx.Client() client = OpenAI( base_url='', # 准备工作的base_url api_key='', # 准备工作的api_key, http_client=c ) stream=False completion = client.chat.completions.create( messages=[ { 'role': 'user', 'content': '你是谁', } ], model="",准备工作的模型名称 stream=stream ) if stream: output_text = '' for chunk in completion: # print(chunk.choices[0].delta.content,end='') print(chunk.choices[0].delta.content or "", end="") content= chunk.choices[0].delta.content if content: # 检查 content 是否为 None output_text +=content print('\n','*'*100) print('接收到内容:\n',output_text) else: print(completion) print(completion.choices[0].message)执行python代码,Qwen3将给出答复
使用anythingllm连接api服务
下载anythingllm桌面端程序并安装。
打开anythingllm程序,选择模型提供方【Generic OpenAI】。
输入baseURL:准备工作的base_url,APIKey:准备工作的api_key,Chat Model Name:准备工作的模型名称,Token context windows大小,完成模型提供方配置。
输入问题,并发送问题,Qwen3将给出答复。
使用Dify v1.8.1连接api服务
部署dify v1.8.1,选择OpenAI-API-compatible插件进行安装。
点击系统配置,添加模型。
输入API endpoint URL:准备工作的base_url,API Key:准备工作的api_key,API endpoint中的模型名称:准备工作的模型名称,完成模型提供方配置。
返回工作室,创建空白应用。
选择聊天助手,输入应用名称,提交创建。
输入问题,并发送问题,Qwen3将给出答复。