开启模型推理引擎
更新时间 2025-11-14 15:17:06
最近更新时间: 2025-11-14 15:17:06
如果想获得更好的防护效果，建议开启“模型推理引擎”。
准备工作
开启模型推理引擎的前提是配置 “基础模型”。
首先需要准备一个大模型，建议使用 “Qwen/Qwen2.5-32B-Instruct” 或其量化版本 “qwen2.5:32b-instruct-q4_K_M”。
说明
用户也可以使用其他32b以上的模型。相比之下，DeepSeek和QWen3这类具有强制思考机制的模型，防护效果相对更优，但检测时间会更长。用户可结合自身实际需求，在这两者之间进行选择。
测试网络连通性
根据模型信息和模型提供地址信息拼接一条Curl命令，用于测试网络连通性和模型是否正确。
以调用硅基流动接口举例：
curl --location 'https://api.siliconflow.cn/v1/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-XXXX' \
--data '{
"model": "Qwen/Qwen2.5-32B-Instruct",
"messages": [
{
"content": "你好",
"role": "user"
}
]
}'下面解析这段Curl命令，填入到“系统管理 > 模型设置 > 基础模型设置”中。
基础模型设置说明：
| 配置项 | 配置说明 |
|---|---|
| 模型接口地址 | https://api.siliconflow.cn/v1/chat/completions：这个链接是对话接口，去掉后面的/chat/completions，保留服务地址和根路径，如https://api.siliconflow.cn/v1添加到“模型接口地址”的输入框。。 说明 此处通常是/v1，但实际情况也可能有所不同。只需要去掉/chat/completions，前面全部保留即可。 |
| API密钥 | --header 'Authorization: Bearer sk-XXXX'：复制 sk-XXXX填入“API密钥”输入框。 说明
|
| 模型名称 | "model": "Qwen/Qwen2.5-32B-Instruct"：注意这里的模型名称要完全一致的填入 “模型名称” 输入框。 |
填写无误后，单击“测试连接”，稍等几秒钟弹窗“连接测试成功”后，点击“保存设置”即可。
