网关代理
更新时间 2025-11-14 15:17:00
最近更新时间: 2025-11-14 15:17:00
本节介绍如何配置网关代理。
网关代理的作用是在大模型防护系统开启一个代理端口,原请求大模型的请求需主动请求代理端口,由代理服务判定输入内容合规后再转发到真正的大模型接口,并按照配置决定是否对大模型返回的响应进行合规性检测。
主要用于无法使用透明代理的场景,如
非自建大模型,如使用的云厂商提供的API接口。
大模型节点使用严格,禁止安装其他服务。
内容安全代理
内容安全代理主要用于代理大模型的对话接口,如“/v1/chat/completions”接口,从而对用户的提问和大模型的回答进行合规性检查。
登录大模型安全卫士实例。
在菜单栏选择“资产中心 > 模型代理 > 网关代理”,单击“新建代理”。
配置代理参数。
单击“确定”。
语料安全代理
登录大模型安全卫士实例。
在菜单栏选择“资产中心 > 模型代理 > 网关代理”,单击“新建代理”。
输入代理名称、监听地址(0.0.0.0)、监听端口(11439)、大模型API地址,代理类型选择“检索增强生成”,选择“默认策略”,单击“确定”。
客户的代理模型上传文件,再点击“内容安全 > 语料安全 > 文件检测”。该页面展示上传的文件,说明代理模型设置成功。