大语言模型

针对特定任务，对大语言模型进行优化，使其更符合你的应用场景。大语言模型管理为您提供统一的模型接入、代理与观测能力，支持将商业模型、开源模型或私有模型整合至同一平台，并通过模型代理策略实现成本优化、性能提升和稳定性保障。

核心概念

• 模型：对后端大模型服务的逻辑封装，定义了模型来源、访问凭证和基础配置。

• 模型代理：部署在高性能 LLM 网关上的代理服务，提供统一访问入口，并执行路由、容灾和并发控制等策略。

• 代理模式：单目标反向代理模式，绑定一个后端模型，所有请求直接转发至该模型，适用于简单、单一模型场景。

• 负载模式：多目标负载均衡模式，可绑定多个后端模型，根据轮询或加权策略分发请求，适用于组合使用多个模型的复杂场景。

查看模型列表

1. 登录智能体引擎控制台。

2. 左侧菜单选择模型，在页面顶部点击大语言模型标签页，查看已添加的模型列表。

   

页面右上角提供添加模型按钮和搜索模型名称搜索框，支持快速查找已有模型。模型以卡片形式展示，显示模型名称、服务提供商、API 端点和更新时间。

新建模型

1. 在大语言模型页面，点击右上角添加模型。

2. 在创建大语言模型对话框中填写模型配置信息。

3. 确认无误后，点击创建。

   

参数说明

说明：

• 服务提供商必须与凭证中配置的 API Key 相匹配，否则后续调用会失败。

• 如果凭证下拉框中没有可选凭证，可点击创建凭证快捷跳转至凭证管理页面，详情请参考 身份凭证管理。

服务提供商说明

选择不同服务提供商会影响 API 调用路径和格式。服务提供商必须与凭证中配置的 API Key 相匹配，否则后续调用会失败。

常见问题

模型调用失败怎么办？

• 确认服务提供商与凭证中配置的 API Key 相匹配。

• 确认 API 端点地址可以正常访问。

• 检查凭证是否已过期或被禁用。

凭证下拉框中没有可选凭证怎么办？

• 点击创建凭证快捷跳转至凭证管理页面，创建新的凭证后再返回模型创建页面。

• 详情请参考 身份凭证管理。