概述

针对大模型服务访问场景，Model API提供高度灵活和智能的路由配置与调试能力，内置丰富的路由插件，提供消费者鉴权、限流熔断和AI可观测等能力。本文主要介绍如何通过Model API访问大模型服务。

前置条件

1. 已创建AI网关实例，具体操作，请参见创建网关实例。

2. AI网关实例与大模型服务网络已打通。如大模型服务为公网服务，需为AI网关实例所在VPC创建公网NAT网关，请参考NAT网关文档。

创建大模型服务

1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。

2. 在左侧导航栏，单击服务，然后单击创建服务。

3. 配置基本信息。

   在弹窗中先选择服务来源为“LLM服务”，随后编辑其余配置。

   ● 服务名称： 自定义服务名称。

   ● 大模型供应商： 支持息壤、DeepSeek、OpenAI兼容（OpenAI Compatible）、百炼。

   ● 服务地址(base_url)：大模型服务的BaseURL。

   ● API-KEY：访问大模型需要的API-KEY凭证。API-KEY的获取请咨询对应服务供应商。

4. 配置完成后单击确定，完成创建。

创建Model API

1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。

2. 在左侧导航栏，单击Model API，然后单击创建Model API。

3. 选择使用场景，并单击对应的创建按钮。

   不同场景对应的协议和系统自动创建的默认路由可能不同，当前支持文本生成、图片生成、文本排序（Rerank）、向量化（Embedding）。

4. 配置基本信息。

   ● API名称：自定义API名称，支持中文、英文、数字、下划线“_”、“-”，且不超过64个字符。

   ● 协议：每个协议对应该场景下的一组默认路由。

   ● 路由：协议对应的默认路由。

   ● BasePath：API的基本请求路径，默认为/。默认启用转发至后端服务时移除。

   说明  当转发至后端服务时移除开启后，请求转发至后端服务，系统会自动移除请求部分中的BasePath部分。如：

                  ● BasePath设置为/api

                  ● 原始请求路径为/api/chat/completions

                  ● 实际转发到后端的路径为/chat/completions

   ● 域名：访问API的域名，支持同时配置多个域名。

   ● 描述：API的描述信息，最长不超过256个字符。

   ● 后端服务：场景支持单模型服务、多模型服务。单模型服务：选择一个大模型服务，支持设置模型名称或透传模型名称；多模型服务：选择多个大模型服务并设置权重，支持设置模型名称或透传模型名称。

5. 确认配置参数并单击确定完成创建。

访问Model API

1. 打开AI网关控制台实例页面，在顶部菜单栏选择目标实例所在地域，并单击目标实例ID。

2. 在左侧导航栏，单击概览，然后单击接入点，获取AI网关入口地址。

3. 以OpenAI 兼容协议为例，通过AI网关入口地址访问Model API，如：

   curl --location 'http://{网关入口地址}/{Base Path}/chat/completions' \
     --header 'Content-Type: application/json' \
     --data '{
     "stream": false,
     "model": "deepseek-chat",
     "messages": [
       {
         "role": "system",
         "content": "You are a helpful assistant."
       },
       {
         "role": "user",
         "content": "你是谁？"
       }
     ],
     "temperature": 0.7,
     "top_p": 1,
     "max_tokens": 1024
   }'