创建Model API
登录云原生API网关控制台,在顶部菜单栏选择资源池。
在左侧导航栏,选择 "AI网关-实例" ,进入实例概览。
在左侧导航栏,选择"Model API"。
单击左上角按钮 "创建Model API", 并在弹出的窗口中选择具体的使用场景并单击“创建”按钮。
在弹出的创建的配置页中,配置如下配置项,并单击确定。
| 配置项 | 描述 |
| API名称 | 自定义Model API名称 |
| 协议 | 选择协议,当前各个场景支持的协议: 文本生成(Text):OpenAI 兼容、阿里云百炼文本生成、豆包、Anthropic兼容、自定义HTTP 图片生成(Image):OpenAI 兼容、阿里云百炼图片生成、豆包、自定义HTTP 视频生成(Video):OpenAI兼容、阿里云百炼视频生成、豆包、自定义HTTP 语音合成(Audio):OpenAI兼容、阿里云百炼语音合成、自定义HTTP 文本排序(Rerank):阿里云百炼文本排序、vLLM、自定义HTTP 向量化(Embedding):OpenAI 兼容、阿里云百炼向量化、豆包、自定义HTTP 其他(Others):OpenAI兼容、自定义HTTP |
| 路由 | 按需选择路由,默认全选,路由选项与协议相关联,选择协议后,自动带出路由列表。 如选择自定义HTTP协议,则无需选择路由和服务,需创建API后自建路由。 |
| BasePath | 自定义API的基本路径,默认为 /。可选择是否启用转发至后端服务时移除,默认勾选。 说明 启转发至后端服务时移除后,当请求转发到后端服务时,系统会自动移除请求路径中的BasePath部分。例如:
|
| 域名 | 按需选择访问域名 |
| 描述 | Model API的描述信息 |
| 场景 | 单模型服务:选择一个LLM服务,并可以按需选择透传或指定模型名称 多模型服务:可选择多个LLM服务,并支持流量比例配置(该场景默认采取优先保障业务连续性策略,当某个服务请求异常时,为保障业务连续性,将默认重试其他可用服务,直至获取成功响应。) |
| 后端服务 | 非自定义HTTP场景,创建Model API时需要选择后端服务 |
Fallback服务 | 非自定义HTTP场景,可以按需选择fallback服务,当开启Fallback服务开关,请求后端服务返回429或5xx错误码时,则会按顺序调用Fallback服务,直至获取成功响应,或完成所有Fallback服务的重试尝试 |
| 超时 | 设置网关请求后端服务的超时时间,单位ms,当值为0时默认超时时间为30秒 |
默认路由
在不同使用场景下选择不同协议时,系统将自动创建默认路由。
说明
如选择自定义HTTP协议,则创建Model API时无默认路由。需在API创建完成后自定义创建路由。
文本生成(Text)
协议:OpenAI兼容
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| create-chat-completion | /chat/completions | POST | Creates a model response for the given chat conversation. |
| create-completion | /completions | POST | Creates a completion for the provided prompt and parameters. |
| model-responses | /responses | POST | Creates a response for the given input. |
协议:阿里云百炼文本生成
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| dashscope-text-generation | /api/v1/services/aigc/text-generation/generation | POST | Generate text content using DashScope text-generation model. |
协议:豆包
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| doubao-chat-completions | /api/v3/chat/completions | POST | Creates a Doubao chat completion for the given conversation. |
| doubao-responses-create | /api/v3/responses | POST | Creates a Doubao response resource. |
| doubao-responses-input-items | /api/v3/responses/:response_id/input_items | GET | Retrieves the input items of a Doubao response. |
| doubao-responses-delete | /api/v3/responses/:response_id | DELETE | Deletes a Doubao response. |
| doubao-responses-retrieve | /api/v3/responses/:response_id | GET | Retrieves a Doubao response by response_id. |
协议:Anthropic兼容
Anthropic协议专为Claude等Anthropic系列模型设计,提供原生的消息格式和交互方式。该协议适用于需要使用Anthropic原生API格式的应用场景。
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| create-messages | /messages | POST | Creates a message for the given chat conversation using Anthropic's native message format. |
图片生成(Image)
协议:OpenAI兼容
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| openai-image-generation | /images/generations | POST | Generate an image. |
| openai-image-edit | /images/edits | POST | Edit an image. |
| openai-image-variations | /images/variations | POST | Generate variations of an image. |
协议:阿里云百炼图片生成
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| dashscope-image-to-image-outpainting | /api/v1/services/aigc/image2image/out-painting | POST | Generate an image-to-image outpainting image. |
| dashscope-virtual-model-generation | /api/v1/services/aigc/virtualmodel/generation | POST | Generate a virtual model image. |
| dashscope-background-generation | /api/v1/services/aigc/background-generation/generation | POST | Generate a background generation image. |
| dashscope-image-tasks | /api/v1/tasks | GET/POST/PUT/PATCH/DELETE | Manage asynchronous tasks. |
| dashscope-image-to-image-synthesis | /api/v1/services/aigc/image2image/image-synthesis | POST | Generate an image-to-image synthesis image. |
| dashscope-multimodal-generation | /api/v1/services/aigc/multimodal-generation/generation | POST | Generate content via DashScope multimodal-generation endpoint. |
| dashscope-text-to-image-synthesis | /api/v1/services/aigc/text2image/image-synthesis | POST | Generate a text-to-image synthesis image. |
协议:豆包
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
doubao-image-generation | /api/v3/images/generations | POST | Creates a Doubao image generation task. |
视频生成(Video)
协议:OpenAI兼容
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| openai-video-create | /videos | POST | Create a video. |
| openai-video-list | /videos | GET | List videos. |
| openai-video-retrieve-content | /videos/:video_id/remix | GET | Retrieve rendered video content. |
| openai-video-remix | /videos/:video_id/remix | POST | Remix an existing video. |
| openai-video-delete | /videos/:video_id | DELETE | Delete a video. |
| openai-video-retrieve | /videos/:video_id | GET | Retrieve video metadata. |
协议:阿里云百炼视频生成
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
dashscope-video-generation-synthesis | /api/v1/services/aigc/video-generation/video-synthesis | POST | Generate a video-generation synthesis video. |
dashscope-image-to-video-synthesis | /api/v1/services/aigc/image2video/video-synthesis | POST | Generate an image-to-video synthesis video |
dashscope-video-tasks | /api/v1/tasks | GET/POST/PUT/PATCH/DELETE | Manage asynchronous tasks. |
协议:豆包
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| doubao-video-generation-create | /api/v3/contents/generations/tasks | POST | Creates a Doubao video generation task. |
| doubao-video-generation-list | /api/v3/contents/generations/tasks | GET | Lists Doubao video generation tasks. |
| doubao-video-generation-delete | /api/v3/contents/generations/tasks/:id | DELETE | Cancels or deletes a Doubao video generation task. |
| doubao-video-generation-retrieve | /api/v3/contents/generations/tasks/:id | GET | Retrieves a Doubao video generation task. |
语音生成(Audio)
协议:OpenAI兼容
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| openai-audio-transcriptions | /audio/transcriptions | POST | Transcribe audio into text. |
| openai-audio-translations | /audio/translations | POST | Translate audio into English text. |
| openai-audio-speech | /audio/speech | POST | Generate speech audio. |
协议:阿里云百炼语音合成
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| dashscope-multimodal-generation | /api/v1/services/aigc/multimodal-generation/generation | POST | Generate content via DashScope multimodal-generation endpoint. |
| dashscope-audio-asr-transcription | /api/v1/services/audio/asr/transcription | POST | Submit an audio ASR transcription task. |
| dashscope-audio-tasks | /api/v1/tasks | GET/POST/PUT/PATCH/DELETE | Manage asynchronous tasks. |
文本排序(Rerank)
协议:阿里云百炼文本排序
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| dashscope-rerank | /api/v1/services/rerank/text-rerank/text-rerank | POST | Rerank the given documents to be sorted based on query relevance |
协议:vLLM
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| vllm-rerank | /rerank | POST | Rerank the given documents to be sorted based on query relevance. |
向量化(Embedding)
协议:OpenAI兼容
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| create-embedding | /embeddings | POST | Creates an embedding vector representing the input text. |
协议:阿里云百炼向量化
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| dashscope-multimodal-embedding | /api/v1/services/embeddings/multimodal-embedding/multimodal-embedding | POST | Generates multimodal embeddings via DashScope. Converts text, images, or videos into unified floating-point vectors for video classification, image classification, and cross-modal retrieval. |
| dashscope-text-embedding | /api/v1/services/embeddings/text-embedding/text-embedding | POST | Generates text embeddings via DashScope. Converts text data into numerical vectors for semantic search, recommendation, clustering, classification tasks. |
协议:豆包
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| doubao-text-embedding | /api/v3/embeddings | POST | Generates text embeddings via DashScope. Converts text data into numerical vectors for semantic search, recommendation, clustering, classification tasks. |
| doubao-multimodal-embedding | /api/v3/embeddings/multimodal | POST | Generates multimodal embeddings via DashScope. Converts text, images, or videos into unified floating-point vectors for video classification, image classification, and cross-modal retrieval. |
其他(others)
协议:OpenAI兼容
| 路由名称 | 路径 | 方法 | 说明 |
|---|---|---|---|
| models | /models | GET/POST/PUT/PATCH/DELETE | Manage models. |
| files | /files | GET/POST/PUT/PATCH/DELETE | Manage files. |
| batches | /batches | GET/POST/PUT/PATCH/DELETE | Manage batches. |
| fine-tuning | /fine_tuning | GET/POST/PUT/PATCH/DELETE | Manage fine tuning jobs. |
更新Model API
登录 云原生API网关控制台,在顶部菜单栏选择资源池。
在左侧导航栏,选择 "AI网关-实例" ,进入实例概览。
在左侧导航栏,选择"Model API"。
单击目标Model API操作列的"编辑",在编辑Model API面板中修改BasePath、域名、描述、场景、后端服务、超时字段信息,字段含义详见创建Model API操作说明。
删除Model API
登录 云原生API网关控制台,在顶部菜单栏选择资源池。
在左侧导航栏,选择 "AI网关-实例" ,进入实例概览。
在左侧导航栏,选择"Model API"。
单击目标Model API操作列的"删除",弹框中输入Model API名称,并单击确定。