管理Model API Model API是专为高效实现大模型代理而设计,提供AI代理、鉴权、可观测、策略与插件等功能。文本主要介绍Model API创建、更新、删除、调试等操作。 创建Model API 1. 登录云原生API网关控制台,在顶部菜单栏选择资源池。 2. 在左侧导航栏,选择 "AI网关实例" ,进入实例概览。 3. 在左侧导航栏,选择"Model API"。 4. 单击左上角按钮 "创建Model API", 并在弹出的窗口中选择具体的使用场景并单击“创建”按钮。 5. 在弹出的创建的配置页中,配置如下配置项,并单击确定。 配置项 描述 API名称 自定义Model API名称 协议 选择协议,当前各个场景支持的协议: 文本生成:OpenAI 兼容 图片生成:OpenAI 兼容 文本排序(Rerank):百炼文本排序、vLLM 向量化(Embedding):OpenAI 兼容 路由 按需选择路由,默认全选,路由选项与协议相关联,选择协议后,自动带出路由列表 BasePath 自定义API的基本路径,转发至后端服务时默认会移除BasePath 域名 按需选择访问域名 描述 Model API的描述信息 场景 单模型服务:选择一个LLM服务,并可以按需选择透传或指定模型名称 多模型服务:可选择多个LLM服务,并支持流量比例配置 后端服务 选择后端服务 超时 设置网关请求后端服务的超时时间,单位ms,当值为0时默认超时时间为30秒