简介

避免Model API单一模型服务不可用导致无法正常对请求响应，可以通过Fallback服务将请求切换至备用模型服务，用来解决大模型厂商宕机、接口限流、服务过载、网络故障带来的业务中断问题。

触发条件

当主模型服务返回429/5xxHTTP错误码时，便会触发Fallback服务

配置AI Fallback

1. 登录云原生API网关控制台，在顶部菜单栏选择资源池。

2. 在左侧导航栏，选择 "AI网关-实例" ，进入实例概览。

3. 在左侧导航栏，选择"Model API"，可以在创建或者编辑Model API时开启Fallback

   1. 创建Model API：单击左上角按钮 "创建Model API", 并在弹出的窗口中选择具体的使用场景并单击“创建”按钮，在Model API创建页开启Fallback；

   2. 编辑Model API：单击目标Model API操作列的编辑，在Model API 的编辑页面开启Fallback。

4. 如配置多个Fallback服务，则会按顺序调用Fallback服务，直至获取成功响应，或完成所有Fallback服务的重试尝试。