三种路由策略
创建服务组时选择一种策略:
策略 | 选型逻辑 | 适合的业务 |
成本优先 | 在效果达到基本要求的模型中,选择综合价格更低者 | 调用量大、简单任务占比高、对成本敏感,如客服问答、内容审核、摘要生成 |
质量优先 | 选择在该类任务上效果最好的模型 | 对结果质量要求严苛,如复杂推理、代码生成、高质量文案 |
均衡模式 | 综合效果与成本打分,选择得分最优的 | 通用业务,既关心成本也关心效果,没有明显倾向 |
说明
按量计费:三种策略可选,创建服务组时选定;
Token 套餐计费:策略默认为均衡模式,用户不可修改。
按请求内容自动择优
平台对每条请求独立判断,不按服务组“一刀切”。同一服务组内,简单问题和复杂问题可能由不同模型回答,您无需在应用侧做任何分流逻辑。
请求中携带的参数还会缩小可选模型的范围:例如开启思考模式时,只在支持思考的模型中选择;带结构化输出要求时,只在支持该能力的模型中选择。完整说明见 4.3 参数说明。
服务不中断的三重保障
故障自动切换:当命中的模型出现超时、服务端错误、连接失败或模型下线时,请求会自动转到基准模型,切换不重复计费,响应中返回最终成功的模型。
负载自动均衡:平台持续感知各候选模型的并发水位与响应速度,某模型负载升高时自动降低其被选中的概率,把流量导向更空闲的模型。整个过程对您无感,也不需要配置。
自动降级与恢复:可用模型只剩 1 个时,路由自动降级为直连该模型;可用模型为 0 个时,路由自动关闭。模型恢复后路由自动还原,无需手动操作。
成本可量化
按量计费域的成本总览提供四类数据:总计节约成本(预估)、基准模型成本与智能路由实际成本对比、调用成本趋势、累计节省趋势。支持按路由策略、服务组筛选,时间粒度可选小时、天、周、月。
统一入口,零改造接入
接口类型:仅支持对话(Chat)API,不支持 Responses API 及其他类型接口;
调用协议:支持 OpenAI 兼容与 Anthropic 兼容,切换协议无需改业务逻辑;
模型标识:固定为 ctyun-smart-router,只需替换 model 字段;
接入方式:控制台「接口快捷接入」可按您选择的密钥、模型、协议自动生成示例代码,复制即用。
两个计费域的区别
| 对比项 | 按量计费域 | Token 套餐计费 |
| 使用入口 | 服务组、接口快捷接入 | 编程 TokenPlan 的「智能路由Auto」 |
| 路由策略 | 成本优先 / 质量优先 / 均衡模式,可选 | 均衡模式(平台默认) |
| 基准模型 | 由您从候选模型中选定 | 平台指定 |
| 候选模型集 | 平台维护的 11 个模型 | 平台维护的 6 个模型 |
| 计费方式 | 按实际命中模型的标准价计费 | 按统一积分兑换率扣减套餐积分 |
| 成本总览 | 提供 | 不提供 |
| 凭证 | 服务组应用密钥 | 套餐专属 App Key |