前提条件
按量计费域
已注册天翼云账号并完成实名认证,已开通星辰TokenHub 服务,并已开启智能路由服务;
候选模型集由平台统一维护,不支持自行增减;未开通或后续退订的模型不会被路由选中,不要求全部开通;
候选模型不少于 2 个;可用模型剩余 1 个时,智能路由自动降级为直连模式;可用模型为 0 个时,智能路由不可用,请求会直接报错。
Token 套餐计费
已购买编程 TokenPlan(个人版)套餐,套餐在有效期内且积分充足;
无需为候选模型单独开通按量计费或模型服务,路由调用直接消耗套餐积分。
说明
按需的服务组创建后,如果您退订了池内某个模型,该模型会被视作不可用,可能触发降级或报错提示;重新开通后自动纳入候选集。
请求限制
仅支持通过对话(Chat)API 调用智能路由,不支持 Responses API;
仅支持上下文长度小于 32K tokens 的纯文本请求,不支持图片或视频输入;
不支持与上下文缓存功能一起使用。
除上述限制外,还需注意:
| 限制项 | 说明 |
| 上下文超限 | 超过 32K tokens 的请求直接报错,不会触发模型切换,需在应用侧截断或拆分 |
| 多模态输入 | 携带图片、视频等内容的请求会被拒绝 |
| 流式输出 | 已开始输出内容后中途出错,不会切换模型 |
参数说明
请求参数分四类,其中“影响选型的参数”会缩小可选模型范围:
| 类别 | 参数 | 说明 |
| 必填 | model | 固定填 ctyun-smart-router |
| 必填 | messages | 纯文本对话消息,不支持多模态内容 |
| 常用生成参数 | stream、temperature、top_p、max_tokens 等 | 原样透传给实际命中的模型;stream 控制是否流式返回 |
| 影响选型 | thinking | enabled:只在支持思考模式的模型中选择,并自动开启思考;disabled:倾向选择不支持思考的模型;auto:在所有模型中选择 |
| 影响选型 | reasoning_effort | 只在支持该参数的模型中选择 |
| 影响选型 | response_format | 只在支持结构化输出的模型中选择 |
| 不支持 | top_logprobs、logit_bias、stop、tool_choice、parallel_tool_calls、logprobs | 设置后接口报错,并在错误信息中提示具体参数名 |
说明
如果您的应用依赖上述不支持的参数(例如依赖 stop 控制输出结尾、依赖 tool_choice 强制函数调用),请改为直接调用指定模型,或调整业务逻辑后再接入智能路由。
限流说明
智能路由按路由入口与命中模型两个维度分别校验配额,任一维度额度不足都会返回 429:
| 维度 | 校验对象 | 说明 |
| 路由入口 | ctyun-smart-router | 按该入口在您账号下的额度(TPM/RPM)校验,在路由决策前完成 |
| 命中模型 | 实际命中的模型 | 按量计费域下,路由到特定模型后,将同时消耗该模型在您账号下的限流额度 |
按量计费域沿用现有按量限流体系;Token 套餐域沿用套餐现有限流设置;
触发限流时接口返回 429,不会切换到其他模型;
如需提升配额,请提交工单说明目标额度与业务场景。
其他说明
响应返回实际命中的模型;发生故障切换时,返回最终成功响应的模型;
路由调用按实际路由到的模型计费,内测期间路由模型本身不收费(详见 5.4);
智能路由不支持与上下文缓存同时使用;
成本总览数据为预估值,实际以账单为准;仅按量计费域提供,且仅主账号可见。