创建智能路由(1) 创建智能网关 查看智能网关创建文档,根据文档创建智能网关。 创建推理应用 查看创建 vLLM GPU 单机任务文档,根据文档创建推理应用。注意:请将推理应用数调整大于 1,用以后续验证路由功能。 创建智能路由 1)查看推理应用列表,选择 vLLM 框架的推理应用,并点击查看推理应用详情,例如下图中的实例“inference46rifi”。 2)查看推理应用详情,并点击页签“智能路由”切换到智能路由页签。 3)点击“创建”,选择之前创建的智能网关和 Redis 实例,路由规则选择【前缀缓存感知】,点击“确定”按钮,创建智能路由。 4)点击左上角刷新按钮,查看智能路由创建状态,状态为“运行中”,则创建成功。
来自: