创建智能路由(1) 本节介绍如何创建 VLLM 前缀匹配智能路由。 前置条件 前缀缓存匹配依赖分布式缓存服务 Redis 做为 KVCache 分布信息元数据存储服务,因此需要针对智算套件集群创建对应的 Redis 服务,并放开白名单和内网访问端口。 1. 通过控制台查看智算套件集群资源信息,包括“虚拟专有网络 VPC”、“安全组”、“集群子网”等。 如果集群 VPC 包含多个子网,可通过查看“虚拟专有网络 VPC”详情获取多个子网网段,后续创建 Redis 服务需要用到子网网段信息,如下: 2. 前往“分布式缓存服务Redis版”控制台,创建集群对应的 Redis 服务实例。 实例需求: a. Redis 版本大于等于 6.0; b. Redis 和智算集群处于同一 VPC 其它创建参数请结合集群业务需求进行修改。 3. 等待 Redis 服务创建成功,点击实例详情,并设置安全组和白名单,确保集群内服务可以访问 Redis 实例。 实例需求: a. Redis 实例安全组需要放开入方向 6379 端口流量; b. Redis 实例需要将集群子网网段添加到白名单; 1)点击查看实例详情 2)添加集群子网网段到 Redis 白名单 3)查看 Redis 实例安全组,并前往网络控制台修改安全组规则,添加放开入方向 6379 端口规则 点击修改可以查看安全组编码,复制并前往网络控制台 通过搜索查询到对应的 Redis 实例的安全组,并添加规则 至此,创建前缀缓存匹配路由所需的 Redis 实例创建并配置完毕。
来自: