四、大模型服务调用4.1 API 接口调用当前大 EP 方案中,模型信息端口与推理服务端口分离,默认端口设置如下:模型信息接口:http://[IP1]:1025/v1/models推理服务端口:3025推理服务 API 接口:http://[IP1]:3025/v1其中,[IP1]为步骤 2.1 中配置的 coordinator 服务部署节点的 IP 地址。
API凭证 主要用于统一管理平台添加节点认证使用。 l 单击“查看”时需要输入系统管理员admin密码、Access Key Secret、Access Key ID。 l “更新”、“清除”API凭证需要输入系统管理员admin密码,并且更新后,统一管理平台管理的该节点将会失效。 HA Key 主要用于配置HA时使用。 当用户通过Web界面配置HA的备节点时,备节点上的程序需要连接到指定的主节点上,再获取相关配置信息进行有效性校验,并在校验通过后才能修改主节点上的配置。
CUDA Device Query (Driver API) statically linked version Detected 1 CUDA Capable device(s) Device 0: "Tesla P100-PCIE-16GB" CUDA Driver Version: 8.0 CUDA Capability Major/Minor version number: 6.0 Total amount of global memory: 16276 MBytes (17066885120