天翼云定制版EvalScope(1) 一、总体说明 1.1 工具概述 EvalScope是一款专为大模型部署后性能评估设计的压力测试工具,支持多并发场景下的吞吐量、延迟、稳定性等核心指标测试。通过配置输入/输出Token长度、并发数等参数,可模拟真实业务负载,验证模型服务在不同上下文场景下的性能表现。工具基于Apptainer容器化部署,确保环境一致性,降低依赖冲突风险。 1.2 使用须知 网络配置 :被测模型服务需暴露HTTP接口(如 资源要求:测试过程可能产生高I/O和网络负载,建议在独立测试环境中执行,避免影响生产服务。 流式输出(SSE): 天翼云定制版EvalScope工具不支持流式输出,若需使用流式输出,请使用Evalscope最新官方版本,使用过程参考HCC性能测试工具EvalScope。 1.3 应用场景 模型部署验证:确认模型服务在指定并发和上下文长度下的响应能力。 性能瓶颈定位:通过多并发和Token配置组合,识别吞吐量下降或延迟突增的临界点。 服务稳定性测试:长时间高负载下验证服务是否存在内存泄漏、连接超时等异常。 二、物料准备 2.1 天翼云定制版EvalScope高性能容器SIF文件获取 基于Apptainer(原 Singularity)封装的EvalScope压测工具,已完成x86与arm架构适配,使用cthpc一键安装工具,秒级快速下发Apptainer高性能容器灌装,当前支持: 华东1、武汉41、上海15、华北2、华南2、西南1、西南2贵州、长沙42、杭州7。 cthpc 支持自动识别主机硬件架构,智能下发匹配当前架构的程序版本,无需人工区分架构、手动选择安装包,实现跨架构统一分发部署。 shell mkdir p /home/bench 使用 cthpc 工具极速下发 cthpc apptainer makecache cthpc apptainer install evalscopev1.0.1ctyun dir /mnt/nvme0n1/apptainer/ 三、测试过程
来自: