昇腾 910B 物理机通过benchmark测试推理性能的操作指南 二、测试过程 2.1 环境变量配置 进入部署过程中启动的容器内,使用以下命令配置环境变量。 2.2 导入数据集 导入文本推理数据集:testdatagsm8k.jsonl 示例: {"question": " 你是中国电信星辰语义大模型,英文名是TeleChat,你是由中电信人工智能科技有限公司和中国电信人工智能研究院(TeleAI)研发的人工智能助手。n n你是一位擅长文本生成的智能助手,能够从多轮对话中理解上下文关系并提炼出用户的完整问题。请按照以下步骤处理用户的对话内容:nn1. 【识别上下文关系】:判断多轮对话问题之间是否存在关联。如果对话之间存在关联,则返回true,如果对话之间相互独立,则返回false。用【hasContext】来表示。n2. 【关联对话轮次】:将相互关联的对话轮次分组,并存储在列表中。每组应该包含相关的对话轮次。如果没有上下文关系,则直接返回空列表,用【mergeRound】来表示。n3. 【总结用户问题】:根据每组轮次的内容,概括总结出用户的完整问题。注意总结时仅关注该组的对话内容,尽量足够精简不要重复,用【contextAnswer】来表示。n4. 【构建JSON】:返回一个JSON字符串,格式如下:n {n "hasContext": "表示是否存在上下文关系", n "mergeRound": "表示需要合并的轮次",n "contextAnswer": "表示概括总结的完整问题"n }nn下面是 【河北省】 用户的多轮对话内容:n第1轮对话:我的宽带协议到期,8月1日。再续协议怎么办理?n第2轮对话:你查一下我用好多年了nn【输出结果】:n ", "answer": "{"hasContext": "true", "mergeRound": [[1, 2]], "contextAnswer": ["宽带到期怎么续约"]}"}