摘要 当前的长上下文大型语言模型（LLMs）可以处理多达 100,000 个令牌的输入，但难以生成超过甚至 2,000 字的输出。通过控制实验，我们发现模型的有效生成长度本质上受到在监督微调（SFT）期间所见样本的限制。换句话说，它们的输出限制是由于现有 SFT 数据集中的长输出示例稀缺。为了解决这个问题，我们引入了 AgentWrite，一个基于代理，将超长生成任务分解为子任务，使现成的LLMs能够生成超过 20,000 字的连贯输出。利用 AgentWrite，我们构建了 LongWriter-6k 数据集，包含 6,000 个 SFT 数据，输出长度从 2k 到 32k 字不等。通过将此数据集纳入模型训练，我们成功地将现有模型的输出长度扩展到超过 10,000 字，同时保持输出质量。我们还开发了 LongBench-Write，一个全面的基准，用于评估超长生成能力。 通过 DPO 进一步改进的我们的 9B 参数模型，在这个基准测试中达到了最先进的性能，甚至超越了更大规模的专有模型。总的来说，我们的工作表明现有的长上下文LLM已经具备了更大的输出窗口的潜力——你所需要的是在模型对齐

VLLM安装过程

介绍了一种名为“Buffer of Thoughts”（BoT）的新型思维增强方法，旨在提高大型语言模型（LLMs）在各种任务上的准确性、效率和鲁棒性。

Buffer of Thoughts

Rope旋转位置编码