摘要：

论文对百川系列模型中采用的对齐技术进行了详细分析。研究增强模型性能的关键组成部分，在对齐过程中包括优化方法、数据策略、能力增强和评估过程。该过程涵盖三个关键阶段：提示增强系统（PAS: Prompt Augmentation System）、监督微调（SFT）和偏好对齐。所遇到的问题、采用的解决方案和所做的改进均有详细记录。

Baichuan对齐包括三个关键阶段：提示增强系统（PAS），监督微调（SFT）和偏好对齐。 PAS阶段旨在通过自动化的提示工程（PE, Prompt Engineering）技术将用户查询转换为更易理解和可执行的指令，以供LLMs使用。 SFT阶段使LLMs能够利用大量高质量和多样化的数据进行对话和处理复杂任务。偏好对齐进一步将LLMs与人类价值观和偏好对齐。

增强提升：

大型语言模型在各种应用中的有效性很大程度上取决于提示的质量。已经有许多设计良好的提示可以显著提升LLM的性能。然而，依赖手动提示设计的方法往往缺乏可扩展性，对消费者用户来说学习曲线陡峭，需要投入大量时间。因此，探索自动提示工程机制的发展至关重要，这可以显著提升人工智能交互的效率和有效性。

我们设计了一个即插即用系统，用于自动生成提示补充，命名为提示增强系统（PAS）。总的来说，该管道根据用户的提示生成相应的补充内容，然后将提示与补充内容一起输入到主模型中。PAS通常补充以下内容方面：1）产品应用场景响应的要求。2）基于用户意图的非强制性扩展内容。3）响应格式约束，如“内容应该逻辑清晰、有序且易于用户理解”。

模型合并：

模型合并是人工智能领域的一项新兴技术，涉及将多个模型的参数结合在一起，每个模型针对不同任务进行优化，以创建一个更灵活和通用的模型。尽管模型合并是一个相对新兴的研究领域，但它正在迅速发展，并已经在各个领域展示了其效用。这项技术的一个显著应用是在增强基础模型方面。通过合并在不同下游任务上进行微调的模型，可以显著增强大型语言模型的能力。有关模型合并的深入探讨，我们建议读者参考一份合并算法的综合调查[96]。

在模型训练过程中的一个挑战是调优checkpoint的泛滥，这是由于不同的训练数据更新、超参数设置和正则化技术导致的。这些变化经常导致在不同领域出现不同的性能结果，这种现象通常被称为“跷跷板效应”，在一个领域的改进会导致另一个领域的恶化。模型合并提了一个有前途的解决方案，通过平衡不同任务之间的性能来减轻这种效应。

在实践中，我们从不同领域选择了表现最佳的模型，并应用了各种合并算法，包括线性、任务算术（task arithmetic）[38]和模型库（model stock）[40]，使用模型合并工具 MergeKit [32]。我们的实验结果表明，合并的模型通常在评估的领域中实现了更平衡的性能。在测试的算法中，模型库一直表现出最佳的整体性能。

数据：

对齐数据被广泛验证为LLMs最终性能的关键因素，包括提示响应对和偏好数据。 首先，我们开发了一个提示系统和一个分类模型，这形成了数据飞轮的基础。然后，我们详细阐述了数据构建中的关键步骤，主要关注于提示多样性和提示质量。此外，我们详细介绍了生成响应的各种技术和最佳实践。另外，我们提供了从构建偏好数据过程中获得的见解。