论文《Vision INstruction Tuning》提出的端到端训练的多模态模型。作者使用 GPT-4 生成的指令跟随数据微调 LLaVA 可以达到比较惊艳的效果。

Visual Instruction Tuning（可视化指令）

BPE算法（Byte Pair Encoding），其目的是「使用一些子词来编码数据」。该方法已经成为了BERT等模型标准的数据预处理处理方式。

DeepSpeed-Chat是微软最新公布的一套工具，用于训练类ChatGPT模型。该工具基于微软的大模型训练工具DeepSpeed，使用它可以非常简单高效地训练自己的ChatGPT。

Deepspeed-chat训练指标以及代码解析

多模态机器学习，英⽂全称MultiModal Machine Learning（MMML） 模态（modal）是事情经历和发⽣的⽅式，我们⽣活在⼀个由多种模态（Multimodal）信息构成的世界，包括视觉信息、听觉信息、⽂本信息、嗅觉信息等等，当研究的问题或者数据集包含多种这样的模态信息时我们称之为多模态问题，研究多模态问题是推动⼈⼯智能更好的了解和认知我们周围世界的关键。

我们宣布开发了GPT-4，这是一个大规模的多模型模型，可以接受图像和文本输入，并生成文本输出。虽然在许多实际场景中不如人类能力强，但在各种专业和学术基准测试中，GPT-4表现出与人类水平相当的性能，包括在模拟的律师考试中获得了约前10％的考生得分。 GPT-4是一个基于Transformer的模型，预先训练以预测文档中的下一个标记。后训练对齐过程可提高其事实准确性和符合所需行为的表现。该项目的核心组件是开发基础架构和优化方法，这些方法在各种规模下表现出可预测性。这使我们能够根据使用的计算资源不到GPT-4的1/1,000来准确预测GPT-4的某些方面的性能。