Continual Learning 有哪些场景：

场景一：Task-IL

任务增量学习，是最简单的Continual Learning的场景。在这种场景下，无论是训练阶段还是测试阶段，模型都被告知了当前的任务ID。

这种特性导致了一些task specific component的方法出现，如packNet提前为每个任务确定卷积的filter的掩码图。再如HAT会动态的根据任务为卷积训练掩码图。当给定任务ID后，则选择相应的掩码进行预测。

场景二：Domain-IL

Domain-IL相较于Task-IL在测试阶段增加了新的限制，即在预测阶段并不会告知任务的ID。模型需要在不知道任务ID的情况下，将数据正确的分类。

Domain-IL的场景，常常用来处理标签空间相同，但输入分布不同的问题。例如动漫中的老虎和现实中的老虎(虎年彩蛋)。

domain(一)：真实世界中的老虎

domain(二)：动画老虎

场景三：Class-IL

在Class-IL中新的类别不断地到来，模型需要正确地将输入分类到其对应地类别当中去。这是更为严格的场景，模型在接受输入后，需要正确的识别输入对应的task-ID，然后将数据粉到正确的类别当中去。

一个形象的例子，模型依次在task1、2、3、4、5上进行训练。

在预测阶段

Task-IL会告知task-ID，模型根据task-ID将数据分为第一类或者第二类。例如当告知task-ID为1时，模型只需要在0和1之间进行辨别。

Domain-IL无法获得task-ID, 但是它需要判断输入的标签是属于集合(0,2,4,6,8)还是(1,3,5,7,9).

而Class-IL需要给出具体的数字标签，即从0-9之间选择一个进行输出。

论文一：LwF: Learning without Forgetting

核心摘要

LwF(Learning without Forgetting) 是Incremental Learning领域早期发表的一篇文章，论文的核心要点包括

• 除了LwF本身外，还提出了Fine-tunine, Feature Extraction, Joint Training三种基本的对比方法，并对不同方法进行了分析与实验对比。
• 提出了使用知识蒸馏(Knowledge Distillation)的方法提供旧类的“软监督”信息来缓解灾难性遗忘的问题。并且发现，这种监督信息即使没有旧类的数据仍然能够很大程度上提高旧类的准确率。
• 对参数偏移的正则惩罚系数、正则形式、模型拓展方式等等因素进行了基本的实验对比。（不过具论文中结果这些因素的影响并不明显）。
• 

论文二：BiC（Large Scale Incremental Learning）

核心摘要

BiC基本遵循了iCaRL的训练范式，但仍然使用线性分类器作为预测阶段的分类器。BiC指出，类别增量学习中出现的灾难性的遗忘，很重要的一个因素是由于训练集样本不均衡导致的分类器偏执。文中抽象地解释了这种训练样本不均衡导致的分类器的偏执的原因。如下图所示，图中的蓝色虚线是所有的旧类特征无偏的分布(Unbiased Distribution)，绿色实线为新类样本的无偏分布，图中的蓝色实现则对应了无偏的分类器。而由于在学习新的类别的时候，我们仅仅保有一部分的旧类样本。这就导致实际训练过程中我们遇到的特征分布，可能是如蓝色实线一样的狭窄尖锐的分布，这就导致我们学习得到的分类器也会相对无偏的分类器向右偏移，导致有很大一部分旧类样本被分为新类了。

依照这种思路，BiC设置了一种Bias Correction的阶段，我们使用线性偏移来将新类的分布进行拉平与平移，从而使得实现与虚线重叠，得到无偏的分类器，具体的：

在使用类似于iCaRL的训练模式训练完成后，我们使用预先保留的新旧类平衡的训练集来训练两个参数，分别控制分类器的平移于缩放，即：