ELLE：让预训练语言模型持续高效吸收新领域知识 | ACL 2022 Findings
论文动机
当前的预训练语言模型（PLM）通常使用固定的、不更新的数据进行训练，但在现实世界场景中，各种来源的数据可能会不断增长，如果我们想让PLM同时掌握旧数据和新数据中的知识，就需要让它能够持续地整合各个来源的知识。这个目标固然可以通过对所有新老数据重新大规模训练来实现，但这样的过程太过低效和昂贵。而如果我们只让模型在新数据上进行训练，它又很容易忘记旧数据中的知识，这种现象被称为灾难性遗忘。为此...
