最新动态

ELLE:​让预训练语言模型持续高效吸收新领域知识 | ACL 2022 Findings

论文动机 当前的预训练语言模型(PLM)通常使用固定的、不更新的数据进行训练,但在现实世界场景中,各种来源的数据可能会不断增长,如果我们想让PLM同时掌握旧数据和新数据中的知识,就需要让它能够持续地整合各个来源的知识。这个目标固然可以通过对所有新老数据重新大规模训练来实现,但这样的过程太过低效和昂贵。而如果我们只让模型在新数据上进行训练,它又很容易忘记旧数据中的知识,这种现象被称为灾难性遗忘。为此...
了解更多

特约专栏丨孙茂松教授——自然语言处理一瞥:知往鉴今瞻未来

人类语言(即自然语言)的重要性无论怎么讲都不为过。社会生物学之父爱德华·威尔逊曾说过:“语言是继真核细胞之后最伟大的进化成就”。科普畅销书《信息简史》的作者詹姆斯·格雷克也深刻地指出:“语言本身就是人类有史以来最大的技术发明”。这些断言带有科学哲学的意味,反映了现代人类对语言本质理解的不断深化。 众所周知,语言是人类所独有的,是思维的载体,是人类交流思想、表达情感最自然、最深刻、最方便的工具。其中...
了解更多
4
...