近日,我组有10篇论文被自然语言处理领域顶级国际会议“自然语言处理实证方法会议”(The 2018 Conference on Empirical Methods in Natural Language Processing,EMNLP 2018)录用,它们分别是:
• 长文:Automatic Poetry Generation with Mutual Learning(硕士生矣晓沅,指导教师孙茂松教授),直接量化建模诗歌的不同评价指标,同步训练两个不同的生成器来模拟诗歌写作学习者的相互学习借鉴过程,有效提升了生成诗歌的多样性、语义丰富程度和新颖性。
• 长文:Stylistic Chinese Poetry Generation via Unsupervised Style Disentanglement(博士生杨成,指导教师孙茂松教授)针对中国古诗生成模型缺乏多样性的普遍性问题,提出了一种引入互信息为约束的无监督生成模型,对于同一输入,可以生成多种风格的不同输出。
• 长文:Improving the Transformer Translation Model with Document-Level Context(博士生张嘉成,指导教师刘洋副教授、孙茂松教授),针对基于自注意力的神经机器翻译模型,提出使用上下文编码器和上下文注意力机制融入篇章信息,能够缓解篇章依赖问题并显著提升翻译质量。
• 长文:Legal Judgment Prediction via Topological Learning(本科生钟皓曦和硕士生郭志芃,指导教师刘知远副教授、孙茂松教授),基于法律预测任务中潜在的逻辑推导关系,提出将逻辑关系抽象为有向无环图的学习方法,提高了模型在不同任务上的预测能力。
• 长文:Cross-lingual Lexical Sememe Prediction(博士生岂凡超和林衍凯,指导老师孙茂松教授、刘知远副教授),提出跨语言的词汇义原预测任务,并通过融合双语词向量学习和引入中文义原信息的方法,实现了跨语言词汇义原的有效预测。
• 长文:Hierarchical Relation Extraction with Coarse-to-Fine Grained Attention(博士生韩旭和本科生于鹏飞,指导教师刘知远副教授、孙茂松教授),将知识图谱中关系的层次结构信息引入关系抽取,在不同的关系层次上构建不同粒度的注意力机制,缓解远程监督的噪音问题,特别是在样例较少的长尾关系上效果突出。
• 长文:Language Modeling with Sparse Product of Sememe Experts(本科生顾逸宏、闫俊和朱昊,指导教师刘知远副教授、孙茂松教授),创造性地将词汇的义原知识引入神经网络语言模型。该模型在预测下个词的分布时,先预测词的义原(sememes)分布,然后预测词义(senses),最终边缘化词义概率得到每个词(word)的概率,有效提升了自然语言深度学习模型的可解释性与鲁棒性。
• 短文:FewRel: Large-Scale Supervised Few-shot Relation Classification Dataset with State-of-the-Art Evaluation(研究生韩旭、本科生朱昊、于鹏飞和王子云,指导教师刘知远副教授、孙茂松教授),构建了一个大规模少次关系分类数据集,并且在这个数据集上对最先进的少次学习算法进行了系统评估。实验表明,当前少次学习算法在该数据集上的表现远不及人类水平。该数据集样本具有极强的多样性,需要模型具有一定逻辑推理能力才能成功完成任务。该数据集以及相应模型实现有望推动未来少次学习与关系分类的研究发展。
• 短文:Put It Back: Entity Typing with Language Model Enhancement(本科生辛极,指导教师刘知远副教授、孙茂松教授),针对实体分类中远程监督的噪声干扰问题,引入语言模型来考虑类别标签和上下文句义的相符程度,有效地降低噪声干扰、提升模型分类准确度。
• 演示:OpenKE: An Open Toolkit for Knowledge Embedding(博士生韩旭和北京师范大学本科生曹书林,指导教师刘知远副教授、孙茂松教授、李涓子教授),提出知识表示学习平台OpenKE,覆盖TransE、 ComplEx等9个知识表示学习的经典模型,提供Freebase等大规模知识图谱的预训练向量,提出新的负采样算法,实现高性能计算,系统封装良好,易于扩展新的知识表示学习模型。
EMNLP是自然语言处理领域顶级国际会议,受到学术界和产业界的高度关注,每年吸引世界各国近千名学者交流自然语言处理发展前沿。EMNLP 2018将于10月31日-11月4日在比利时布鲁塞尔(Brussels, Belgium)召开。