【AI理论学习】语言模型：从Word Embedding到ELMo

本文主要介绍一种建立在LSTM基础上的ELMo预训练模型。2013年的Word2Vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。ELMo的工作对于此，提出了一个较好的解决方案。不同于以往的一个词对应一个向量，是固定的。 在ELMo世界里，预训练好的模型不再只是向量对应关系，而是一个训练好的模型。使用时， 将一句话或一段话输入模型，模型会根据上线文来推断每个词对应的词向量。这样做之后明显的好处之一就是对于多义词，可以结合前后语境对多义词进行理解。比如apple，可以根据前后文语境理解为苹果公司或一种水果。可以说，ELMo的提出意味着从词嵌入（Word Embedding）时代进入了语境词嵌入（Contextualized Word-Embedding）时代。

ELMo原理

ELMo来自论文Deep contextualized word representations，它是”Embeddings from Language Models“的简称。从论文题目看，ELMo的核心思想主要体现在深度上下文（Deep Contextualized ࿰