Unigram,Bigram,N-gram这三个概念,在学习自然语言的过程中大家可能会遇到。
Unigram,Bigram,N-gram在自然语言内容中的语言模型部分中大家可能会碰到。语言模型有很多种,在上一篇介绍一个翻译系统的部分中,我提到了语言模型,语言模型在那个翻译系统中属于第二部分内容,其可以计算一个句子语法正确的概率,或者说可能出现的概率。
可以通过很多方式实现一个语言模型,当然Unigram,Bigram,N-gram就是实现语言模型的三种方式。
先看一下Unigram:
Unigram(一元模型)其就是指对于一个句子,其计算其可能出现的概率,为所有单词出现的概率直接相乘,我们认为单词之间都是互不相关的。
Bigram模型其实,采用了马尔可夫假设的思想。
我们,其联合概率的计算方式就是上式。
然后我们来看一下N-gram模型,其计算公式如下:
其实这三个模型区别在于,在计算一个词可能发生的概率时,考虑它前面可能影响概率的数量。