【深度学习】最大熵马尔科夫、CRF、条件随机场、最大匹配法

一 最大熵马尔科夫和CRF

最大熵模型（MaxEnt）：指的是多元逻辑回归

由于等概率的分布具有最大熵，所以最大熵的模型通过词性标注问题来描述就是：

1. 在没有任何假设的情况下，认为每种词性的概率都是相同的，假设有10中词性，那么每个词性的概率都是1/10
2. 如果语料表明，所有的词语出现的词性只有10个中的4个，那么此时，调整所有词的词性为$A:1/4,B:1/4,C:1.4,D:1/4,E:\mathrm{0....}$
3. 当继续增加语料，发现A和B的概率很高，10次中有8次，某个词的词性不是A就是B，那么此时调整词性概率为：$A:4/10,B:4/10,C:1/10,D:1/10$
4. 重复上述过程

寻找一个熵最大的模型，就是要使用多元逻辑回归，训练他的权重w，让训练数据能够似然度最大化

训练数据能够似然度最大化：训练数据是总体的一个抽样，让训练数据尽可能能够代表总体，从而可以让模型可以有更好的表现力

**最大熵马尔科夫模型（MEMM）**是马尔科夫模型的变化版本。在马尔科夫模型中，使用贝叶斯理论来计算最有可能的观测序列，即：
$${\hat{t}}_n={\mathrm{argmax}}_{t_n}P(t_n|w_n)={\mathrm{argmax}}_{t_n}P(w_i|t_i)P(t_i|t_{i-1})$$
但是在MEMM中，直接去计算了后验概率P(t|w),直接对每个观测值的状态进行分类，在MEMM中，把概率进行了拆解：
$$\hat{T}={\mathrm{argmax}}_{T}P(T|W)=\mathrm{argmax}\prod _{i}P(ta{g}_i|wor{d}_i,ta{g}_{i-1})$$
即:使用前一个状态tag和当前的词word，计算当前tag。

和隐马尔可夫模型不同的是，在上述的公式中，对于计算当前tag的分类过程中，输入不仅可以是$wor{d}_i和ta{g}_{i-1}$,还可以包含其他的特征，比如：词语的第一个字母是否为大写，词语的后缀类型，前缀类型的等等。

所以MEMM的表现力会比HMM要更好。

二 条件随机场

**条件随机场(conditional random field,CRF)**是有输入x和输出y组成的一种无向图模型，可以看成是最大熵马尔可夫模型的推广。

下图是常用于词性标注的线性链 条件随机场的图结构。其中x是观测序列，Y是标记序列

下图是HMM，MEMM，CRF的对比

当观测序列为 $x=x_1,x_2...$ 时，状态序列为 $y=y_1,y_2....$的概率可写为:
$$\begin{gathered} P(Y=y|x)=\frac{1}{Z(x)}\exp (\sum _k{\lambda }_k\sum _i{t}_k(y_{i-1},y_i,x,i)+\sum _l{\mu }_l\sum _i{s}_l(y_i,x,i)) \\ Z(x)=\sum _y\exp (\sum _k{\lambda }_k\sum _i{t}_k(y_{i-1},y_i,x,i)+\sum _l{\mu }_l\sum _i{s}_l(y_i,x,i)) \end{gathered}$$
其中$Z(x)$是归一化因子，类似softmax中的分母，计算的是所有可能的y的和

后面的部分由特征函数组成：

转移特征： $t_k(y_{i-1},y_i,x,i)$ 是定义在边上的特征函数（transition），依赖于当前位置 i 和前一位置 i-1 ；对应的权值为 ${\lambda }_k$ 。

状态特征： $s_l(y_i,x,i)$ 是定义在节点上的特征函数（state），依赖于当前位置 i ；对应的权值为 ${\mu }_l$ 。

一般来说，特征函数的取值为 1 或 0 ，当满足规定好的特征条件时取值为 1 ，否则为 0 。

对于北\B京\E欢\B迎\E你\E特征函数可以如下：

func1 = if (output = B and feature="北") return 1 else return 0
func2 = if (output = M and feature="北") return 1 else return 0
func3 = if (output = E and feature="北") return 1 else return 0
func4 = if (output = B and feature="京") return 1 else return 0
1
2
3
4

每个特征函数的权值 类似于发射概率，是统计后的概率。

三 最大匹配法

1 来源

最大匹配法是最简单的分词方法，完全使用词典进行分词，如果词典好，则分词的效果好

2 正向最大匹配法

正向，即从左往右进行匹配

#Maximum Match Method 最大匹配法

class  MM:
    def __init__(self):
        self.window_size = 4

    def cut(self,text):
        result = []
        index = 0
        text_lenght = len(text)
		#研究生命的起源
        dic = ["研究","研究生","生命"]
        while text_lenght >index:
            #range(3,0,-1)
            for size in range(min(self.window_size+index,text_lenght),index,-1):
                piece = text[index:size]
                print("size:", size,piece)
                if piece in dic:
                    index = size-1
                    break
            index = index+1  #第一次结束index = 3
            result.append(piece)
        print(result)
        return result

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

逆向最大匹配法

逆向即从右往左进行匹配

#RMM:Reverse Maxmium Match method 逆向最大匹配

class RMM:
    def __init__(self):
        self.window_size = 3

    def cut(self,text):
        result = []
        index = len(text)
        #研究生命的起源
        dic = ["研究","研究生","生命"]
        while index>0:
            for size in range(max((index-self.window_size),0),index):
                piece = text[size:index]
                print("size:", size,piece)
                if piece in dic:
                    index = size+1
                    print("index:", index)
                    break
                print("index:",index)
            index = index - 1
            result.append(piece)
        result.reverse()
        print(result)
        return result
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

双向最大匹配法

同时根据正向和逆向的结果，进行匹配

class MCut():
    def __init__(self):
        self.mm = MM()
        self.rmm = RMM()
    
    def cut(self,sentence):
        """
        1. 词语数量不相同，选择分词后词语数量少的
        2. 如果词语数量相同，返回单字数量少的
        """
        mm_ret = self.mm.cut(sentence)
        rmm_ret = self.rmm.cut(sentence)
        if len(mm_ret)==len(rmm_ret):
            mm_ret_signle_len = len([i for i in mm_ret if len(i)==1])
            rmm_ret_signle_len = len([i for i in rmm_ret if len(i)==1])
            return mm_ret if rmm_ret_signle_len>mm_ret_signle_len else rmm_ret
        else:
            return mm_ret if len(mm_ret)<len(rmm_ret) else rmm_ret
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18