机器学习笔记之高斯混合模型(二)模型求解——尝试使用极大似然估计求解模型参数

引言

上一节介绍了高斯混合模型(Gaussian Mixture Model,GMM)，本节将对高斯混合模型的模型参数进行求解。

回顾：高斯混合模型

从概率生成模型的角度观察，概率模型$P(\mathcal{X})$的生成过程表示如下：

• 引入一个隐变量$\mathcal{Z}$，$\mathcal{Z}$是一个基于参数的离散分布，假设该离散分布的数量为$\mathcal{K}$个，该离散分布的 标签及对应概率分布$P(\mathcal{Z})$ 表示如下：

  $\mathcal{Z}$	$z_1$	$z_2$	$\cdots$	$z_{\mathcal{K}}$
  $P(\mathcal{Z})$	$p_1$	$p_2$	$\cdots$	$p_{\mathcal{K}}$

  并满足：
  $$\sum _{k=1}^{\mathcal{K}}{p}_k=1$$

• 任意$z_j\in \mathcal{Z}$均唯一对应一个高斯分布$\mathcal{N}({\mu }_j,{\Sigma }_j)$，因而共包含$\mathcal{K}$个高斯分布：

  $\mathcal{Z}$	$z_1$	$z_2$	$\cdots$	$z_{\mathcal{K}}$
  $P(x\mid \mathcal{Z}=z_k)$	$\mathcal{N}({\mu }_1,{\Sigma }_1)$	$\mathcal{N}({\mu }_2,{\Sigma }_2)$	$\cdots$	$\mathcal{N}({\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})$

  数学符号表达即：
  $$P(x\mid z_k)\sim \mathcal{N}({\mu }_k,{\Sigma }_k)(k=1,2,\cdots ,\mathcal{K};x\in \mathcal{X})$$

• 则任意样本$x\in \mathcal{X}$的生成过程为：
  $\mathcal{N}(x\mid {\mu }_k,{\Sigma }_k)$表示在高斯分布$\mathcal{N}({\mu }_k,{\Sigma }_k)$中随机生成一个样本点$x$;
  $$P(x)=\sum _{\mathcal{Z}}P(x\mid \mathcal{Z})P(\mathcal{Z})=\sum _{k=1}^{\mathcal{K}}\mathcal{N}(x\mid {\mu }_k,{\Sigma }_k)\cdot p_k$$

• 从而整个样本集合$\mathcal{X}$的生成过程(即概率模型)：
  P ( X ) = ∑ Z P ( X ∣ Z ) P ( Z )   = ∑ k = 1 K P ( X ∣ Z = z k ) P ( Z = z k ) = ∑ k = 1 K N ( X ∣ μ k , Σ k ) ⋅ p k ( ∑ k = 1 K p k = 1 ) P(X)=∑ZP(X∣Z)P(Z) =K∑k=1P(X∣Z=zk)P(Z=zk)=K∑k=1N(X∣μk,Σk)⋅pk(K∑k=1pk=1)

  P(X) ​=Z∑​P(X∣Z)P(Z)=k=1∑K​P(X∣Z=zk​)P(Z=zk​)=k=1∑K​N(X∣μk​,Σk​)⋅pk​(k=1∑K​pk​=1)​
  其中$\mathcal{N}(\mathcal{X}\mid {\mu }_k,{\Sigma }_k)$表示从高斯分布$\mathcal{N}({\mu }_k,{\Sigma }_k)$中生成的样本$\mathcal{X}$。

模型求解：极大似然估计

场景描述

不同于高斯判别分析(Gaussain Discriminant Analysis,GDA)这样的监督学习的分类模型，高斯混合模型所处理的样本不包含标签信息。
因此，从数据集合的角度观察，它只包含样本信息。假设数据集合内共包含$N$个样本，并假设数据集合中任意两个样本之间均属于 独立同分布(Independent and Identically Distributed,i.i.d.)关系。
X = { x ( 1 ) , x ( 2 ) , ⋯   , x ( N ) } x ( i ) ∼ i.i.d. x ( j ) ( x ( i ) , x ( j ) ∈ X ) \mathcal X = \{x^{(1)},x^{(2)},\cdots,x^{(N)}\} \\ x^{(i)} \overset{\text{i.i.d.}}{\sim} x^{(j)} \quad (x^{(i)},x^{(j)} \in \mathcal X) X={x(1),x(2),⋯,x(N)}x(i)∼i.i.d.x(j)(x(i),x(j)∈X)
基于样本集合的生成过程，每一个样本$x^{(i)}$均对应一个隐变量$z^{(i)}$。因而，从隐变量数量角度出发，隐变量$\mathcal{Z}$表达如下：
Z = { z ( 1 ) , z ( 2 ) , ⋯   , z ( N ) } \mathcal Z = \{z^{(1)},z^{(2)},\cdots,z^{(N)}\} Z={z(1),z(2),⋯,z(N)}
从隐变量的 维度角度出发，任意一个隐变量$z^{(i)}(i=1,2,\cdots ,N)$都存在$\mathcal{K}$种选择。即：
z ( i ) ∈ { z 1 , z 2 , ⋯   , z K } ( i = 1 , 2 , ⋯   , N ) z^{(i)} \in \{z_1,z_2,\cdots,z_{\mathcal K}\} \quad (i=1,2,\cdots,N) z(i)∈{z1​,z2​,⋯,zK​}(i=1,2,⋯,N)
称$(\mathcal{X},\mathcal{Z})$为完整数据(Complete Data)。

模型参数整理

高斯混合模型求解本质上依然是求解概率模型$P(\mathcal{X}\mid \theta )$的模型参数$\theta$。首先想到的方法自然是极大似然估计(Maximum Likelihood Estimate，MLE)。

首先观察模型参数$\theta$是什么？
从样本的生成过程来看，样本的生成一共经过两次随机：

• 从隐变量$\mathcal{Z}$中随机选择一个 离散分布标签；
• 在离散分布标签确定的条件下，从离散分布标签对应的高斯分布 随机生成一个样本；

上述过程中，共存在两类参数：

• 选择离散分布标签的概率：
  $$p_1,p_2,\cdots ,p_{\mathcal{K}}(\sum _{k=1}^{\mathcal{K}}{p}_k=1)$$
• 各标签对应高斯分布的模型参数：
  $$({\mu }_1,{\Sigma }_1),({\mu }_2,{\Sigma }_2),\cdots ,({\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})$$

因此，模型参数$\theta$可表示为一个参数集合：
θ = { p 1 , p 2 , ⋯   , p K , μ 1 , μ 2 , ⋯   , μ K , Σ 1 , Σ 2 , ⋯   , Σ K } \theta = \{p_1,p_2,\cdots,p_{\mathcal K},\mu_1,\mu_2,\cdots,\mu_{\mathcal K},\Sigma_1,\Sigma_2,\cdots,\Sigma_{\mathcal K}\} θ={p1​,p2​,⋯,pK​,μ1​,μ2​,⋯,μK​,Σ1​,Σ2​,⋯,ΣK​}

求解过程

极大似然估计表示如下：
基于样本间‘独立同分布’，可进行如下展开:
θ ^ M L E = arg ⁡ max ⁡ θ log ⁡ P ( X ∣ θ ) = arg ⁡ max ⁡ θ log ⁡ [ ∏ i = 1 N P ( x ( i ) ∣ θ ) ] = arg ⁡ max ⁡ θ ∑ i = 1 N log ⁡ P ( x ( i ) ∣ θ ) ˆθMLE=argmaxθlogP(X∣θ)=argmaxθlog[N∏i=1P(x(i)∣θ)]=argmaxθN∑i=1logP(x(i)∣θ)

θ^MLE​​=θargmax​logP(X∣θ)=θargmax​log[i=1∏N​P(x(i)∣θ)]=θargmax​i=1∑N​logP(x(i)∣θ)​

将$P(x^{(i)})$看作样本$x^{(i)}$在高斯混合模型中的生成过程，因此上式可转化为：
$${\hat{\theta }}_{MLE}=\underset{\theta }{\mathrm{argmax}}\sum _{i=1}^N\log \left[\sum _{k=1}^{\mathcal{K}}\mathcal{N}(x^{(i)}\mid {\mu }_k,{\Sigma }_k)\cdot p_k\right]$$

这种$\log$中包含连加号 的形式是无法化简的，实际上，如果继续对$\theta$求解，会发现参数$\theta$无法求出解析解。
我们对参数集合$\theta$中的第一个元素：$p_1$求解析解进行示例。

• 设似然函数为$\mathcal{L}(\theta )$，$\mathcal{L}(\theta )$表示如下：
  L ( θ ) = ∑ i = 1 N log ⁡ [ ∑ k = 1 K N ( x ( i ) ∣ μ k , Σ k ) ⋅ p k ] ( θ = { p 1 , p 2 , ⋯   , p K , μ 1 , μ 2 , ⋯   , μ K , Σ 1 , Σ 2 , ⋯   , Σ K } ) \mathcal L(\theta) = \sum_{i=1}^N \log \left[\sum_{k=1}^{\mathcal K} \mathcal N(x^{(i)}\mid \mu_k,\Sigma_k) \cdot p_k\right] \quad (\theta = \{p_1,p_2,\cdots,p_{\mathcal K},\mu_1,\mu_2,\cdots,\mu_{\mathcal K},\Sigma_1,\Sigma_2,\cdots,\Sigma_{\mathcal K}\}) L(θ)=i=1∑N​log[k=1∑K​N(x(i)∣μk​,Σk​)⋅pk​](θ={p1​,p2​,⋯,pK​,μ1​,μ2​,⋯,μK​,Σ1​,Σ2​,⋯,ΣK​})
• 将上述公式展开，结果如下：
  $$\begin{gathered} \mathcal{L}(p_1,\cdots ,p_{\mathcal{K}},{\mu }_1,\cdots ,{\mu }_{\mathcal{K}},{\Sigma }_1,\cdots ,{\Sigma }_{\mathcal{K}})=\sum _{i=1}^N\log \left[\mathcal{N}(x^{(i)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(i)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}\right] \\ =\left\{\log \left[\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(1)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}\right]\right\}+\cdots +\left\{\log \left[\mathcal{N}(x^{(N)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(N)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}\right]\right\} \end{gathered}$$
• 上述公式中共包含$N$项连加，并且每一项均包含$p_1$。令$\mathcal{L}(\theta )$对$p_1$求偏导。因而$p_2,\cdots ,p_{\mathcal{K}},{\mu }_1,\cdots ,{\mu }_{\mathcal{K}},{\Sigma }_1,\cdots ,{\Sigma }_{\mathcal{K}}$均视作常数。为简化步骤，以第一项为例：
  $$\begin{array}{rl}& \frac{\partial }{\partial p_1}\log \left\{\left[\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(1)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}\right]\right\}\\ & =\frac{1}{\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(1)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}}\cdot \frac{\partial }{\partial p_1}\left[\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(1)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}\right]\end{array}$$
  观察方括号中的项，只有第一项包含$p_1$，其余项均不含$p_1$。因此：
  $$\begin{array}{rl}& \frac{\partial }{\partial p_1}\left[\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(1)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}\right]\\ & =\frac{\partial }{\partial p_1}\left[\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1\right]\\ & =\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\end{array}$$
  因此，$\mathcal{L}(\theta )$第一项对$p_1$的偏导结果为：
  $$\frac{\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)}{\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)\cdot p_1+\cdots +\mathcal{N}(x^{(1)}\mid {\mu }_{\mathcal{K}},{\Sigma }_{\mathcal{K}})\cdot p_{\mathcal{K}}}$$
  同理，$\mathcal{L}(\theta )$全部$N$项对$p_1$的求导结果为：
  $$\frac{\partial \mathcal{L}(\theta )}{\partial p_1}=\sum _{i=1}^N\frac{\mathcal{N}(x^{(i)}\mid {\mu }_k,{\Sigma }_k)}{{\sum }_{k=1}^{\mathcal{K}}\mathcal{N}(x^{(i)}\mid {\mu }_k,{\Sigma }_k)\cdot p_k}$$
  令$\frac{\partial \mathcal{L}(\theta )}{\partial p_1}\triangleq 0$，则有：
  $$\mathcal{N}(x^{(1)}\mid {\mu }_1,{\Sigma }_1)=\mathcal{N}(x^{(2)}\mid {\mu }_1,{\Sigma }_1)=\cdots =\mathcal{N}(x^{(N)}\mid {\mu }_1,{\Sigma }_1)=0$$
  因而没有求得$p_1$的解析解。
  同理，其他模型参数同样无法求出解析解。

使用极大似然估计求解高斯混合模型的参数$\theta$宣告失败。

下一解将介绍使用EM算法求解高斯混合模型的模型参数。

相关参考：
机器学习-高斯混合模型(2) -极大似然