《统计学习方法》 第十七章 潜在语义分析

潜在语义分析

---

单词向量空间模型通过单词的向量表示文本的语义内容。以单词-文本矩阵$X$为输入，其中每一行对应一个单词，每一列对应一个文本，每一个元素表示单词在文本中的频数或权值（如TF-IDF）

X = [ x 11 x 12 ⋯ x 1 n x 21 x 22 ⋯ x 2 n ⋮ ⋮ ⋮ x m 1 x m 2 ⋯ x m n ] X = \left[

\right] X=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​x11​x21​⋮xm1​​x12​x22​⋮xm2​​⋯⋯⋯​x1n​x2n​⋮xmn​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

单词向量空间模型认为，这个矩阵的每一列向量是单词向量，表示一个文本，两个单词向量的内积或标准化内积表示文本之间的语义相似度

---

话题向量空间模型通过话题的向量表示文本的语义内容

假设有话题文本矩阵 Y = [ y 11 y 12 ⋯ y 1 n y 21 y 22 ⋯ y 2 n ⋮ ⋮ ⋮ y k 1 y k 2 ⋯ y k n ] Y = \left[

\right] Y=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y11​y21​⋮yk1​​y12​y22​⋮yk2​​⋯⋯⋯​y1n​y2n​⋮ykn​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

其中每一行对应一个话题，每一列对应一个文本每一个元素表示话题在文本中的权值

话题向量空间模型认为，这个矩阵的每一列向量是话题向量，表示一个文本，两个话题向量的内积或标准化内积表示文本之间的语义相似度

假设有单词话题矩阵$T$

T = [ t 11 t 12 ⋯ t 1 k t 21 t 22 ⋯ t 2 k ⋮ ⋮ ⋮ t m 1 t m 2 ⋯ t m k ] T = \left[

\right] T=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​t11​t21​⋮tm1​​t12​t22​⋮tm2​​⋯⋯⋯​t1k​t2k​⋮tmk​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

其中每一行对应一个单词，每一列对应一个话题，每一个元素表示单词在话题中的权值。

给定一个单词文本矩阵$X$

X = [ x 11 x 12 ⋯ x 1 n x 21 x 22 ⋯ x 2 n ⋮ ⋮ ⋮ x m 1 x m 2 ⋯ x m n ] X = \left[

\right] X=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​x11​x21​⋮xm1​​x12​x22​⋮xm2​​⋯⋯⋯​x1n​x2n​⋮xmn​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

潜在语义分析的目标是，找到合适的单词-话题矩阵$T$与话题文本矩阵$Y$，将单词文本矩阵$X$近似的表示为$T$与$Y$的乘积形式。

$$X\approx TY$$

等价地，潜在语义分析将文本在单词向量空间的表示X通过线性变换$T$转换为话题向量空间中的表示$Y$。

潜在语义分析的关键是对单词-文本矩阵进行以上的矩阵因子分解（话题分析）

---

潜在语义分析的算法是奇异值分解。通过对单词文本矩阵进行截断奇异值分解，得到

$$X\approx U_k{\Sigma }_k{V}_k^T=U_k({\Sigma }_k{V}_k^T)$$

矩阵$U_k$表示话题空间，矩阵$({\Sigma }_k{V}_k^T)$是文本在话题空间的表示。

---

非负矩阵分解也可以用于话题分析。非负矩阵分解将非负的单词文本矩阵近似分解成两个非负矩阵$W$和$H$的乘积，得到

$$X\approx WH$$

矩阵$W$表示话题空间，矩阵$H$是文本在话题空间的表示。

非负矩阵分解可以表为以下的最优化问题：

min ⁡ W , H ∥ X − W H ∥ 2  s.t.  W , H ≥ 0 \left.

\right. minW,H​∥X−WH∥2 s.t. W,H≥0​

非负矩阵分解的算法是迭代算法。乘法更新规则的迭代算法，交替地对$W$和$H$进行更新。本质是梯度下降法，通过定义特殊的步长和非负的初始值，保证迭代过程及结果的矩阵$W$和$H$均为非负。\n

---

LSA

LSA是一种无监督学习方法，主要用于文本的话题分析，其特点是通过矩阵分解发现文本与单词之间的基于话题的语义关系。也称为潜在语义索引（Latent semantic indexing, LSI）。

LSA 使用的是非概率的话题分析模型。将文本集合表示为单词-文本矩阵，对单词-文本矩阵进行奇异值分解，从而得到话题向量空间，以及文本在话题向量空间的表示。

---

非负矩阵分解

非负矩阵分解 (non-negative matrix factorization, NMF）是另一种矩阵的因子分解方法，其特点是分解的矩阵非负

---

单词向量空间

给定一个文本，用一个向量表示该文本的”语义“， 向量的每一维对应一个单词，其数值为该单词在该文本中出现的频数或权值

基本假设是文本中所有单词的出现情况表示了文本的语义内容，文本集合中的每个文本都表示为一个向量，存在于一个向量空间

向量空间的度量，如内积或标准化内积表示文本之间的相似度

给定一个含有$n$个文本的集合$D=(d_1,d_2,...,d_n)$

以及在所有文本中出现的$m$个单词的集合$W=(w_1,w_2,...,w_m)$

将单词在文本的出现的数据用一个单词-文本矩阵（word-document matrix）表示，记作$X$

X = [ x 11 x 12 x 1 n x 21 x 22 x 2 n ⋮ ⋮ ⋮ x m 1 x m 2 x m n ] X =

X=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​x11​x21​⋮xm1​​x12​x22​⋮xm2​​x1n​x2n​⋮xmn​​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

这是一个$m\ast n$矩阵，元素$x_{ij}$表示单词$w_i$在文本$d_j$中出现的频数或权值。由于单词的种类很多，而每个文本中出现单词的种类通常较少，所有单词-文本矩阵是一个稀疏矩阵

权值通常用单词频率-逆文本率（term frequency-inverse document frequency, TF-IDF）表示

$TF-IDF(t,d)=TF(t,d)\ast IDF(t)$

其中，$TF(t,d)$为单词$t$在文本$d$中出现的概率，$IDF(t)$是逆文本率，用来衡量单词$t$对表示语义所起的重要性

$IDF(t)=log(\frac{len(D)}{len(t\in D)+1})$

单词向量空间模型的优点是模型简单，计算效率高

因为单词向量通常是稀疏的，单词向量空间模型也有一定的局限性，体现在内积相似度未必能够准确表达两个文本的语义相似度上

因为自然语言的单词具有一词多义性（polysemy）及多词一义性（synonymy）

---

话题向量空间

给定一个含有$n$个文本的集合$D=(d_1,d_2,...,d_n)$，以及在所有文本中出现的$m$个单词的集合$W=(w_1,w_2,...,w_m)$. 可以获得其单词-文本矩阵$X$:

X = [ x 11 x 12 x 1 n x 21 x 22 x 2 n ⋮ ⋮ ⋮ x m 1 x m 2 x m n ] X =

X=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​x11​x21​⋮xm1​​x12​x22​⋮xm2​​x1n​x2n​⋮xmn​​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

假设所有文本共含有$k$个话题。假设每个话题由一个定义在单词集合$W$上的$m$维向量表示，称为话题向量，即：
t l = [ t 1 l t 2 l ⋮ t m l ] , l = 1 , 2 , . . . , k t_{l} =

, l=1,2,...,k tl​=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​t1l​t2l​⋮tml​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​,l=1,2,...,k

其中$t_{il}$单词$w_i$在话题$t_l$的权值，$i=1,2,...,m$, 权值越大，该单词在该话题中的重要程度就越高

这$k$个话题向量 $t_1,t_2,...,t_k$张成一个话题向量空间（topic vector space）， 维数为$k$.话题向量空间是单词向量空间的一个子空间

话题向量空间$T$

T = [ t 11 t 12 t 1 k t 21 t 22 t 2 k ⋮ ⋮ ⋮ t m 1 t m 2 t m k ] T =

T=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​t11​t21​⋮tm1​​t12​t22​⋮tm2​​t1k​t2k​⋮tmk​​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

矩阵$T$,称为单词-话题矩阵。 $T=[t_1,t_2,...,t_k]$

---

文本在话题向量空间中的表示

考虑文本集合$D$的文本$d_j$, 在单词向量空间中由一个向量$x_j$表示，将$x_j$投影到话题向量空间$T$中，得到话题向量空间的一个向量$y_j$, $y_j$是一个$k$维向量：

y j = [ y 1 j y 2 j ⋮ y k j ] , j = 1 , 2 , . . . , n y_{j} =

, j=1,2,...,n yj​=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y1j​y2j​⋮ykj​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​,j=1,2,...,n

其中，$y_{lj}$是文本$d_j$在话题$t_l$中的权值， $l=1,2,...,k$, 权值越大，该话题在该文本中的重要程度就越高。

矩阵$Y$ 表示话题在文本中出现的情况，称为话题-文本矩阵（topic-document matrix）,记作：

Y = [ y 11 y 12 y 1 n y 21 y 22 y 2 n ⋮ ⋮ ⋮ y k 1 y k 2 y k n ] Y =

Y=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​y11​y21​⋮yk1​​y12​y22​⋮yk2​​y1n​y2n​⋮ykn​​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

也可写成： $Y=[y_1,y_2...,y_n]$

---

从单词向量空间到话题向量空间的线性变换

如此，单词向量空间的文本向量$x_j$可以通过他在话题空间中的向量$y_j$近似表示，具体地由$k$个话题向量以$y_j$为系数的线性组合近似表示：

$x_j=y_{1j}{t}_1+y_{2j}{t}_2+...+y_{yj}{t}_k,j=1,2,...,n$

所以，单词-文本矩阵$X$可以近似的表示为单词-话题矩阵$T$与话题-文本矩阵$Y$的乘积形式。

$X\approx TY$

直观上，潜在语义分析是将单词向量空间的表示通过线性变换转换为在话题向量空间中的表示。这个线性变换由矩阵因子分解式的形式体现。

---

潜在语义分析算法

潜在语义分析利用矩阵奇异值分解，具体地，对单词-文本矩阵进行奇异值分解，将其左矩阵作为话题向量空间，将其对角矩阵与右矩阵的乘积作为文本在话题向量空间的表示

给定一个含有$n$个文本的集合$D=(d_1,d_2,...,d_n)$，以及在所有文本中出现的$m$个单词的集合$W=(w_1,w_2,...,w_m)$. 可以获得其单词-文本矩阵$X$

X = [ x 11 x 12 x 1 n x 21 x 22 x 2 n ⋮ ⋮ ⋮ x m 1 x m 2 x m n ] X =

X=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​x11​x21​⋮xm1​​x12​x22​⋮xm2​​x1n​x2n​⋮xmn​​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

---

截断奇异值分解：

潜在语义分析根据确定的话题数$k$对单词-文本矩阵$X$进行截断奇异值分解：

X ≈ U k Σ k V k T = [ μ 1 μ 2 ⋯ μ k ] [ σ 1 0 0 0 0 σ 2 0 0 0 0 ⋱ 0 0 0 0 σ k ] [ v 1 T v 2 T ⋮ v k T ] X \approx U_{k}\Sigma _{k}V_{k}^{T} =

X≈Uk​Σk​VkT​=[μ1​​μ2​​⋯​μk​​]⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​σ1​000​0σ2​00​00⋱0​000σk​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎤​⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡​v1T​v2T​⋮vkT​​⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤​

矩阵$U_k$的每一个列向量 $u_1,u_2,...,u_k$ 表示一个话题，称为话题向量

由这 $k$ 个话题向量张成一个子空间：

U k = [ u 1 u 2 ⋯ u k ] U_{k} =

Uk​=[u1​​u2​​⋯​uk​​]

称为话题向量空间。

综上， 可以通过对单词-文本矩阵的奇异值分解进行潜在语义分析：

$X\approx U_k{\Sigma }_k{V}_k^T=U_k({\Sigma }_k{V}_k^T)$

得到话题空间 $U_k$ ， 以及文本在话题空间的表示(${\Sigma }_k{V}_k^T$).

---

非负矩阵分解算法

非负矩阵分解也可以用于话题分析。对单词-文本矩阵进行非负矩阵分解，将其左矩阵作为话题向量空间，将其右矩阵作为文本在话题向量空间的表示。

---

非负矩阵分解

若一个矩阵的索引元素非负，则该矩阵为非负矩阵。若$X$是非负矩阵，则： $X>=0$.

给定一个非负矩阵$X$, 找到两个非负矩阵$W>=0$ 和 $H>=0$, 使得：

$X\approx WH$

即非负矩阵$X$分解为两个非负矩阵$W$和$H$的乘积形式，成为非负矩阵分解。因为$WH$与$X$完全相等很难实现，所以只要求近似相等。

假设非负矩阵$X$是$m\times n$矩阵，非负矩阵$W$和$H$分别为 $m\times k$ 矩阵和 $k\times n$ 矩阵。假设 $k<min(m,n)$ 即$W$ 和 $H$ 小于原矩阵 $X$, 所以非负矩阵分解是对原数据的压缩。

称 $W$ 为基矩阵， $H$ 为系数矩阵。非负矩阵分解旨在用较少的基向量，系数向量来表示为较大的数据矩阵。

令 W = [ w 1 w 2 ⋯ w k ] W =

W=[w1​​w2​​⋯​wk​​]

为话题向量空间， $w_1,w_2,...,w_k$ 表示文本集合的 $k$ 个话题， 令 H = [ h 1 h 2 ⋯ h n ] H =

H=[h1​​h2​​⋯​hn​​]

为文本在话题向量空间的表示， $h_1,h_2,...,h_n$ 表示文本集合的 $n$ 个文本。

---

非负矩阵分解可以形式化为最优化问题求解。可以利用平方损失或散度来作为损失函数。

目标函数 $||X-WH|{|}^2$ 关于 $W$ 和 $H$ 的最小化，满足约束条件 $W,H>=0$, 即：

$\underset{W,H}{\min }||X-WH|{|}^2$

$s.t.W,H>=0$

乘法更新规则

$W_{il}\leftarrow W_{il}\frac{(X{H}^T{)}_{il}}{(WH{H}^T{)}_{il}}$

$H_{lj}\leftarrow H_{lj}\frac{(W^{T}X{)}_{lj}}{(W^{T}WH{)}_{lj}}$

选择初始矩阵 $W$ 和 $H$ 为非负矩阵，可以保证迭代过程及结果的矩阵 $W$ 和 $H$ 非负。

---

代码

import numpy as np
from sklearn.decomposition import TruncatedSVD

X = [[2, 0, 0, 0], [0, 2, 0, 0], [0, 0, 1, 0], [0, 0, 2, 3], [0, 0, 0, 1], [1, 2, 2, 1]]
X = np.asarray(X)

# 奇异值分解
U,sigma,VT=np.linalg.svd(X)

# 截断奇异值分解
svd = TruncatedSVD(n_components=3, n_iter=7, random_state=42)
svd.fit(X)  

#　非负矩阵分解
class MyNMF:
    def fit(self, X, k, t):
        m, n = X.shape
        W = np.random.rand(m, k)
        W = W/W.sum(axis=0)
        H = np.random.rand(k, n)
        i = 1
        while i < t:
            W = W * X.dot(H.T) / W.dot(H).dot(H.T)
            H = H * (W.T).dot(X) / (W.T).dot(W).dot(H)
            i += 1
        return W, H
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26