#机器学习--实例--主成分分析

引言

        本系列博客旨在为机器学习(深度学习)提供数学理论基础。因此内容更为精简，适合二次学习的读者快速学习或查阅。

---

主成分分析（PCA)介绍

        主成分分析（principal components analysis，PCA）是一个简单的机器学习算法，能够在损失精度尽可能少的前提下，对数据进行有损压缩。

---

推导过程

        设有 $m$ 个点 { x i , … , x m } \{x_{i},\dots,x_{m}\} {xi​,…,xm​}，每一个点都是一个 $n$ 维向量 ，我们希望找到一个编码函数，根据输入返回编码， $c=f(x)$ ；同时也希望找到一个解码函数，给定编码重构输入， $x\approx g(f(x))$ 。
        令 $g(c)=Dc$ ，其中 $D\in R^{n\ast l},(l<n)$ 是定义解码的矩阵，编码函数定义好后，我们先来寻找解码函数。
        为了使解码后的结果与实际值之间的差值最小，有 $$\underset{c}{\mathrm{argmin}}||g(c)-x|{|}_2$$$$\Rightarrow \underset{c}{\mathrm{argmin}}||Dc-x|{|}_2^2$$$$\Rightarrow \underset{c}{\mathrm{argmin}}(Dc-x{)}^T(Dc-x)$$$$\Rightarrow \underset{c}{\mathrm{argmin}}{c}^T{D}^{T}Dc-2x^{T}Dc$$$$求导并令导数为0，可得：Dc=x$$        令 $D^{T}D=I$ ，上式可转换为：$$c=f(x)=D^{T}x$$        解码函数找到了，接下来是找最好的D，使得压缩后的信息损失最小，即有：$$\underset{D}{\mathrm{argmin}}\sum _i^m||x_i-f(g(x_i))|{|}^2，s.t.D^{T}D=I$$$$\Rightarrow \underset{D}{\mathrm{argmin}}\sum _i^m||x_i-D{D}^{T}x|{|}^2，s.t.D^{T}D=I$$$$\Rightarrow \underset{D}{\mathrm{argmin}}||X-D{D}^{T}X|{|}_F^2，s.t.D^{T}D=I$$$$\Rightarrow \underset{D}{\mathrm{argmin}}Tr[(X-D{D}^{T}X{)}^T(X-D{D}^{T}X)]，s.t.D^{T}D=I$$$$\Rightarrow \underset{D}{\mathrm{argmax}}Tr(D{D}^{T}X{X}^T)+\lambda (D^{T}D-I)$$$$求导并令导数为0，可得：X{X}^{T}D=\lambda D$$        最终我们可以得出结论，D就是由矩阵 $X{X}^T$ 的 $l$ 个特征向量所构成。

---

代码实现

import numpy as np


class PCAModel:
    def __init__(self):
        self.d = None

    def fit(self, x, target_l):
        """
        填充训练数据，进行主成分分析
        :param x: 训练数据矩阵，每一个列向量为一条训练数据
        :param target_l: 目标维度，应小于矩阵x中列向量的长度
        """
        if target_l >= x.shape[0]:
            raise ValueError("target_l should greater than x.shape[0]")
        features, f_vec = np.linalg.eig(np.matmul(x, x.T))
        self.d = f_vec[:, :target_l]

    def transform(self, x):
        """
        对数据x进行降维
        """
        return np.matmul(self.d.T, x)

    def reverse_transform(self, x):
        """
        对数据x进行还原
        """
        return np.matmul(self.d, x)


train_x = np.array([[1,2],[3,4],[5,6]])
print(train_x)
# [[1 2]
#  [3 4]
#  [5 6]]
model = PCAModel()
model.fit(tran_x, 2)
result = model.transform(train_x)
print(result)
# [[-5.90229186 -7.47652631]
#  [ 0.40367167 -0.3186758 ]]
pred_y = model.reverse_transform(result)
print(pred_y)
# [[1. 2.]
#  [3. 4.]
#  [5. 6.]]
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

        从运行结果中可以看出，对数据进行压缩后能够完美进行还原。