每天五分钟机器学习：经典的机器学习PCA的核心——特征分解技术

本节重点

本节我们将学习特征分解，特征分解是矩阵分析中非常重要的概念，它也可以应用到PCA算法中，本节先讲解什么是特征分解，然后讲解特征分解在PCA算法中的应用。

数学知识准备

 

如上所示是方差的定义，方差是度量一组数据的分散程度

 

如上所示是方差的定义，协方差是度量两个变量的变动的同步程度，也就是度量两个变量线性相关性程度。如果两个变量的协方差为0，则统计学上认为二者线性无关。注意两个无关的变量并非完全独立，只是没有线性相关性而已。如果协方差大于0表示一个变量增大是另一个变量也会增大，即正相关，协方差小于0表示一个变量增大是另一个变量会减小，即负相关。

 

如上所示是协方差矩阵的定义，协方差矩阵由数据集中两两变量的协方差组成。矩阵的第(i,j)个元素是数据集中第i和第j个元素的协方差。我们可以进一步看到协方差矩阵对角元素其实是方差，这个非常重要，在接下来会进行详细的使用。

降维