【吴恩达机器学习-笔记整理】降维，数据压缩与PCA

🌵🌵🌵前言

✨你好啊，我是“ 怪& ”，是一名在校大学生哦。
🌍主页链接：怪&的个人博客主页
☀️博文主更方向为：课程学习知识、作业题解、期末备考。随着专业的深入会越来越广哦…一起期待。
❤️一个“不想让我曾没有做好的也成为你的遗憾”的博主。
💪很高兴与你相遇，一起加油！

一、数据压缩（降维目的之一）

特征高度相关，则需要降维

1、二维降一维

2、三维降二维

二、可视化

1、50维降至2维

z没有具体的物理意义

降维可视化后可以便捷捕捉不同的维度变化，将特征绘图去寻找答案

三、主成分分析（PCA）

PCA：找一个低维平面，使点投影至此平面，且到该平面的距离（也叫投影误差）平方最小

1、均值归一化和特征规范化

PCA前的准备：使特征均值为0，使其数值在可比较的范围之内。

2、PCA与线性回归的关系

3、数据预处理

均值归一化和特征规范化
svd：奇异值分解
[U,S,V] =svd(Sigma)
计算u，s，v的协方差矩阵sigma

从n维降到k维度

z：降维后的矩阵

4、PCA算法总结

把数据投影到k维子空间，和k维表面上，这实际上是最小化投射平方误差的证明

5、主成分数量选择

99%的方差信息被保留

6、压缩重现

7、PCA的应用

用PCA对监督学习算法进行加速

PCA的应用

PCA的错误使用：用PCA去防止过拟合，应该使用正则化

当运行太慢/需要的内存过大，才需要数据压缩去表示，或确定用原数据不能工作，才使用PCA。

❤️❤️❤️忙碌的敲代码也不要忘了浪漫鸭！