机器学习基础知识

监督学习：回归和分类

无监督学习：聚类 用一张image去聚类然后生成一个3D空间图

强化学习：利用一个学习算法，通过一系列的决策，让他学会什么是好什么是坏。程序操控直升机，当他下降给他说：bad ，如果做了正确的事情，上升就说good，有一个reward函数，需要找一个更多的good和更少的bad。这样直升机就会学会更多的good操作来获取更多的奖励。

梯度下降：假设在一个三维小山坡，去找一个方向能让你下坡速度更快，就是梯度的方向，站到新的方向继续思考。（不同的初始起点，会造成不同的方向）

 随机梯度下降：用每一个样本计算一次误差然后走一步，顺序进行。所以整个过程都是无限接近最小值。

最小二乘法：

朴素贝叶斯：朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。而在属性相关性较小时，朴素贝叶斯性能最为良好。对于这一点，有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。

经验风险最小化：

机器学习笔记8: 经验风险最小化 - 简书https://www.jianshu.com/p/216feebdfdb7

特征选择：之所以要考虑特征选择，是因为机器学习经常面临过拟合的问题。 过拟合的表现是模型参数太贴合训练集数据，模型在训练集上效果很好而在测试集上表现不好，也就是在高方差。简言之模型的泛化能力差。过拟合的原因是模型对于训练集数据来说太复杂，要解决过拟合问题，一般考虑如下方法：

误差=偏差+方差，偏差=期望-真实值 方差：离散程度

如何理解过拟合=高方差、欠拟合=高偏差_再进步一点点的博客-CSDN博客_过拟合 高方差欠拟合=高偏差还好理解一些，一直不太明白过拟合和高方差有什么关系，那么我们首先就要理解各种 ‘差’ 的定义定义：我们评价一个模型好不好，是通过测试集的数据来评价的，而不是训练集或者交叉验证集，如果在测试集上预测数据表现得不好，那么我们就说这个训练出来的模型有很大的误差。那么误差来自于哪里呢？误差 = 偏差 + 方差在不写出这个式子时，很多人可能不会察觉误差和偏差有什么区别？因此总是想当然的认为误差和偏差是一个东西，这样就会造成我们无法理解方差是什么？误差：在测试集上，预测值和实际值之间存在的差距https://blog.csdn.net/tiaochewang219/article/details/107631221

1. 收集更多数据
2. 通过正则化引入对复杂度的惩罚
3. 选择更少参数的简单模型
4. 对数据降维（降维有两种方式：特征选择和特征抽取）

【机器学习】特征选择(Feature Selection)方法汇总 - 知乎介绍 特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方面，选取…https://zhuanlan.zhihu.com/p/74198735#:~:text=【机器学习】特征选择%20%28Feature%20Selection%29方法汇总%201%20收集更多数据,2%20通过正则化引入对复杂度的惩罚%203%20选择更少参数的简单模型%204%20对数据降维（降维有两种方式：特征选择和特征抽取）

主成分分析法：极大线性无关组=降维如何理解主成分分析法 （PCA） - 知乎什么是主成分分析法 主成分分析法：英文全名 Principal Component Analysis 简称 PCA ，由名字就可以看出来，这是一个挑重点分析的方法。主成分分析 法是通过 恰当 的数学变换 ，使新变量—— 主成分成为原变量 的…https://zhuanlan.zhihu.com/p/170398464

我们需要考虑删除哪一列信息可以使得损失最小？或者是通过变换数据就能使得损失信息更小？又如何度量信息的丢失量？原始数据的处理降维有哪些步骤？

 找一个新坐标系。能够找到一个主成分一（也就是新坐标X轴）上投影分布的方差最大的时候，说明主成分一保留着更多的原始信息，这个方向就是最好的一个坐标系。

用最直观的方式告诉你：什么是主成分分析PCA_哔哩哔哩_bilibiliPPT不提供不用问https://www.bilibili.com/video/BV1E5411E71z?spm_id_from=333.337.search-card.all.click&vd_source=1d56bba3304958bfdb80c190ceff8f70

 

奇异值分解：正交矩阵转置就是逆奇异值分解（SVD） - 知乎以下内容来自刘建平Pinard-博客园的学习笔记，总结如下：奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及…https://zhuanlan.zhihu.com/p/29846048

【学长小课堂】什么是奇异值分解SVD--SVD如何分解时空矩阵_哔哩哔哩_bilibiliPPT不提供不用问https://www.bilibili.com/video/BV16A411T7zX?spm_id_from=333.337.search-card.all.click&vd_source=1d56bba3304958bfdb80c190ceff8f70