1.LR

LR：逻辑回归，对数据进行二分

原理

逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

损失函数

思路：

(1) $h_{\theta }$($x_i$) = sigmoid（w$x_i$ + b）
(2) 代入损失函数计算，梯度下降更新参数θ
(3) 反复执行(2)直到收敛

2.svm

svm：支持向量机，一个二分类器

原理

找到一个超平面，最大化两边数据点的间隔。

损失函数

一个铰链损失函数(hinge loss)+正则化

思路

升级

核函数

在低维度的时候无法对数据进行分类，可以将数据映射到高维度再找到一个超平面对数据进行分类，映射到高维度之后参数和数据$x_i$内积之后进行分类。如果能够在一个低维度就得到高维度的内积结果，就不用显示的映射过去了。核函数就是这样的一个函数，在低维度就能求得高维度后的内积结果。
第维度无法分类，高维度就可以的例子如下：
常用的核函数有如下：

选用的方法

松弛变量

软间隔，增加容错率。有些点线性划分不了就允许它错误。

3.PCA

pca：主要成分分析，对数据进行降维

思路

对于一个训练集，100个对象模板，特征是10维，那么它可以建立一个10010的矩阵，作为样本。求这个样本的协方差矩阵，得到一个1010的协方差矩阵，然后求出这个协方差矩阵的特征值和特征向量，应该有10个特征值和特征向量，我们根据特征值的大小，取前四个特征值所对应的特征向量，构成一个104的矩阵，这个矩阵就是我们要求的特征矩阵，10010的样本矩阵乘以这个104的特征矩阵，就得到了一个1004的新的降维之后的样本矩阵，每个特征的维数下降了。

4. LDA

LDA：线性判别分析，也是用来降维的，有监督学习

原理

找到一个低维度的投影面，将原始数据投影到这个投影面，使得每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。
LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”

损失函数

思路

5.决策树

决策树：决定先以哪个特征进行分类
怎么决定：计算每个特征的信息增益
怎么计算信息增益，例子如下

6.K-means

思路

选择K个点作为初始质心
repeat
	将每个点指派到最近的质心，形成K个簇
	重新计算每个簇的质心
until 簇不发生变化或达到最大迭代次数
1
2
3
4
5

7.KNN

思路

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

下面通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

8. 朴素贝叶斯

9. 集成学习

https://www.cnblogs.com/liuwu265/p/4690486.html