机器学习（七）：线性判别分析（LDA)

一、什么是线性判别分析？

逻辑回归是一种传统上仅限于两个分类的分类问题分类算法。如果你有两个以上的类，则线性判别分析算法是首选的线性分类技术，因此该算法有效的补充了逻辑回归的缺点。它用于对组中的差异进行建模，即分离两个或多个类，它将高维空间中的特征投影到低维空间中。

线性判别分析是机器学习中用于监督分类问题的最流行的降维技术之一。

二、线性判别分析原理

线性判别分析被用作机器学习中的一种降维技术，使用它我们可以轻松地将 2-D 和 3-D 图转换为一维平面。

让我们考虑一个示例，其中我们在具有 XY 轴的二维平面中有两个类，我们需要对它们进行有效分类。LDA 使我们能够绘制一条可以完全分离两类数据点的直线。在这里，LDA 使用 XY 轴通过使用直线将它们分开并将数据投影到新轴上来创建新轴。

因此，我们可以最大化这些类之间的分离并将二维平面减少为一维：