机器学习 - 机器学习理论基础

目录

1. 机器学习的经验效用和理论理解

2. 机器学习的效用-理论矩阵

2.1. 右上象限：高理解、高效用

2.2. 右下象限：低理解，高效用

2.3. 左上象限：高理解，低效用

2.4. 左下象限：低理解，低效用

2.5. 效用-理论矩阵的特点

3. 效用-理论矩阵的三种理解机制

4. 参考

---

1. 机器学习的经验效用和理论理解

机器学习的一些领域的经验效用已经迅速超过了我们对基础理论的理解，其中的模型非常有效，但我们并不能完全确定其原因。相反，一些相对容易理解的研究领域则在实践中适用性有限。下面基于经验效用和理论理解，来探讨机器学习的各个子领域的进展。

所谓的经验效用是一种综合考量，它考虑方法的适用性广度、实现的难易程度，以及最重要的因素，即在现实世界中的有用程度。一些方法不仅有很高的实用性，而且具有更广泛的适用范围；而另一些方法虽然很强大，但仅限于特定的领域。可靠的、可预测的且没有明显缺陷的方法则被认为具有更高的效用。

所谓理论理解，就是要考虑模型的可解释性，即输入与输出之间是什么关系，怎样才能获得预期的结果，这种方法的内部机制是什么，并考量方法涉及文献的深度和完整性。理论理解程度低的方法在实现时通常会采用启发式方法或大量试错法；理论理解程度高的方法往往具有公式化的实现，具有强大的理论基础和可预测的结果。较简单的方法（如线性回归）具有较低的理论上限，而更复杂的方法（如深度学习）具有更高的理论上限。当谈到一个领域内文献的深度和完整性时，则根据该领域假设的理论上限来评估该领域，这在一定程度上依赖于直觉。

2. 机器学习的效用-理论矩阵

我们可以将矩阵构建为四个象限，坐标轴的交点代表一个假设的参考领域，具有平均理解和平均效用。这种方法使得我们能够根据各领域所在的象限以定性的方式解释它们，如下图所示，给定象限中的领域可能具有部分或全部该象限对应的特征。

一般来说，我们期望效用和理解是松散相关的，使得理论理解程度高的方法比理解程度低的更有用。这意味着大多数领域应位于左下象限或右上象限。远离左下 - 右上对角线的领域代表着例外情况。通常，实际效用应落后于理论，因为将新生的研究理论转化为实际应用需要时间。

2.1. 右上象限：高理解、高效用

线性回归（Linear Regression）是一种简单、易于理解且高效的方法。虽然经常被低估和忽视，但它的使用广度和透彻的理论基础让其处于图中右上角的位置。

传统的机器学习已经发展为一个高度理论理解和实用的领域。复杂的 ML 算法，例如梯度提升决策树（GBDT），已被证明在一些复杂的预测任务中通常优于线性回归。大数据问题无疑就是这种情况。可以说，对过参数化模型的理论理解仍然存在漏洞，但实现机器学习是一个精细的方法论过程，只要做得好，模型在行业内也能可靠地运行。然而，额外的复杂性和灵活性确实会导致出现一些错误，这导致机器学习位于线性回归的左侧。一般来说，有监督的机器学习（Supervised ML）比无监督机器学习（Unsupervised ML）更精细，更有影响力，但两种方法都有效地解决了不同的问题空间。

在某些情况下，贝叶斯模型（Bayesian methods）特别有用，但仅仅点估计是不够的，不确定性的估计很重要。然而贝叶斯模型在计算上也很昂贵，如果理论进步产生更好的采样和近似方法，那么它会具有更高的实用性。

2.2. 右下象限：低理解，高效用

与大多数领域的进展相反，深度学习（Deep Learning）取得了一些惊人的成功，尽管理论方面被证明从根本上难以取得进展。深度学习体现了一种鲜为人知的方法的许多特征：模型不稳定、难以可靠地构建、基于弱启发式进行配置以及产生不可预测的结果。诸如随机种子 “调优” 之类的可疑做法非常普遍，而且工作模型的机制也很难解释。然而，深度学习在计算机视觉和自然语言处理等领域继续进步，并取得超人水平的表现，为自动驾驶等原本难以攻克的任务打开了一个新世界。

这里假设通用人工智能（General AI）将占据右下角，因为根据定义，超级智能超出了人类的理解范围，可以用于解决任何问题。目前，它仅作为思想实验包含在内。

2.3. 左上象限：高理解，低效用

大多数形式的因果推理（Causal Inference）不是机器学习，但有时是，并且总是对预测模型感兴趣。因果关系可以分为随机对照试验 (RCT) 与更复杂的因果推理方法，后者试图从观察数据中测量因果关系。RCT 在理论上很简单并给出严格的结果，但在现实世界中进行通常既昂贵又不切实际，因此效用有限。

联邦学习（FL）的概念可以大致概括为：将模型引入数据，而不是将数据引入模型。联邦学习背后的基本理论和技术似乎足以让联邦学习得到更广泛的应用。

强化学习（RL）在国际象棋、围棋、扑克和 Dota 等游戏中达到了前所未有的能力水平。但在视频游戏和模拟环境之外，强化学习还没有令人信服地转化为现实世界的应用程序。机器人技术本应成为强化学习的下一个前沿领域，但这并没有实现，现实似乎比受限程度很高的的游戏环境更具挑战性。

2.4. 左下象限：低理解，低效用

图神经网络（GNN）现在是机器学习中一个非常热门的领域，在多个领域都取得了可喜的成果。但是对于其中许多示例，尚不清楚 图神经网络是否比使用更传统的结构化数据与深度学习架构配对的替代方法更好。与大多数领域相比，用于大规模训练图神经网络的开源工具与工业中使用的内部工具之间似乎存在很大差异，这限制了大型图神经网络在这些围墙花园之外的可行性。该领域的复杂性和广度表明理论上限很高，因此图神经网络应该有成熟的空间并令人信服地展示某些任务的优势，这将导致更大的实用性。

可解释的机器学习（IML）是一个重要且有前途的领域。SHAP 和 LIME 等技术已经成为真正有用的工具来询问机器学习模型。可解释的机器学习目前的主要弱点是它没有解决我们真正感兴趣的因果问题。可解释的机器学习解释了模型如何进行预测，但没有解释底层数据与模型之间的因果关系。

量子机器学习（QML）还需耐心等待可行的量子计算机。

2.5. 效用-理论矩阵的特点

效用-理论矩阵每个象限有如下特点：

3. 效用-理论矩阵的三种理解机制

对于经验效用与理论理解矩阵，有三种主要的机制可以贯穿整个领域：渐进式进步、技术飞跃和范式转变。

渐进式进展是缓慢而稳定的进展，它在矩阵的右侧向上移动。过去几十年的监督机器学习就是一个很好的例子，在此期间，越来越有效的预测算法被改进和采用，为我们提供了我们今天喜欢的强大工具箱。渐进式进步是所有成熟领域的现状，除了由于技术飞跃和范式转变而经历更剧烈变化的时期之外。

由于技术的飞跃，一些领域的科学进步发生了阶梯式的变化。深度学习领域并不是由它的理论基础打开的，理论基础在2010之后深度学习热潮兴起的20多年前就被发现了，而是由消费级 GPU 实现的并行处理刺激了它的复兴。技术飞跃通常表现为沿着经验效用轴向右的飞跃。然而，并非所有技术主导的进步都是飞跃。如今，深度学习的特点是通过使用更强大的计算能力和越来越专业化的硬件来训练越来越大的模型，从而实现渐进式的进步。

在这个框架内科学进步的最终机制是范式转变。范式转变代表了科学学科的基本概念和实验实践的重要变化。Donald Rubin 和 Judea Pearl 开创的因果框架就是这样一个例子，它将因果关系领域从随机对照试验和传统统计分析提升为更强大的数学化学科，形式为因果推理。范式转变通常表现为理解的向上运动，这可能会跟随或伴随着效用的增加。

4. 参考

1. Utility vs Understanding: the State of Machine Learning Entering 2022