机器学习算法（二十四）：启发式算法优化机器学习算法

一、数学优化

数学优化是寻找最大化（或最小化）函数输出的最佳输入集的过程。在优化领域，被优化的函数称为目标函数。存在大量用于解决优化问题的开箱即用工具，尽管这些工具仅适用于表现良好的函数，也称为凸函数。行为良好的函数包含一个最优值，无论是最大值还是最小值。在这里，我们可以将函数视为具有单个山谷（最小）和/或山丘（最大）的表面。因此，非凸函数就像具有多个山谷和丘陵的表面。

凸函数的优化