【最优化理论】01-最优化理论基础

大纲

基础概念

最优化问题一般形式

无约束最优化问题

约束最优化问题

当目标函数和约束函数均为线性函数时，问题称为线性规划。
当目标函数和约束函数中至少有一个是变量x的非线性函数时，问题称为非线性规划。

根据决策变量、目标函数和要求的不同，最优化还分成了整数规划、动态规划、网络
规划、非光滑规划、随机规划、几何规划、多目标规划等若干分支。

本书主要研究求解无约束最优化问题(1.1.2)和约束最优化问题(1.1.3)的理论和方法，其中第三章至第七章研究无约束最优化问题，第八章至第十三章研究约束最优化问题，第十四章研究非光滑优化问题。

可行点

在线性规划与非线性规划中，满足约束条件的点称为可行点。

可行域/集

全体可行点组成的集合称为可行集或可行域。

无约束问题

如果一个问题的可行集是整个空间。那么此问题就称为无约束问题。

最优解

数学基础

向量范数

范数等价性

矩阵范数

矩阵范数性质

序列极限

聚点

根据定义易知，如果无穷序列有界，即存在正数M,使得对所有k均有|x(2)||≤M，则这个序列必有聚点。

Cauchy序列

连续&可微

梯度

稳定点（Stationary Point）

梯度为0的点。

鞍点（Saddle Point）

既不是极小值点，也不是极大值点的驻点。

Hesse矩阵

例：二次函数

Taylor展开式

Jacobi矩阵

链式法则

隐函数定理