通俗地说，所谓最优化问题，就是求一个多元函数在某个给定集合上的极值. 几乎所有类型的最优化问题都可以用下面的数学模型来描述:
m
i
n
f
(
x
)
s
.
t
.
x
∈
Ω
min\ f({x})\\ s.t. \ {x}\in \Omega
min f(x)s.t. x∈Ω
这里,
Ω
\Omega
Ω是某个给定的集合(称为可行集或可行域),
f
(
x
)
f(\mathbf{x})
f(x)是定义在集合
Ω
\Omega
Ω上的实值函数,称为目标函数. 此外，在以上模型中，
x
=
(
x
1
,
x
2
,
⋯
,
x
n
)
T
x=(x_1,x_2,\cdots,x_n)^T
x=(x1,x2,⋯,xn)T通常称为决策变量, s.t. 是subject to (受限于) 的缩写.
人们通常按照可行集的性质对最优化问题进行一个大致的分类:
在工程设计中有着重要应用的非线性规划，其数学模型为
m
i
n
f
(
x
)
s
.
t
.
h
i
(
x
)
=
0
,
i
=
1
,
⋯
,
l
,
g
i
(
x
)
≥
0
,
i
=
1
,
⋯
,
m
,
其中，
f
(
x
)
,
h
i
(
x
)
,
g
i
(
x
)
f(x),h_i(x),g_i(x)
f(x),hi(x),gi(x)都是定义在
R
n
\mathbb{R}^n
Rn上连续可微的多元实值函数, 且至少有一个是非线性的. 记
E
=
{
i
:
h
i
(
x
)
=
0
}
,
I
=
{
i
:
h
i
(
x
)
≥
0
}
E=\{i:h_i(x)=0\},\ I=\{i:h_i(x)\geq0\}
E={i:hi(x)=0}, I={i:hi(x)≥0}
若指标集$E\cup I=\emptyset $称之为无约束优化问题，否则称为约束优化问题.
此外，通常把目标函数为二次函数而约束函数都是线性函数的优化问题称为二次规划；而目标函数和约束函数都是线性函数的优化问题称为线性规划.