数据拟合问题要求拟合函数与被拟合函数在所有结点处的误差在总体上达到最小；而插值问题则要求插值函数与被插值函数在每一个插值结点处的误差均为零。
不一定是线性函数, 如: φ ( x ) = a 0 + a 1 cos ( π 12 x ) + a 2 sin ( π 12 x ) \varphi(x)=a_0+a_1 \cos \left(\frac{\pi}{12} x\right)+a_2 \sin \left(\frac{\pi}{12} x\right) φ(x)=a0+a1cos(12πx)+a2sin(12πx) 就不是线性函数
方程组中方程个数多于末知数个数的这一类方程组被称为超定方程组。可利用残差对于一般的超定方程组 A x = b A x=b Ax=b, 可利用残差 r = A x − b r=A x-b r=Ax−b 取 2-范数, 建立最小值问题求解。其算法的主要过程是, 求出方程组系数矩阵的转置矩阵 A T A^T AT 然后计算矩阵 D = A T A D=A^T A D=ATA 和向量 f = A T b f=A^T b f=ATb, 最后求解正规方程组 D x = f D x=f Dx=f, 由此得超定方程组的最小二乘解。
一般情况下，超定方程组没有解，超定方程组的最小二乘解它实际上是一种广义解，所以如果超定方程组退化为正常的适定方程组（即G是可逆方阵），则最小二乘解也就回归到经典意义的解。
三点数据平滑公式本质上针对三个数据点，取线性函数做数据拟合，导出的计算公式为三个相邻数据的算术平均
设函数
f
(
x
)
f(x)
f(x) 为
[
a
,
b
]
[\mathrm{a}, \mathrm{b}]
[a,b] 上的连续函数, 若存在
S
∗
(
x
)
∈
span
{
φ
0
(
x
)
,
φ
1
(
x
)
,
…
,
φ
n
(
x
)
}
S^*(x) \in \operatorname{span}\left\{\varphi_0(x), \varphi_1(x), \ldots, \varphi_n(x)\right\}
S∗(x)∈span{φ0(x),φ1(x),…,φn(x)}
使得
∫
a
b
ρ
(
x
)
[
f
(
x
)
−
S
∗
(
x
)
]
2
d
x
=
min
a
≤
x
≤
b
∫
a
b
ρ
(
x
)
[
f
(
x
)
−
S
(
x
)
]
2
d
x
\int_a^b \rho(x)\left[f(x)-S^*(x)\right]^2 d x=\min _{a \leq x \leq b} \int_a^b \rho(x)[f(x)-S(x)]^2 d x
∫abρ(x)[f(x)−S∗(x)]2dx=mina≤x≤b∫abρ(x)[f(x)−S(x)]2dx
其中
S
∗
(
x
)
=
span
{
1
,
x
,
x
2
,
x
3
,
…
,
x
n
}
S^*(x)=\operatorname{span}\left\{1, x, x^2, x^3, \ldots, x^n\right\}
S∗(x)=span{1,x,x2,x3,…,xn} 表示由基底
1
,
x
,
x
2
,
x
3
,
…
,
x
n
1, x, x^2, x^3, \ldots, x^n
1,x,x2,x3,…,xn 生成的普通多 项式的集合, 则称
S
∗
(
x
)
S^*(x)
S∗(x) 是
f
(
x
)
f(x)
f(x) 在集合
span
{
φ
0
(
x
)
,
φ
1
(
x
)
,
…
,
φ
n
(
x
)
}
\operatorname{span}\left\{\varphi_0(x), \varphi_1(x), \ldots, \varphi_n(x)\right\}
span{φ0(x),φ1(x),…,φn(x)} 中的最佳平 方逼近函数。
向量范数：向量x的2-范数是x中各个元素平方之和再开根号；
函数范数：函数f(x)的2-范数是x在区间（a,b）上f(x)的平方的积分再开根号。
希尔伯特矩阵是正定矩阵, 证明:
设
f
(
t
)
=
∑
i
=
1
n
x
i
t
i
−
1
,
X
=
[
x
1
,
x
2
,
…
,
x
n
]
T
f(t)=\sum_{i=1}^n x_i t^{i-1}, X=\left[x_1, x_2, \ldots, x_n\right]^T
f(t)=∑i=1nxiti−1,X=[x1,x2,…,xn]T,
A
\mathrm{A}
A 为
n
\mathrm{n}
n 阶希尔伯特矩阵, 则对于
X
≠
0
X \neq 0
X=0, 一定有
∫
0
1
(
f
(
t
)
)
2
d
t
>
0
(
1
)
∫
0
1
(
f
(
t
)
)
2
d
t
=
∫
0
1
(
∑
i
=
1
n
x
i
t
i
−
1
)
d
t
=
∫
0
1
(
∑
i
=
1
n
x
i
t
i
−
1
)
(
∑
j
=
1
n
x
j
t
j
−
1
)
d
t
=
∑
i
=
1
n
∑
j
=
1
n
∫
0
1
x
i
x
j
t
i
−
1
t
j
−
1
d
t
=
∑
i
=
1
n
∑
j
=
1
n
x
i
x
j
i
+
j
−
1
=
X
T
A
X
由(1)知对于任意
X
≠
0
X \neq 0
X=0, 有
X
T
A
X
>
0
X^T A X>0
XTAX>0, 所以希尔伯特矩阵是正定的。
利用一般的多项式求解最佳平方逼近,当阶级数较大时容易发生病变。这是因为在求解过程中四舍五入造成的误差,使得求出的解误差很大.这时采用正交多项式作为基底可以保证解的稳定性,并且减少误差,计算起来也十分的简便。利用正交多项式的优势,将其应用于最佳平方逼近中求解最佳平方逼近多项式，这在科学研究中起到了巨大的作用。目前利用正交多项式在最佳平方逼近中的应用这一特点，在数学领域、物理领域、电学领域中都有着广泛的应用。