将线性方程组中的系数矩阵A分成三个部分，A = D - L - U 设
a
i
i
≠
0
(
i
=
1
,
2
,
…
n
)
a_{i i} \neq 0 (i=1,2, \ldots n)
aii=0(i=1,2,…n), 选取
M
\mathrm{M}
M 为
A
\mathrm{A}
A 的对角元素部分, 即选取
M
=
D
\mathrm{M}=\mathrm{D}
M=D （对角矩阵),
A
=
D
−
N
\mathrm{A}=\mathrm{D}-\mathrm{N}
A=D−N, 所以
A
x
=
b
\mathrm{Ax}=\mathrm{b}
Ax=b 的雅可比迭代法
{
x
(
0
)
, 初始向量,
x
(
k
+
1
)
=
B
x
(
k
)
+
f
,
k
=
0
,
1
,
…
\left\{
B
=
I
−
M
−
1
A
=
M
−
1
(
M
−
A
)
,
f
=
M
−
1
b
B=I-M^{-1} A=M^{-1}(M-A), f=M^{-1} b
B=I−M−1A=M−1(M−A),f=M−1b
所以,
B
=
I
−
D
−
1
A
=
D
−
1
(
L
+
U
)
≡
J
，
f
=
D
−
1
b
B=I-D^{-1} A=D^{-1}(L+U) \equiv J ， f=D^{-1} b
B=I−D−1A=D−1(L+U)≡J，f=D−1b, 称
J
J
J 为解
A
x
=
b
A x=\mathrm{b}
Ax=b 的雅可比迭 代法的迭代矩阵。
对于给定的线性方程组
x
=
B
x
+
f
x=B x+f
x=Bx+f, 设有唯一解
x
∗
x^*
x∗ 则
x
∗
=
B
x
∗
+
f
x^*=B x^*+f
x∗=Bx∗+f, (1)
又设
x
(
0
)
x^{(0)}
x(0) 为任取的初始向量, 按下述公式构造向量序列
x
(
k
+
1
)
=
B
x
k
+
f
,
k
=
0
,
1
,
2
,
…
x^{(k+1)}=B x^k+f, k=0,1,2, \ldots
x(k+1)=Bxk+f,k=0,1,2,… (2)
引进误差向量
ε
(
k
+
1
)
=
x
(
k
+
1
)
−
x
∗
\varepsilon^{(k+1)}=x^{(k+1)}-x^*
ε(k+1)=x(k+1)−x∗, 由 (2) 式减去 (1) 式得
ε
(
k
+
1
)
=
B
ε
(
k
)
\varepsilon^{(k+1)}=B \varepsilon^{(k)}
ε(k+1)=Bε(k), 递推得
ε
(
k
)
=
B
ε
(
k
−
1
)
=
⋯
=
B
k
ε
(
0
)
\varepsilon^{(k)}=B \varepsilon^{(k-1)}=\cdots=B^k \varepsilon^{(0)}
ε(k)=Bε(k−1)=⋯=Bkε(0)
设
A
∈
C
m
n
A \in C^{m n}
A∈Cmn, 形如
∑
i
=
1
∞
c
k
A
k
=
c
0
I
+
c
1
A
+
c
2
A
2
+
⋯
+
c
k
A
k
+
⋯
\sum_{i=1}^{\infty} c_k A^k=c_0 I+c_1 A+c_2 A^2+\cdots+c_k A^k+\cdots
∑i=1∞ckAk=c0I+c1A+c2A2+⋯+ckAk+⋯ 的矩阵称为矩阵 的幂级数。
由矩阵幂级数定理可知, 设
A
∈
C
m
n
A \in C^{m n}
A∈Cmn, 并且幂级数
∑
i
=
1
∞
c
k
A
k
\sum_{i=1}^{\infty} c_k A^k
∑i=1∞ckAk 的收敛半径为
R
R
R, 如果
ρ
(
A
)
<
R
\rho(A)
所以, 当迭代矩阵 B 的谱半径
ρ
(
B
)
<
1
\rho(B)<1
ρ(B)<1 时, 由迭代矩阵构成的幂级数
∑
i
=
1
∞
c
k
B
k
\sum_{i=1}^{\infty} c_k B^k
∑i=1∞ckBk 是收敛的.
对于任何 A ϵ R n × n , ∥ ⋅ ∥ A \epsilon R^{n \times n},\|\cdot\| AϵRn×n,∥⋅∥ 为任何一种算子范数, 则 ρ ( A ) ≤ ∥ A ∥ \rho(A) \leq\|A\| ρ(A)≤∥A∥, 如果 A ∈ R n × n A \in R^{n \times n} A∈Rn×n 为对称矩阵时, 则 ∥ A ∥ 2 = ρ ( A ) \|A\|_2=\rho(A) ∥A∥2=ρ(A)
设
x
∗
x^*
x∗ 为方程组
A
x
=
b
\mathrm{Ax}=\mathrm{b}
Ax=b 的解, 若
∥
B
∥
<
1
\|B\|<1
∥B∥<1, 则对迭代格式
x
(
k
+
1
)
=
B
x
(
k
)
+
f
x^{(k+1)}=B x^{(k)}+f
x(k+1)=Bx(k)+f
有
∥
x
(
k
)
−
x
∗
∥
≤
∥
B
∥
1
−
∥
B
∥
∥
x
(
k
)
−
x
(
k
−
1
)
∥
\left\|x^{(k)}-x^*\right\| \leq \frac{\|B\|}{1-\|B\|}\left\|x^{(k)}-x^{(k-1)}\right\|
∥
∥x(k)−x∗∥
∥≤1−∥B∥∥B∥∥
∥x(k)−x(k−1)∥
∥
定理：设Ax=b如果：
（1） A为严格对角占优矩阵，则解Ax=b的雅可比迭代法，高斯-赛德尔迭代法均收敛。
（2） A为弱对角占优矩阵，且A为不可约矩阵，则解 Ax = b 的雅可比迭代法，高斯-赛德尔迭代法均收敛。
所以，当系数矩阵A为严格对角占优矩阵时可用雅可比迭代法或赛德迭代法求解方程组。当系数矩阵A为弱对角占优矩阵，且A为不可约矩阵时，可用雅可比迭代法或赛德迭代法求解方程组。
若
A
\mathrm{A}
A 为实对称正定矩阵, 则高斯赛德尔法一定收玫, 但雅可比法则不一定收 敛。
定理: 设矩阵
A
\mathrm{A}
A 对称, 且对角元
a
i
i
>
0
,
(
i
=
1
,
2
,
…
n
)
a_{i i}>0,(i=1,2, \ldots n)
aii>0,(i=1,2,…n) 则
（1）解线性方程组
A
x
=
b
A x=b
Ax=b 的雅可比迭代法收敛的充分必要条件是 A 及 2D - A 均为正定矩阵, 其中
D
=
d
i
a
g
(
a
11
,
a
22
,
⋯
a
n
n
)
\mathrm{D}=\mathrm{diag}\left(a_{11}, a_{22}, \cdots a_{n n}\right)
D=diag(a11,a22,⋯ann) 。
n
\mathrm{n}
n 解线性方程组
A
x
=
b
A x=b
Ax=b 的高斯赛德尔法收敛的充分必要条件是
A
A
A 正定。
设 A 对称正定, 若
R
n
R^n
Rn 中向量组
{
p
(
0
)
,
p
(
1
)
,
…
p
(
m
)
}
\left\{p^{(0)}, p^{(1)}, \ldots p^{(m)}\right\}
{p(0),p(1),…p(m)} 满足
(
A
p
(
i
)
,
p
(
j
)
)
=
0
,
i
≠
j
,
i
,
j
=
0
,
1
,
…
m
,
\left(A p^{(i)}, p^{(j)}\right)=0, i \neq j, i, j=0,1, \ldots m,
(Ap(i),p(j))=0,i=j,i,j=0,1,…m,
则称它为
R
n
R^n
Rn 中的一个
A
\mathrm{A}
A-共轭向量组或称
A
\mathrm{A}
A-正交向量组, 显然, 当
m
<
n
m
对于一个系数矩阵是对称正定矩阵的线性方程组, 求解过程可以与一个多元二次函数的极小值点相联系, 这就是简单的变分原理。初等变分原理可以归结为下述定理:
设
A
=
(
a
i
j
)
n
×
n
\mathrm{A}=\left(a_{i j}\right)_{n \times n}
A=(aij)n×n 为实对称正定矩阵,
b
,
x
∈
R
n
b, x \in R^n
b,x∈Rn, 则
x
\mathrm{x}
x 使得二次函数
f
(
x
)
=
1
2
x
T
A
x
−
b
T
x
f(x)=\frac{1}{2} x^T A x-b^T x
f(x)=21xTAx−bTx 取极小值的充分必要条件是
x
\mathrm{x}
x 是线性方程组
A
x
=
b
\mathrm{Ax}=\mathrm{b}
Ax=b 的解。
应用: