第一章 矩阵与线性方程组（二十五）

1. 举例Hadamard积的应用

令观测数据模型由
$$x_k=A{s}_k,k=1,2,\dots ,N$$
给出，其中$x_k$和$s_k$分别是$k$时刻的$m$维观测向量和$n$维源信号向量，$A$是表示信号线性混合状况的矩阵，称为混合矩阵。
现在，希望自适应更新权矩阵$W_k$，使得
$$y_k=W_k{x}_k$$
是信号向量$s_k$的估计。这个问题称为盲信号分离问题。
盲信号分离有三种典型的最小均方(LMS)型自适应算法:
自然梯度算法，EASI算法和迭代求逆算法。

这三类算法更新权矩阵的公式可以统一写作
$$W_{k+1}=W_k+{\eta }_{k}G(y_k)W_k\text{\hspace{1em}(1)}$$
不同的算法体现在非线性函数$G(y_k)$的选择不同。式中，$n_k$称为学习步长或者学习速率，它的选择决定自适应算法的收敛速率和信号跟踪性能。
当学习速率${\eta }_k$固定时，要兼顾收敛速率和信号恢复质量是困难的。因此，${\eta }_k$通常取时变函数。最简单的做法是取时间递减函数，更好的选择是采用自适应的学习速率，但它们都没有和信号的分离状态或者相依性直接挂钩，效果有限。为了克服这缺陷，提出了分阶段学习的盲信号分离算法:
$$W_{k+1}=W_k+{\Lambda }_k\odot G(y_k)W_k\text{\hspace{1em}(2)}$$
即使用学习速率矩阵$A_k$取代一维的学习速率${\eta }_k$。式中，$A\odot B$表示矩阵$A$和$B$的Hadamard积。

整个信号分离过程分为三个阶段，每个阶段使用的学习速率矩阵不同:
(1)初始阶段:为加速混合信号的分离，对所有信号分量采用大的学习速率${\eta }_k$。此时，学习速率矩阵取${\Lambda }_k={\eta }_{k}I$,(2)式的盲信号分离算法取(1)式的形式。
(2)捕捉阶段:为了捕捉到所有的信号分量，并考虑到有的信号可能已被分离或者被部分分离，因此对所有信号分量采用相同学习速率不再是最优。为了在跟踪已分离信号的同时，加速捕捉未分离的信号，宜对不同的信号采用不同的学习速率:根据分离的程度(其测度为不同信号之间的二阶和高阶相关系数)，分离程度越好的信号使用越小的学习速率;反之，分离程度越差的信号使用越大的学习速率。具体而言，此阶段取学习速率矩阵KaTeX parse error: Undefined control sequence: \Lambbda at position 1: \̲L̲a̲m̲b̲b̲d̲a̲_k=D_k为对角矩阵，对角元素对应为不同信号分量的学习速率。此时，盲信号分离算法式简化为
$$W_{k+1}=W_k+D_{k}G(y_k)W_k\text{\hspace{1em}(3)}$$
因为$D_k\odot G(y_k)=D_{k}G(y_k)$。
(3)跟踪阶段:一旦捕捉到所有的信号分量，信号分离便进入跟踪阶段。在本阶段，学习速率矩阵${\Lambda }_k$的各个元素取小的值，盲信号分离算法取(2)式的形式。

2.矩阵化函数和向量化函数

矩阵与向量之间存在相互转换的函数。
定义
一个$mn\times 1$向量$a=[a_1,a_2,\dots ,a_{mn}{]}^T$的矩阵化函数$unve{c}_{m,m}$是一个将$mn$个元素的列向量转化为$m\times n$矩阵的算子，即
u n v e c m , n ( a ) = A m × n = [ a 1 a m + 1 ⋯ a m ( n − 1 ) + 1 a 2 a m + 2 ⋯ a m ( n − 1 ) + 2 ⋮ ⋮ ⋮ a m a 2 m ⋯ a m n ] unvec_{m,n}(a)=A_{m\times n}=

unvecm,n​(a)=Am×n​=⎣ ⎡​a1​a2​⋮am​​am+1​am+2​⋮a2m​​⋯⋯⋯​am(n−1)+1​am(n−1)+2​⋮amn​​⎦ ⎤​
相反，若$A=[a_{ij}]$是一个$m\times n$矩阵，则$A$的向量化函数$vec(A)$是一个$mn\times 1$向量，其元素是$A$的元素的字典式排序，即
[ a 11 ⋮ a m 1 ⋮ a 1 n ⋮ a m n ]

[a11⋮am1⋮a1n⋮amn]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢a11⋮am1⋮a1n⋮amn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥$$\left[\begin{array}{c}{a}_{11}\\ ⋮\\ a_{m1}\\ ⋮\\ a_{1n}\\ ⋮\\ a_{mn}\end{array}\right]$$

⎣ ⎡​a11​⋮am1​⋮a1n​⋮amn​​⎦ ⎤​
矩阵元素的字典式排序也称按列堆栈。

根据定义，矩阵化算子和向量化算子有以下关系:
$$unve{c}_{m,n}(a)=A_{m\times n}\Rightarrow vec(A_{m\times n})=a$$
矩阵也可以按行堆栈为行向量，称为矩阵的行向量化，用符号
$rvec(A)$表示，定义为
$$rvec(A)=[a_{11},\dots ,a_{1n},...,a_{m1},\dots ,a_{mn}$$
注意，矩阵的向量化结果为列向量，行向量化结果为行向量。显然，矩阵的向量化和行向量化之间存在以下关系;
$$rvcc(A)=(vec(A^T){)}^T，vec(A^T)=(rvec(A){)}^T$$

对一幅图像进行采样，采样数据组成一矩阵。为了传送图像信号，通常先按行扫描，然后将各行数据串接起来。因此，这是一种典型的行向量化。

根据定义，容易证明矩阵的向量化算子vec与迹之间有以下关系:
$$tr(A^{T}B)=(vec(A){)}^{T}vec(B)$$
$m\times n$矩阵$A$和$B$的Hadamard积的向量化函数为
$$vec(A\odot B)=vec(A)\odot vec(B)$$
$$vec(A\odot B)=diag(vec(A))vec(B)=diag(vec(B))vec(A)$$
式中，$diag(vec(A))$表示用向量化函数$vec(A)$的各个元素依次为对角元素的对角矩阵。
显然，对于一个$m\times n$矩阵$A$，向量$vec(A)$和$vec(A^T)$含有相同的元素，但排列次序不同。因此，存在一个唯一的$mn\times mn$置换矩阵，可以将$vec(A)$变换为$vec(A^T)$。这一置换矩阵称为交换矩阵，记作$K_{mn}$，即其满足
$$K_{mn}vec(A)=vec(A^T)$$
容易验证交换矩阵具有以下性质:
$$K_{mn}^T=K_{mn}^{-1}=K_{nm}$$
由于$K_{mn}^T{K}_{mn}=K_{mn}{K}_{mn}^T=I_{mn}$，故交换矩阵$K_{mn}$为正交矩阵。
$mn\times mn$交换矩阵$K_{mn}$的构造方法如下:每一行只赋一个元素1，其他元素全部为0。首先，第1行第1个元素为1，然后这个1元素右移m位，变成第2行该位置的1元素。第2行该位置的1元素右移m位，又变成第3行该位置的1元素。依此类推，找到下一行1元素的位置。但是，如果向右移位时超过第mn列，则应该转到下一行继续移位，并且多移1位，并在此位置赋1。例如，
K 24 = [ 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 1 ] , K 42 = [ 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 1 ] , K_{24}=

,K_{42}= , K24​=⎣ ⎡​10000000​00001000​01000000​00000000​00000100​00100000​00000010​00010000​00000001​⎦ ⎤​,K42​=⎣ ⎡​10000000​00100000​00001000​00000010​01000000​00000000​00010010​00000100​00000001​⎦ ⎤​,
因此，交换矩阵$K_{mn}$和$K_{nm}$是唯一确定的。以矩阵$A_{4\times 2}$为例，显然
K 42 v e c ( A ) = [ 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 1 ] [ a 11 a 21 a 31 a 41 a 12 a 22 a 32 a 42 ] = [ a 11 a 12 a 13 a 14 a 22 a 31 a 32 a 42 ] = v e c ( A T ) K_{42}vec(A) =

[100000000000010000010000000000000100001000000000000010000100100000000001]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢100000000010000000001000000000100100000000000000000100100000010000000001⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥$$\left[\begin{array}{ccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 1& 0& 0& 0& 0\\ 0& 1& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 1& 0& 0\\ 0& 0& 1& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 1& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1\end{array}\right]$$

[a11a21a31a41a12a22a32a42]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢a11a21a31a41a12a22a32a42⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥$$\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ a_{31}\\ a_{41}\\ a_{12}\\ a_{22}\\ a_{32}\\ a_{42}\end{array}\right]$$

=

[a11a12a13a14a22a31a32a42]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢a11a12a13a14a22a31a32a42⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥$$\left[\begin{array}{c}{a}_{11}\\ a_{12}\\ a_{13}\\ a_{14}\\ a_{22}\\ a_{31}\\ a_{32}\\ a_{42}\end{array}\right]$$

=vec(A^T) K42​vec(A)=⎣ ⎡​10000000​00100000​00001000​00000010​01000000​00000000​00010010​00000100​00000001​⎦ ⎤​⎣ ⎡​a11​a21​a31​a41​a12​a22​a32​a42​​⎦ ⎤​=⎣ ⎡​a11​a12​a13​a14​a22​a31​a32​a42​​⎦ ⎤​=vec(AT)

3. Kronecker积

Kronecker积是表示矩阵特殊乘积的一种简洁数学符号。一个$m\times n$矩阵$A$和一个$p\times q$矩阵$B$的Kronecker积记作$A\otimes B$，它是一个$mp\times nq$矩阵。
定义 (右Kronecker积)
$m\times n$矩阵$A$和$p\times q$矩阵$B$的右Kronecker积$A\otimes B$定义为
A ⊗ B = [ a i j B ] = [ a 11 B a 12 B ⋯ a 1 n B a 21 B a 22 B ⋯ a 2 n B ⋮ ⋮ ⋮ a m 1 B a m 2 B ⋯ a m n B ] A \otimes B=[a_{ij}B]=

A⊗B=[aij​B]=⎣ ⎡​a11​Ba21​B⋮am1​B​a12​Ba22​B⋮am2​B​⋯⋯⋯​a1n​Ba2n​B⋮amn​B​⎦ ⎤​
定义 (左Kronecker积)
$m\times n$矩阵$A$和$p\times g$矩阵$B$的左Kronecker
积$A\otimes B$定义为
[ A ⊗ B ] l e f t = [ A b i j ] = [ A b 11 A b 12 ⋯ A b 1 q A b 21 A b 22 ⋯ A b 2 q ⋮ ⋮ ⋮ A b p 1 A b p 2 ⋯ A b b q ] [A \otimes B]_{left}=[Ab_{ij}]=

[Ab11Ab12⋯Ab1qAb21Ab22⋯Ab2q⋮⋮⋮Abp1Abp2⋯Abbq]" role="presentation" style="position: relative;">⎡⎣⎢⎢⎢⎢⎢Ab11Ab21⋮Abp1Ab12Ab22⋮Abp2⋯⋯⋯Ab1qAb2q⋮Abbq⎤⎦⎥⎥⎥⎥⎥$$\left[\begin{array}{cccc}A{b}_{11}& A{b}_{12}& \cdots & A{b}_{1q}\\ A{b}_{21}& A{b}_{22}& \cdots & A{b}_{2q}\\ ⋮& ⋮& & ⋮\\ A{b}_{p1}& A{b}_{p2}& \cdots & A{b}_{bq}\end{array}\right]$$

[A⊗B]left​=[Abij​]=⎣ ⎡​Ab11​Ab21​⋮Abp1​​Ab12​Ab22​⋮Abp2​​⋯⋯⋯​Ab1q​Ab2q​⋮Abbq​​⎦ ⎤​
容易看出，如果用右Kronecker积的形式书写，则左Kronecker积可写成$[A\otimes B{]}_{left}=B\otimes A$。由于这一原因，为了避免混淆，今后将对Kronecker积采用右Kronecker积的定义，除非另有申明。

Kronecker积也称直积或者张量积。若
矩阵$A_{m\times n}=a{b}^T$，则
$$vec(a{b}^T)=b\otimes a$$
如下面的定理所述，向量化算子的这一性质公式可以推广为矩阵乘积的向量化公式。
定理
令$A_{m\times p},B_{p\times q},C_{q\times n}$，则
$$vec(ABC)=(C^T\otimes A)vec(B)$$

定理的两个特例:
(1)若$A$为单位矩阵$I_m$，而$B\in R^{m\times q},C\in R^{q\times n}$，则
$$vec(BC)=(C^T\otimes I_m)vec(B)=(C^T\otimes B)vec(I_q)=(I_n\otimes B)vec(C)$$
(2)若$C=d$为$q$向量，则
$$ABd=vec(ABd)=(d^T\otimes A)vec(B)=(A\otimes d^T)vec(B^T)$$

Kronecker积具有以下性质。
(1)对于矩阵$A_{m\times n}$和$B_{p\times q}$，一般有$A\otimes B\ne B\otimes A$。
(2)任意矩阵与零矩阵的Kronecker积等于零矩阵，即$A\otimes O=O\otimes A=O$。
(3)若$\alpha$和$\beta$为常数，则
$$\alpha A\otimes \beta B=\alpha \beta (A\otimes B)$$
(4)对于矩阵$A_{m\times n},B_{n\times k},C_{l\times p},D_{p\times q}$，有
$$AB\otimes CD=(A\otimes C)(B\otimes D)$$
(5)对于矩阵$A_{m\times n},B_{p\times q},C_{p\times q}$，有
$$A\otimes (B\pm C)=A\otimes B\pm A\otimes C$$
$$(B\pm C)\otimes A=B\otimes A\pm C\otimes A$$
(6)若矩阵$A$和$B$分别有广义逆矩阵$A^{+}$和$B^{+}$，则
$$(A\otimes B{)}^{+}=A^{+}\otimes B^{+}$$
特别地，若$A$和$B$是可逆的正方矩阵，则
$$(A\otimes B{)}^{-1}=A^{-1}\otimes B^{-1}$$
(7)对于矩阵$A_{m\times n}$，$B_{p\times q}$，有
$$(A\otimes B{)}^T=A^T\otimes B^T$$
$$(A\otimes B{)}^H=A^H\otimes B^H$$
(8)对于矩阵$A_{m\times n}$，$B_{p\times q}$，有
$$rank(A\otimes B)=rank(A)rank(B)$$
(9)若$A$是$m\times m$矩阵，$B$是$n\times n$矩阵，则
$$det(A\otimes B)=(det(A){)}^n(det(B){)}^m$$
(10)若$A$是$m\times m$矩阵，$B$是$n\times n$矩阵，则
$$tr(A\otimes B)=tr(A)tr(B)$$
(11)对于矩阵$A_{m\times n},B_{m\times n}，C_{p\times q}，D_{p\times q}$，有
$$(A+B)\otimes (C+D)=A\otimes C+A\otimes D+B\otimes C+B\otimes D$$
更一般地，有
[ ∑ i = 1 M A ( i ) ] ⊗ [ ∑ j = 1 N B ( j ) ] = ∑ i = 1 M ∑ j = 1 N [ A ( i ) ⊗ B ( j ) ]

\otimes =\sum_{i=1}^M\sum_{j=1}^N[A(i)\otimes B(j)] [∑i=1M​A(i)​]⊗[∑j=1N​B(j)​]=i=1∑M​j=1∑N​[A(i)⊗B(j)]
(12)对于矩阵$A_{m\times n}，B_{k\times l}，C_{p\times q}，D_{r\times s}$，有
$$(A\otimes B)\otimes (C\otimes D)=A\otimes B\otimes C\otimes D$$
(13)若${\alpha }_i$是矩阵$A$与特征值${\lambda }_i$对应的特征向量，${\beta }_i$是矩阵$B$与特征值${\mu }_i$对应的特征向量，则${\alpha }_i\otimes {\beta }_i$是矩阵$A\otimes B$与特征值${\lambda }_i{\mu }_i$对应的特征向量，也是与特征值${\lambda }_i+{\mu }_i$对应的特征向量。
(14)对于矩阵$A_{m\times n}，B_{p\times q},C_{k\times l}$，有
$$(A\otimes B)\otimes C=A\otimes (B\otimes C)$$
即$A\otimes B\otimes C$的结果是无模糊的。
(15)对于矩阵$A_{m\times n}，B_{p\times q}，C_{n\times r}，D_{q\times s}$，有
$$(A\otimes B)(C\otimes D)=AC\otimes BD$$
(16)对于矩阵$A_{m\times n}，B_{p\times q}$，有
$$exp(A\otimes B)=exp(A)\otimes exp(B)$$
(17)作为式(15)的特例，若$B=I_p$和$C=I_p$，则
$$A\otimes D=(A{I}_p)\otimes (I_{q}D)=(A\otimes I_q)(I_q\otimes D)$$
式中，$I_q\otimes D$为块对角矩阵(对右Kronecker积)或稀疏矩阵(对左Kronecker积)，而$A\otimes I_q$为稀疏矩阵(对右Kronecker积)或块对角矩阵(对左Kronecker积)。