矩阵分析与应用-4.7-QR分解及其应用-Section2

文章目录

前言
一、采用 $\mathrm{Givens}$ 旋转的 $\mathrm{QR}$ 分解
二、基于 $\mathrm{QR}$ 分解的参数估计问题
三、基于 $\mathrm{Householder}$ 变换的快速时变参数估计
四、基于 $\mathrm{Givens}$ 旋转的时变参数估计

前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

一、采用 $\mathrm{Givens}$ 旋转的 $\mathrm{QR}$ 分解

$\mathrm{Givens}$ 旋转也可以用来计算 $\mathrm{QR}$ 分解. 这里以 $\times 3$ 矩阵为例, 说明 $\mathrm{Givens \ QR}$ 分解的思想.

\begin{aligned} [\begin{matrix} \times & \times & \times \\ \times & \times & \times \\ \otimes & \times & \times \\ \otimes & \times & \times \end{matrix}] \overset{G (3, 4)}{⟶} [\begin{matrix} \times & \times & \times \\ \otimes & \times & \times \\ \otimes & \times & \times \\ 0 & \times & \times \end{matrix}] \overset{G (2, 3)}{⟶} [\begin{matrix} \otimes & \times & \times \\ \otimes & \times & \times \\ 0 & \times & \times \\ 0 & \times & \times \end{matrix}] \overset{G (1, 2)}{⟶} [\begin{matrix} \times & \times & \times \\ 0 & \times & \times \\ 0 & \otimes & \times \\ 0 & \otimes & \times \end{matrix}] \overset{G (3, 4)}{⟶} \\ [\begin{matrix} \times & \times & \times \\ 0 & \otimes & \times \\ 0 & \otimes & \times \\ 0 & 0 & \times \end{matrix}] \overset{G (2, 3)}{⟶} [\begin{matrix} \times & \times & \times \\ 0 & \times & \times \\ 0 & 0 & \otimes \\ 0 & 0 & \otimes \end{matrix}] \overset{G (3, 4)}{⟶} [\begin{matrix} \times & \times & \times \\ 0 & \times & \times \\ 0 & 0 & \times \\ 0 & 0 & 0 \end{matrix}] \end{aligned}

⎣ ⎢ ⎢ ⎡ \times \times \otimes \otimes \times \times \times \times \times \times \times \times ⎦ ⎥ ⎥ ⎤ ⟶ G (3, 4) ⎣ ⎢ ⎢ ⎡ \times \otimes \otimes 0 \times \times \times \times \times \times \times \times ⎦ ⎥ ⎥ ⎤ ⟶ G (2, 3) ⎣ ⎢ ⎢ ⎡ \otimes \otimes 00 \times \times \times \times \times \times \times \times ⎦ ⎥ ⎥ ⎤ ⟶ G (1, 2) ⎣ ⎢ ⎢ ⎡ \times 000 \times \times \otimes \otimes \times \times \times \times ⎦ ⎥ ⎥ ⎤ ⟶ G (3, 4) ⎣ ⎢ ⎢ ⎡ \times 000 \times \otimes \otimes 0 \times \times \times \times ⎦ ⎥ ⎥ ⎤ ⟶ G (2, 3) ⎣ ⎢ ⎢ ⎡ \times 000 \times \times 00 \times \times \otimes \otimes ⎦ ⎥ ⎥ ⎤ ⟶ G (3, 4) ⎣ ⎢ ⎢ ⎡ \times 000 \times \times 00 \times \times \times 0 ⎦ ⎥ ⎥ ⎤

其中 $\otimes$ 代表用 $\mathrm{Givens}$ 旋转进行变换的元素. 变换过程就是乘以箭头上用 $G (i, j)$ 表示的 $\mathrm{Givens}$ 矩阵.

从上述说明中易得出结论: 如果令 $G_j$ 代表约化过程中的第 $j$ 次 $\mathrm{Givens}$ 旋转, 则 $Q^{\mathrm{T}}A=R$ 是上三角矩阵, 其中, $G_tG_{t-1} \cdots G_1$ , 而 $t$ 是总的旋转次数.

归根到底还是为了解方程, 不论是有解还是最小二乘法, $\mathrm{QR}$ 分解都是一个不错的选择.

二、基于 $\mathrm{QR}$ 分解的参数估计问题

系统辨识问题的提法是: 已知系统输入 $x (k)$ 和输出观测值 $y (k)$ , 其中, $1,2,\cdots,n$ 估计系统参数向量 $\theta$ . 在时变系统的辨识中, 则要求在已估计 $n$ 时刻的系统参数向量 $\theta_n$ 的情况下, 使用增加的 $x (n + 1), y (n + 1)$ 值, 通过简单的运算, 递推出 $n + 1$ 时刻的系统参数向量 $\theta_{n+1}$ . $n$ 时刻的系统辨识问题可以化为最小二乘问题.

看起来有点像预测方面的问题.

$\min_{\theta_n} \lVert A_n\theta_n - y_n \rVert^2_2 \tag{1}$

求解, 并且其解由 “法方程”

$A_n^{\mathrm{T}}A_n\theta_n = A_n^{\mathrm{T}}y_n \ 或者 \ R_{xx}\theta_n = r_n \tag{2}$

确定. 式中, $R_{xx} = A_n^{\mathrm{T}}A_n$ 代表系统输入 $x (k)$ 的协方差矩阵, $r_n = A_n^{\mathrm{T}}y_n$ .

之间求解式 (2) 的方法叫做协方差方法.

引理 1: 若 $A_n = Q_n$

[\begin{matrix} R_{n} \\ O \end{matrix}]

, Q_n^{\mathrm{T}}y_n=

[\begin{matrix} {\bar{y}}_{n} \\ {\tilde{y}}_{n} \end{matrix}]

A_{n} = Q_{n} [R_{n} O], Q_{n}^{T} y_{n} = [\overset{y}{ˉ}_{n} \tilde{y}_{n}]

, 其中,

Q_n

是正交矩阵,

R_n

是上三角矩阵. 故有

\begin{aligned} θ_{n + 1} & = \argmin_{θ} ‖ A_{n + 1} θ - y_{n + 1} ‖_{2}^{2} & = \argmin_{θ} ‖ [\begin{matrix} λ R_{n} \\ x_{n + 1}^{T} \end{matrix}] θ - [\begin{matrix} λ {\bar{y}}_{n} \\ y (n + 1) \end{matrix}] ‖_{2}^{2} \end{aligned}

\tag{3}

θ_{n + 1} = θ a r g m i n ∥ A_{n + 1} θ - y_{n + 1} ∥_{2}^{2} = θ a r g m i n ∥ ∥ ∥ ∥ [λ R_{n} x_{n + 1}^{T}] θ - [λ \overset{y}{ˉ}_{n} y (n + 1)] ∥ ∥ ∥ ∥_{2}^{2} (3)

算法 1: 系统参数的自适应估计算法

Step 1 : 对矩阵 $\bar{R} =$

[\begin{matrix} λ R_{n} \\ x_{n + 1}^{T} \end{matrix}]

\overset{ˉ}{R} = [λ R_{n} x_{n + 1}^{T}]

进行

\mathrm{QR}

分解, 得到

$Q_{n+1}^{\mathrm{T}} \bar{R} = Q_{n+1}^{\mathrm{T}}$

[\begin{matrix} λ R_{n} \\ x_{n + 1}^{T} \end{matrix}]

=

[\begin{matrix} R_{n + 1} \\ O \end{matrix}]

\tag{4}

Q_{n + 1}^{T} \overset{ˉ}{R} = Q_{n + 1}^{T} [λ R_{n} x_{n + 1}^{T}] = [R_{n + 1} O] (4)

式子中, $Q_{n+1}$ 是 $\times (n+1)$ 正交矩阵, $R_{n+1}$ 为 $\times (p+1)$ 上三角矩阵, 且 $O$ 是 $\times (p+1)$ 零矩阵.

Step 2 : 进行分块运算

$Q_{n+1}^{\mathrm{T}}y_{n+1} =$

[\begin{matrix} {\bar{y}}_{n + 1} \\ {\tilde{y}}_{n + 1} \end{matrix}]

Q_{n + 1}^{T} y_{n + 1} = [\overset{y}{ˉ}_{n + 1} \tilde{y}_{n + 1}]

其中, $\bar{y}_{n+1}$ 为 $\times 1$ 向量, $\tilde{y}_{n+1}$ 为 $\times 1$ 向量

Step 3 : 求解三角矩阵方程 $R_{n+1}\theta_{n+1} = \bar{y}_{n+1}$ 得到 $\theta_{n+1}$

三、基于 $\mathrm{Householder}$ 变换的快速时变参数估计

考查 $\times (p+1)$ 矩阵

$A_n =$

[\begin{matrix} a_{11} & a_{12} & \dots & a_{1, p + 1} \\ a_{21} & a_{22} & \dots & a_{2, p + 1} \\ ⋮ & ⋮ & ⋮ \\ a_{n 1} & a_{n 2} & \dots & a_{n, p + 1} \end{matrix}]

A_{n} = ⎣ ⎢ ⎢ ⎢ ⎡ a_{11} a_{21} ⋮ a_{n 1} a_{12} a_{22} ⋮ a_{n 2} \dots \dots \dots a_{1, p + 1} a_{2, p + 1} ⋮ a_{n, p + 1} ⎦ ⎥ ⎥ ⎥ ⎤

的 $\mathrm{Householder \ QR}$ 分解, 即

$H_nA_n =$

[\begin{matrix} a_{11}^{*} & a_{12}^{*} & \dots & a_{1, p + 1}^{*} \\ 0 & a_{22}^{*} & \dots & a_{2, p + 1}^{*} \\ ⋮ & ⋮ & ⋮ \\ 0 & 0 & \dots & a_{p + 1, p + 1}^{*} \\ 0 & 0 & \dots & 0 \\ ⋮ & ⋮ & ⋮ \\ 0 & 0 & \dots & 0 \end{matrix}]

\tag{5}

H_{n} A_{n} = ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎡ a_{11}^{*} 0 ⋮ 00 ⋮ 0 a_{12}^{*} a_{22}^{*} ⋮ 00 ⋮ 0 \dots \dots \dots \dots \dots a_{1, p + 1}^{*} a_{2, p + 1}^{*} ⋮ a_{p + 1, p + 1}^{*} 0 ⋮ 0 ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎤ (5)

为了得到上述 $\mathrm{QR}$ 分解, 应该选择 $H_n$ 为 $p$ 个 $\mathrm{Householder}$ 变换矩阵之积, 即

$H_n = H_n(p)H_n(p-1)\cdots H_n(1) \tag{6}$

式中

$H_n(j) = I - u_ju_j^{\mathrm{T}}/\sigma_j, \quad j = 1,2,\cdots,p \tag{7}$

是对矩阵 $A_n^{(j)} = H_n(j-1)H_n(2)H_n(1)A_n$ 第 $j$ 列向量 $[a_{1j}^{(j)},a_{2j}^{(j)},\cdots,a_{nj}^{(j)}]^{\mathrm{T}}$ 进行的 $\mathrm{Householder}$ 变换矩阵, 其参数选择方法为

$\left.$

\begin{aligned} α_{j} & = \sqrt{\sum_{i = j}^{n} [a_{i j}^{(j)}]^{2}} \\ σ_{j} & = α_{j} (α_{j} + | a_{j j}^{(j)} |) \\ u_{j} (i) & = {\begin{matrix} 0 & i < j \\ a_{j j}^{(j)} + s g n (a_{j j}^{(j)}) α_{j} & j = i \\ a_{i j}^{(j)} & i > j \end{matrix} \end{aligned}

\right\}, \qquad j = 1,2,\cdots,p \tag{8}

α_{j} σ_{j} u_{j} (i) = i = j \sum n [a_{i j}^{(j)}]^{2} = α_{j} (α_{j} + ∣ a_{j j}^{(j)} ∣) = ⎩ ⎪ ⎨ ⎪ ⎧ 0 a_{j j}^{(j)} + s g n (a_{j j}^{(j)}) α_{j} a_{i j}^{(j)} i < j j = i i > j ⎭ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎬ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎫, j = 1, 2, \dots, p (8)

其中

$A_n^{(j+1)} = A_n^{(j)} - u_jq_j^{\mathrm{T}} \tag{9}$

并且

$q_j^{\mathrm{T}} = u_j^{\mathrm{T}}A_n^{(j)}/\sigma_j \tag{10}$

算法 2: 基于 $\mathrm{Householder} \ QR$ 分解的快速自适应参数估计算法

四、基于 $\mathrm{Givens}$ 旋转的时变参数估计

递推求解 $\sigma_n$ 的变换量 $\delta_n$ , 而不是之间递推求 $\sigma_{n+1}$ 本身. 其式子应该为

$\sigma_{n+1} = \sigma_{n} + \delta_n \tag{11}$

问题的关键就在于更新 $\delta_n$

假定正交矩阵 $\tilde{Q}$ 为已知, 满足

$\tilde{Q}$

[\begin{matrix} λ R_{n} \\ x_{n + 1}^{T} \end{matrix}]

=

[\begin{matrix} R_{n + 1} \\ O \end{matrix}]

\tag{12}

\tilde{Q} [λ R_{n} x_{n + 1}^{T}] = [R_{n + 1} O] (12)

化简得到

$\delta_n = \argmin_{\delta_n} \bigg \lVert$

[\begin{matrix} R_{n + 1} \\ O \end{matrix}]

\delta_n - \tilde{Q}

[\begin{matrix} 0 \\ u (n + 1) \end{matrix}]

\bigg \rVert \tag{13}

δ_{n} = δ_{n} a r g m i n ∥ ∥ ∥ ∥ [R_{n + 1} O] δ_{n} - \tilde{Q} [0 u (n + 1)] ∥ ∥ ∥ ∥ (13)

式中, $x_{n+1}^{\mathrm{T}}\theta_n$ . 因此, $\delta_n$ 可以从三角矩阵方程

$R_{n+1}\delta_n = \bar{y}_{n+1} \tag{14}$

解出, 其中, $\bar{y}_{k+1}$ 满足

[\begin{matrix} {\bar{y}}_{n + 1} \\ r (n + 1) \end{matrix}]

= \tilde{Q}

[\begin{matrix} 0 \\ u (n + 1) \end{matrix}]

\tag{15}

[\overset{y}{ˉ}_{n + 1} r (n + 1)] = \tilde{Q} [0 u (n + 1)] (15)

为求出 $\tilde{Q}$ , 需要对增广矩阵

[\begin{matrix} λ R_{n} & 0 \\ x_{n + 1}^{T} & u (n + 1) \end{matrix}]

\tag{16}

[λ R_{n} x_{n + 1}^{T} 0 u (n + 1)] (16)

( ! ! ! 在这个地方存疑, 不能很好的理解这个增广矩阵的由来 )

执行所需要的清零. 综上所述, 每一步递推更新需要的步骤如下

(1) 计算预测误差 $y_{k+1} - \phi_{k+1}^{\mathrm{T}}\theta_k$

(2) 形成式子 (16) 中的 $\times (n+1)$ 矩阵

(3) 利用一系列 $\mathrm{Givens}$ 旋转将上述矩阵最底一行的左边 $n$ 个元素扫除为零

(4) 解上三角矩阵方程得到 $\delta_k$

相关阅读:
Centos7.9 安装 rabbitMq
c语言数据结构，你可能还不知道的顺序表
linux性能监控sar
搜索二叉树实现（非递归版本）
http 请求 Cros 跨域问题记录（转）
【LlamaIndex 教程】一文看懂LlamaIndex用法，为LLMs学习私有知识
论不使用除rsa之外的任何其他模块实现RSA加密解密，以及密钥存储
Redis集群
【最优化理论】01-最优化理论基础
java引入lettuce报错

原文地址：https://blog.csdn.net/qq_44309220/article/details/125470886

矩阵分析与应用-4.7-QR分解及其应用-Section2

文章目录

前言

一、采用 G i v e n s \mathrm{Givens} Givens 旋转的 Q R \mathrm{QR} QR 分解

二、基于 Q R \mathrm{QR} QR 分解的参数估计问题

三、基于 H o u s e h o l d e r \mathrm{Householder} Householder 变换的快速时变参数估计

四、基于 G i v e n s \mathrm{Givens} Givens 旋转的时变参数估计

一、采用 $\mathrm{Givens}$ 旋转的 $\mathrm{QR}$ 分解

二、基于 $\mathrm{QR}$ 分解的参数估计问题

三、基于 $\mathrm{Householder}$ 变换的快速时变参数估计

四、基于 $\mathrm{Givens}$ 旋转的时变参数估计