基础矩阵和本质矩阵

定义

本质矩阵E（Essential Matrix）：反映空间中一点P在不同视角摄像机的相机坐标系下表示之间的关系。
空间点P在相机a下相机坐标系中的表示： P a C = [ x a C y a C z a C ] P_a^C=

PaC​=⎣ ⎡​xaC​yaC​zaC​​⎦ ⎤​
空间点P在相机b下相机坐标系中的表示： P b C = [ x b C y b C z b C ] P_b^C=

[xbCybCzbC]" role="presentation" style="position: relative;">⎡⎣⎢⎢xCbyCbzCb⎤⎦⎥⎥$$\left[\begin{array}{c}{x}_b^C\\ y_b^C\\ z_b^C\end{array}\right]$$

PbC​=⎣ ⎡​xbC​ybC​zbC​​⎦ ⎤​
$P_a^C$与$P_b^C$之间的关系：
P a C E P b C = [ x a C y a C z a C ] E [ x b C y b C z b C ] = 0 P_a^CEP_b^C=

[xaCyaCzaC]" role="presentation" style="position: relative;">⎡⎣⎢xCayCazCa⎤⎦⎥$$\left[\begin{array}{c}{x}_a^C\\ y_a^C\\ z_a^C\end{array}\right]$$

E

[xbCybCzbC]" role="presentation" style="position: relative;">⎡⎣⎢⎢xCbyCbzCb⎤⎦⎥⎥$$\left[\begin{array}{c}{x}_b^C\\ y_b^C\\ z_b^C\end{array}\right]$$

=0 PaC​EPbC​=⎣ ⎡​xaC​yaC​zaC​​⎦ ⎤​E⎣ ⎡​xbC​ybC​zbC​​⎦ ⎤​=0
基础矩阵F（Fundamental Matrix）：反映空间中一点P在不同视角摄像机的图像坐标系下表示之间的关系。
空间点P在相机a下图像坐标系中的表示： P a I = [ u a v a 1 ] P_a^I=

[uava1]" role="presentation" style="position: relative;">⎡⎣⎢uava1⎤⎦⎥$$\left[\begin{array}{c}{u}_a\\ v_a\\ 1\end{array}\right]$$

PaI​=⎣ ⎡​ua​va​1​⎦ ⎤​
空间点P在相机b下图像坐标系中的表示： P b I = [ u b v b 1 ] P_b^I=

[ubvb1]" role="presentation" style="position: relative;">⎡⎣⎢ubvb1⎤⎦⎥$$\left[\begin{array}{c}{u}_b\\ v_b\\ 1\end{array}\right]$$

PbI​=⎣ ⎡​ub​vb​1​⎦ ⎤​
$P_a^I$与$P_b^I$之间的关系：
P a I F P b I = [ u a v a 1 ] F [ x b C y b C z b C ] = 0 P_a^IFP_b^I=

[uava1]" role="presentation" style="position: relative;">⎡⎣⎢uava1⎤⎦⎥$$\left[\begin{array}{c}{u}_a\\ v_a\\ 1\end{array}\right]$$

F

[xbCybCzbC]" role="presentation" style="position: relative;">⎡⎣⎢⎢xCbyCbzCb⎤⎦⎥⎥$$\left[\begin{array}{c}{x}_b^C\\ y_b^C\\ z_b^C\end{array}\right]$$

=0 PaI​FPbI​=⎣ ⎡​ua​va​1​⎦ ⎤​F⎣ ⎡​xbC​ybC​zbC​​⎦ ⎤​=0

推导

如图假设P点在相机1中的坐标为：
$$x_1=\overrightarrow{O_{1}P}$$
相机2的坐标系相对于1发生了旋转$R$以及平移$t=\overrightarrow{O_1{O}_2}$，所以P在相机2中的坐标为：
$$x_2=\overrightarrow{O_{2}P}=R{x}_1+t$$
因为$\overrightarrow{O_{1}P}$，$\overrightarrow{O_{2}P}$和$\overrightarrow{O_1{O}_2}$在同一个平面，所以有：
$$\overrightarrow{O_{2}P}\cdot (\overrightarrow{O_1{O}_2}\times \overrightarrow{O_{1}P})=0$$
该公式在相机2的坐标系中表示为：
$$x_2\cdot (t\times (R{x}_1+t))=x_2\cdot (t\times (R{x}_1))=x_2^T(t^{\wedge }R)x_1=0$$
所以$t^{\wedge }R$就是本质矩阵，其中若设在各相机图像坐标系的坐标为$p_1$，$p_2$，有$p_1=K{x}_1$，$p_2=K{x}_2$，$K$为相机内参矩阵，带入上面的等式有：
$$p_2^T{K}^{-T}(t^{\wedge }R)K^{-1}{p}_1=0$$
所以基础矩阵为：
$$F=K^{-T}E{K}^{-1}$$
可以看到本质矩阵含有坐标的平移以及旋转信息，所以在求解变换矩阵的时候，我们可以先求解本质矩阵然后再对本质矩阵进行分解来得到旋转和平移矩阵。

求解

由基础矩阵的等式关系通过（八点法）引入8对匹配特征点即可构建一个8*9的线性方程组，然后求解出基础矩阵，进而得到本质矩阵。通过SVD即可以恢复R和t。

Reference

https://zhuanlan.zhihu.com/p/79845576
https://www.zhihu.com/question/27581884
https://blog.csdn.net/ABC1225741797/article/details/108022772