基于先验激光雷达地图的2D-3D线特征单目定位

论文标题

Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences

1. 摘要

对于视觉导航任务，在已知地图在进行轻量化的相机定位是一个有意义的工作。目前视觉里程计（包括VO和VIO）能够较好地完成位姿估计任务，但是无法避免地会发生误差累积，并且在发生回环检测的时候产生位姿跳变。为了解决以上问题，本文提出了一个有效的基于3D-2D线特征联系的单目定位系统，其基于激光雷达所制造出的点云地图。为了解决雷达点云与图像之间的关联，本文在3D雷达点云地图中提取3D线特征，对应在图像中提取2D的线特征，在基于VIO的位姿预测中，可以有效地建立两者之间的初步对应关系，然后通过迭代优化计算来剔除匹配过程中的可能误差，以提高定位精度。基于EUROC数据集，本文进行了完整的实验，本文方法能够有效地在结构化场景中估计相机累积误差并且避免位姿跳变。

主要贡献：

估计用于视觉定位的3D-2D线对应关系，有效地把每一个关键帧和和先验激光点云地图关联起来。几何线的关联关系对外观变化是比较鲁棒的，适合在城市环境下进行定位。

2. 方法框架

该方法估计6自由度的相机位姿和激光点云地图中的3D-2D线关联。使用这些关联关系最小化重投影误差和滤除噪点，继而优化相机机位姿。本方法中的3D线特征并不是在线提取的，而是在大尺度激光点云地图中离线提取的。同时使用人工标记的3D-2D点关联进行PnP求解实现初始化。使用VINS-Mono预测相邻关键帧间的相机运动。基于预测的位姿，把相机FOV中的3D线与图像中提取的2D线进行直接匹配。最终，迭代更新相机位姿与3D-2D关联关系。

2.1. 2D-3D线特征提取

在3D线特征的提取上，本文使用一种基于分割的3D线段提取方法，主要思路是把点云聚类成为而区域，然后使用轮廓线拟合来获得3D线段。

在2D线特征的提取上，本文发现传统的LSD特征提取方法会产生较多噪声，因此选择了一种基于学习的LSD线特征提取算法，其原理为将LSD问题通过AFM（attraction field map）转化为区域作色问题，其对比效果图如下：

2.2. 2D-3D线特征匹配。

首先位姿估计与更新部分基于VINS-Mono：

然后检查3D线特征的可视性

在视野范围内的线特征将进行特征匹配，相关公式如下：

使用基于暴力匹配的方式，在距离θ < θ0，d < d0时选取为正确匹配。

2.3. 位姿优化与匹配修正

首先将2D-3D匹配构建出一个优化模型：

在此基础上，基于滑动窗口来估计连续图像帧的位姿估计：

最后的优化函数可以表示为：

3. 实验结果

基于EUROC数据集和本文在真实场景下使用D435i制作的深度相机数据集完成了算法验证工作。

3.1. EUROC实验结果

3.2. 本文数据集实验结果

4. 总结

本文提出了一种在结构化场景基于先验激光雷达地图的单目相机定位方法，通过激光点云地图中的3D线特征与图像中的2D线特征提取与匹配，在基于VINS-Mono的运动估计基础上，实现了更好的相机的运动估计。本文方法更好地解决了在VIO系统中缺乏回环检测所导致的漂移现象，并通过真实场景的数据集与官方数据集验证了本文方法的有效性。之后我们会进一步加强其鲁棒性，例如基于帧间位姿完成预测。

参考文献

【泡泡点云时空】基于先验激光雷达地图的2D-3D线特征单目定位

Monocular Camera Localization in Prior LiDAR Maps with 2D-3D Line Correspondences