code: https://github.com/milkytipo/MSF_developed
摘要:人们早就知道,融合来自多个传感器的信息用于机器人导航可以提高鲁棒性和准确性。然而,在现场部署前对传感器集成进行精确校准,以及应对传感器中断、不同的测量速率和延迟,使多传感器融合成为一个挑战。因此,大多数情况下,系统不会利用所有可用的传感器信息来换取简单性。例如,在需要机器人从室内过渡到室外的任务中,忽略全球定位系统(GPS)信号是一种的,这些信号在户外就可以免费获得,而只依赖于整个任务中持续可用的传感器信号(如视觉和激光)。当然,这是以牺牲实际部署中的健壮性和准确性为代价的。本文提出了一个通用的框架,称为多传感器-融合扩展卡尔曼滤波器(MSF-EKF),能够处理来自理论上无限数量的不同传感器和传感器类型的延迟、相对和绝对测量,同时允许传感器套件在线自校准。MSF-EKF的模块化允许在操作过程中无缝处理额外的/丢失的传感器信号,同时使用增强了迭代EKF(IEKF)更新的状态缓冲方案,以允许预测的有效重线性化,以接近绝对和相对状态更新的最优线性化点。我们在户外导航实验中演示了我们的方法,使用了配备了GPS接收器以及视觉、惯性和压力传感器的微型飞行器(MAV)。
code: https://cs.paperswithcode.com/paper/vins-mono-a-robust-and-versatile-monocular
code: 一个单目视觉惯性系统(VINS),由一个摄像机和一个低成本的惯性测量单元(IMU)组成,形成了用于度量六度自由度(DOF)状态估计的最小传感器套件。然而,由于缺乏直接的距离测量,在IMU处理、估计器初始化、外部校准和非线性优化方面提出了重大挑战。在这项工作中,我们提出了VINSMono:一个鲁棒和通用的单目视觉惯性状态估计器。我们的方法从一个稳健的估计器初始化和故障恢复的过程开始。采用基于紧密耦合的非线性优化方法,通过融合预先集成的IMU测量和特征观测,获得高精度的视觉惯性测程法。一个循环检测模块,结合我们的紧密耦合公式,使我们能够以最小的计算开销重新定位。此外,我们还执行了四个自由度的姿态图优化,以加强全局一致性。我们在公共数据集和真实世界的实验上验证了我们的系统的性能,并与其他最先进的算法进行了比较。我们还在MAV平台上执行机上闭环自主飞行,并将算法移植到一个基于ios的演示中。我们强调,所提出的工作是一个可靠、完整和通用的系统,适用于需要高精度定位的不同应用程序。
code: https://paperswithcode.com/paper/online-temporal-calibration-for-monocular
摘要:精确状态估计是机器人导航、自动驾驶、虚拟现实和增强现实等各种智能应用的基本模块。视觉和惯性融合是近年来流行的6-DOF状态估计技术。记录不同传感器测量值的时间瞬间对系统的鲁棒性和准确性至关重要。在实践中,每个传感器的时间戳通常会发生触发和传输延迟,导致不同传感器之间的时间偏差(时间偏移)。这种时间偏移极大地影响了传感器融合的性能。为此,我们提出了一种在线方法来校准视觉和惯性测量之间的时间偏移。我们的方法通过联合优化时间偏移、相机和IMU状态,以及在SLAM系统中的特征位置来实现时间偏移校准。此外,该方法是一种通用的模型,可以很容易地应用于多个基于特征的优化框架中。仿真和实验结果表明,即使与其他最先进的离线工具相比,我们的校准方法也具有较高的精度。与其他方法的VIO比较表明,在线时间校准显著有利于视觉惯性系统。
code: https://github.com/GSORF/Visual-GPS-SLAM
摘要: 在过去的几年里,自动驾驶汽车已经朝着被纳入我们的日常生活迈出了一大步。自动驾驶汽车已经在我们的街道上行驶,每天都有新的算法被开发出来,机器学习非常受欢迎,并且可以在更多样化的环境中超越传统技术。然而,几乎所有的算法都有一个共同之处,即它们大多数时候使用几个传感器。例如,基于激光的距离测量和里程表读数被结合起来,以定位汽车和模拟绘制环境地图。这被称为SLAM(同时定位和映射)。结合测量读数是一个活跃的研究领域,可能相当具有挑战性,因为当需要正确地进行融合时,都需要考虑每个传感器的特性。
本文研究了全球定位系统(GPS)与视觉同步定位与映射(SLAM)的融合。第一章对主要主题进行了广泛的介绍和激励。类似的研究也将出现在讨论过程中。第二章澄清了术语,回顾了最先进的方法,并通过解释基本的技术背景,准备让读者理解所使用的传感器数据之间的相似性。它的目的是更好地理解这些数据如何通过传感器数据融合相互补充。第三章详细介绍了使用卡尔曼滤波实现的实际融合传感器测量和他们的数学描述。第四章总结了数据的生成和获取过程。第五章和第六章分别讨论了模拟实验和实际实验的结果。在可行的情况下,将输出与地面真实数据进行比较。最后,第七章对所实施的系统进行了审查,总结了本研究,并提出了进一步改进的建议。
摘要: 这项工作提出了全球定位系统-同步定位和映射(GPS-SLAM),一个增强版本的定向快速(特征从加速段测试)和旋转简短(二进制鲁棒独立基本特征)特征检测器(ORB)-SLAM使用GPS和惯性数据使算法能够处理低帧率数据集。一般来说,SLAM系统在高帧率的情况下是成功的。这项工作的动机是一个稀缺的数据集,其中ORB-SLAM经常由于缺乏连续性而失去跟踪。主要工作包括基于GPS和惯性数据确定下一帧的姿态。结果表明,该附加信息使算法具有鲁棒性。由于许多大型户外无人机(UAV)飞行保存了图像捕获的GPS和惯性测量单元(IMU)数据,该程序提供了一个成功使用SLAM算法的选择。
code: https://github.com/2013fangwentao/Multi_Sensor_Fusion
摘要:随着位置服务需求的日益旺盛,高精度高可靠性的定位技术近些年备受学术界和工业界关注,不同于传统领域的位置服务应用,机器人、智能驾驶等新兴技术的位置需求面临着场景繁杂、环境复杂的应用特点,当前任何一种单一的定位手段均无法满足需求,因此,多源融合定位技术日益被学者们关注和研究。在此背景下,本文结合 GNSS 精密单点定位、大气增强信息、惯性导航、视觉里程计等多源数据进行融合定位算法的研究与性能测试。
首先基于增强 PPP 技术与惯导进行紧组合算法研究,建立大气增强紧组合算法模型,并利用三类不同场景下的数据进行性能分析,分析认为:1.区域大气增强产品精度显著优于目前的经验模型,其中天顶对流层精度优于 4mm,电离层精度优于 1.4TECU,可以有效地改善 PPP 定位性能;2.开阔环境下,增强信息的引入对单频 PPP 精度提升显著,提升比例达 45.3%,对双频数据精度有一定改善但并不显著,同时高程的改善效果优于平面;3.开阔环境下,增强 PPP/INS 紧组合对 PPP 有显著的改善效果,且单频改善效果优于双频;增强 PPP 与惯导组合相对于标准 PPP,双频精度提升 25%左右,单频精度提升 55%左右;4.在复杂环境下,实验结果表明:惯导的引入使得整体精度提升约 30%,而增强信息与惯导的同时引入则精度提升超过 40%,并且单双频的平面定位精度均在 1m 左右;5.在复杂环境下,惯导的效果更多体现在改善大的定位误差和抑制粗差影响,而
增强信息的引入则主要体现在对系统性偏差的改善。
其次,在大气增强 PPP/INS 紧组合的基础上,进一步引入视觉信息,基于多状态约束滤波,建立了 PPP、惯导、视觉里程计融合定位的数学模型,同时搭建了多源传感器的测试平台,在校园复杂环境中的测试结果表明:1.在视觉/惯性里程计方面,视觉的引入可以极大地改善纯惯导的定位精度,其误差漂移约 0.67%,在长距离行进下与 GNSS 所能提供的绝对参考精度存在一定差距;2. 在单双频PPP 难以正常定位的环境下,大气增强 PPP/INS/视觉里程计多源融合定位技术三维绝对精度均达到约2.7m,相对于单频PPP、双频PPP精度提升分别约为43.79%、32.96%;3.在多源数据融合的条件下,单频数据可以达到双频数据的定位精度,这对低成本单频应用具备实用价值。同时,多源信息的引入有效地平滑了定位结果的噪声,抑制了粗差,提高了定位系统的可靠性。
code: https://github.com/ov2slam/ov2slam
摘要: 视觉SLAM的许多应用,如增强现实、虚拟现实、机器人技术或自动驾驶,都需要通用、健壮和精确的解决方案,通常具有实时能力。在这项工作中,我们描述了OV2 SLAM,一个完全在线的算法,处理单眼和立体相机设置,各种地图比例和帧率,从几HZ到数百HZ不等。它在一个高效的多线程架构中结合了在视觉定位方面的许多最近的贡献。与竞争算法的广泛比较显示了最先进的准确性和实时性能的结果算法。
code: https://github.com/HKUST-Aerial-Robotics/GVINS
摘要: 众所周知,视觉惯性测程法(VIO)会发生漂移,特别是在长期运行中。在本文中,我们提出了一个基于非线性优化的GVINS系统GVINS,该系统将GNSS原始测量与视觉和惯性信息紧密融合,用于实时和无漂移状态估计。我们的系统旨在在复杂的室内外环境下提供准确的全球6自由度估计,其中GNSS信号可能是间歇性的,甚至完全不可用。为了将全局测量值与局部状态连接起来,提出了一种粗到细的初始化方法,以有效地在线校准转换,并从很短的测量窗口初始化GNSS状态。GNSS代码伪橙色和多普勒频移测量,以及视觉和惯性信息,然后被建模并用于约束一个因子图框架中的系统状态。对于复杂和不GNSS友好的区域,讨论并仔细处理退化情况,以确保鲁棒性。由于紧密耦合的多传感器方法和系统设计,我们的系统充分利用了三种类型的传感器的优点,并能够无缝地应对室内和室外环境之间的过渡,其中卫星丢失和重新获得。我们通过仿真和真实实验对所提出的系统进行了广泛的评估,结果表明,我们的系统大大消除了VIO的漂移,尽管GNSS测量有噪声,但仍保持了局部精度。具有挑战性的室内外和城市驾驶实验验证了GVINS在复杂环境中的可用性和鲁棒性。此外,实验还表明,我们的系统甚至可以从一颗卫星上获得收益,而传统的GNSS算法至少需要四个卫星。
code: https://github.com/RunqiuBao/kenki-positioning-vSLAM
摘要: 在现代建筑工地,利用GNSS(全球导航卫星系统)来测量建筑机器的实时位置和方向(即姿态)并进行导航是非常常见的。然而,GNSS并不总是可用的。用机载摄像头和视觉同步定位和映射(视觉SLAM)取代GNSS来导航机器是一种经济有效的解决方案。然而,在建筑工地,多台建筑机器通常会并排工作,在摄像机的视野中造成较大的动态遮挡。标准的视觉SLAM不能很好地处理大型的动态遮挡。在这项工作中,我们提出了一种运动分割方法,有效地从拥挤的动态场景中提取静态部分,以实现摄像机自我运动的鲁棒跟踪。我们的方法利用语义信息与对象级几何约束相结合来快速检测场景的静态部分。然后,我们参照静态部分进行两步粗到细的自我运动跟踪。这导致了一种新的动态视觉SLAM的形成。我们通过一个基于ORB-SLAM2的实际实现,以及我们从实际建筑工地收集的数据集,来测试我们的建议。
code: https://github.com/url-kaist/dynaVINS
摘要: 视觉惯性测程法和SLAM算法被广泛应用于各个领域,如服务机器人、无人机和自动驾驶汽车。大多数的SLAM算法都是基于地标是静态的假设。然而,在现实世界中,存在各种动态对象,它们降低了姿态估计的精度。此外,暂时静态的物体,在观察期间是静态的,但在他们看不见时移动,触发假阳性循环关闭。为了克服这些问题,我们提出了一种新的视觉-惯性SLAM框架,称为DynaVINS,它对动态对象和临时静态对象都具有鲁棒性。在我们的框架中,我们首先提出了一个鲁棒的束调整,它可以通过利用IMU预积分估计的姿态先验来拒绝来自动态对象的特征。然后,在此基础上提出了关键帧分组和基于多假设的约束分组方法,以减少临时静态对象的影响。随后,我们在一个包含许多动态对象的公共数据集中评估了我们的方法。最后,实验结果证实了我们的DynaVINS与其他最先进的方法相比具有良好的性能,成功地拒绝了动态和暂时静态物体的影响。
摘要:多传感器融合高精度定位已成为无人驾驶的热门研究方向。然而,以往的大多数研究只在开放天空条件下表现最佳;因此,在复杂的城市环境中进行高精度定位需要一个迫切的解决方案。本研究中采用的复杂城市环境包括动态环境,这导致了有限的视觉定位性能,以及高度封闭的环境,从而产生了有限的全球导航卫星系统(GNSS)性能。为了在这些环境中提供高精度的定位,我们提出了一种利用语义信息的视觉辅助GNSS定位方法,将立体摄像机和GNSS集成到一个松散耦合的导航系统中。为了抑制动态对象对视觉定位精度的影响,我们提出了一种动态同步定位和映射(动态-slam)算法,利用深度学习框架从图像中提取语义信息。对于gps挑战的环境,我们提出了一种基于语义的动态自适应卡尔曼滤波融合(S-AKF)算法来开发视觉辅助GNSS,实现稳定和高精度的定位。实验在GNSS挑战的环境中进行,以评估所提算法的性能。结果表明,动态slam算法提高了视觉定位算法的性能,有效地抑制了视觉定位算法的误差扩散。此外,在视觉集成后,松散耦合导航系统在受GNSS挑战的环境中实现了连续的高精度定位。
code: https://github.com/i2Nav-WHU/IC-GVINS
摘要:视觉导航系统容易受到复杂环境的影响,而惯性导航系统(INS)不受外部因素的影响。因此,我们提出了IC-GVINS,一个强大的、实时的、以INS为中心的全球导航卫星系统(GNSS)-视觉惯性导航系统,以充分利用INS的优势。惯性测量系统对地球自转进行了补偿,以提高高级惯性测量单元(IMUs)的精度。为了提高系统在高动态条件下的鲁棒性,我们采用了精确的INS信息来辅助特征跟踪和地标三角测量。通过GNSS辅助初始化,IMU、可视化和GNSS测量在因子图优化框架内的统一世界框架中紧密融合。在公共车辆和私人机器人数据集中进行了专门的实验,以评估所提出的方法。结果表明,IC-GVINS在复杂环境中表现出优越的鲁棒性和准确性。与最先进的方法相比,所提出的以ins为中心的架构的方法产生了更好的鲁棒性和准确性。
摘要:随着老龄化社会的到来和现代农业的发展,利用农业机器人进行大规模的农业生产活动将成为未来的一个主要趋势。因此,有必要开发出适合农业生产的机器人和自主导航技术。然而,导致导航系统故障仍存在外部噪声等因素的问题。为了解决这一问题,我们提出了一种基于农业场景的多传感器融合方法,通过一种松散耦合的扩展卡尔曼滤波算法来减少来自外部环境的干扰。具体来说,该方法将惯性测量单元(IMU)、机器人里程表(ODOM)、全球导航定位系统(GPS)和视觉惯性测程法(VIO)相结合,利用可视化工具对机器人的轨迹和误差进行模拟和分析。在实验中,我们验证了该算法在传感器失效时的高精度和鲁棒性。实验结果表明,该算法在农业数据集上具有更好的精度和鲁棒性。
code : https://cs.paperswithcode.com/paper/active-view-planning-for-visual-slam-in
摘要:视觉同步定位和映射(vSLAM)广泛应用于地面和地面机器人的卫星拒绝和野外环境。然而,由于无特征区域或机器人视图方向的频繁感知失败,vSLAM的准确性和鲁棒性仍有待提高。本研究开发了一种新的视角规划方法,通过主动感知信息最大的区域来解决上述问题;采用万向架摄像机作为主要传感器。首先,提出了一种基于特征分布加权费雪信息的地图表示方法,以完全、有效地表示环境信息的丰富度。利用地图表示,进一步建立连续环境信息模型,将离散信息空间转换为连续信息空间,进行实时数值优化。随后,利用后退水平优化方法,基于连续环境模型,同时考虑机器人的感知、探索和运动代价,获得最优的信息视角。最后,通过仿真和户外实验验证了该方法提高定位鲁棒性和准确性。
code: https://cs.paperswithcode.com/paper/ingvio-a-consistent-invariant-filter-for-fast
摘要: 将全球导航卫星系统(GNSS)与视觉传感器和惯性传感器相结合,可以得到平滑的姿态估计而不产生漂移。随着卫星数量的减少,融合系统逐渐退化为视觉惯性测程(VIO),保证了在GNSS不友好环境下强大的全球导航。在这篇paper中,我们提出了一个基于可变不变滤波器的平台,InGVIO,以紧密融合单眼/立体视觉惯性测量,以及来自GNSS的原始数据。与当前的基于图的算法相比,InGVIO在计算负载方面提供了具有高度竞争的结果,同时具有相同甚至更好的精度水平。由于我们提出的边缘化策略,三角测量的基线很大,尽管只有少数克隆姿态被保留。此外,我们定义了系统的无穷小对称性,并利用了其对称群的各种结构,不同于VIO情况下的总对称性,它优雅地给出了退化运动模式和不可观测子空间结构的结果。我们证明了正确选择的不变误差仍然与InGVIO的所有可能的对称群结构相兼容,并具有固有的一致性性质。此外,InGVIO具有严格的线性误差传播,没有线性化误差。InGVIO在开放数据集和我们提出的具有不同难度级别和不同卫星数量的固定翼数据集上进行了测试。据我们所知,后一个数据集是第一个在具有原始GNSS的固定翼飞机上向社区开放的数据集。
摘要:在视觉惯性导航系统(VINS)中,对视觉地标的精确和长距离深度估计具有挑战性。在具有光照变化、移动物体或弱纹理的视觉退化场景中,深度估计可能更加困难,导致鲁棒性和准确性较差。对于低速机器人导航,我们提出了一种固态-lidar增强型VINS(LE-VINS),以提高系统在具有挑战性的环境下的鲁棒性和准确性。来自固态激光雷达的点云被投影到具有惯性导航系统(INS)姿态的视觉关键帧上,以进行深度关联,同时补偿运动失真。提出了一种具有有效平面检查算法的鲁棒深度关联方法来估计地标深度。根据估计的深度,我们提出了一个激光雷达深度因子来构建因子图优化(FGO)中的视觉地标的精确深度测量。视觉特征、激光雷达深度和IMU测量值在FGO框架内紧密融合,以实现最大-a-后验估计。在大规模挑战环境中对低速机器人进行了现场测试。结果表明,与原始VINS相比,所提的左旋叶素显著提高了鲁棒性和准确性。此外,LE-VINS比最先进的激光雷达-视觉-惯性导航系统具有更优越的精度。LE-VINS的性能也优于现有的激光雷达增强方法,得益于鲁棒的深度关联算法和有效的激光雷达深度因子。
code: https://cs.paperswithcode.com/paper/sky-gvins-a-sky-segmentation-aided-gnss
摘要:将全球导航卫星系统(GNSS)集成到同步定位和建图(SLAM)系统中,引起了越来越多的人对全球和连续定位解决方案的关注。尽管如此,在密集的城市环境中,基于GNSS的SLAM系统将受到非视线(NLOS)测量的影响,这可能会导致本地化结果的急剧恶化。在本文中,我们提出从抬头摄像机检测天空区域,以提高GNSS测量的可靠性,以更准确的位置估计。我们提出了Sky-GVINS:一个基于最近被称为GVINS的工作的天空感知GNSS-视觉惯性系统。具体来说,我们采用全局阈值的方法对鱼眼天空指向图像中的天空区域和非天空区域进行分割,然后利用卫星与相机之间的几何关系将卫星投影到图像中。之后,我们拒绝在非天空区域的卫星,以消除NLOS信号。我们研究了各种天空检测的分割算法,发现Otsu算法报告了最高的分类率和计算效率,尽管该算法的简单和易于实现。为了评估Sky-GVINS的有效性,我们构建了一个地面机器人,并在校园里进行了广泛的真实世界的实验。实验结果表明,与基线方法相比,该方法均提高了在开放地区和密集城市环境下的定位精度。最后,我们还进行了详细的分析,并指出了未来研究的研究方向。
code: https://cs.paperswithcode.com/paper/gnss-stereo-inertial-slam-for-arable-farming
摘要:农业任务自动化速度的加快要求现场机器人采用高精度和鲁棒的定位系统。同时定位和映射(SLAM)方法不可避免地会在探索性轨迹上积累漂移,并且主要依赖于位置重新访问和循环闭合来保持一个有界的全局定位误差。环状闭合技术在农田中具有显著的挑战性,因为不同视野的局部视觉外观非常相似,并且很容易由于天气的影响而发生改变。在实践中,一个合适的替代方案是将全球传感器定位系统与其他机器人传感器联合使用。在本文中,我们提出并实现了GNSS、立体视图和惯性测量的定位融合。具体来说,我们以一种紧密耦合的方式,将GNSS测量值合并到立体惯性ORB-SLAM3管道中。我们彻底评估了我们在罗萨里奥数据集序列(Pire et al.,2019)中的实现,由大豆领域的自主机器人记录,以及我们自己的内部数据。我们的数据包括来自传统GNSS的测量数据,很少包括在最先进的方法的评估中。在这个应用案例中,我们描述了GNSS-立体惯性SLAM的性能,与视觉惯性和松散耦合的GNSS-立体惯性基线相比,报告的姿态误差减少了10 %到30 %。除了这样的分析之外,我们还将我们的实现的代码作为开源代码发布。
数据链接:http://www.cifasis-conicet.gov.ar/robot/
摘要:在本文中,我们提出了罗萨里奥数据集,一个传感器数据的收集为自主移动机器人在农业场景。该数据集的动机是缺乏由移动机器人在这种环境中收集到的真实传感器读数。它由大豆田记录的6个序列组成,显示了真实和具有挑战性的案例:高度重复的场景、由阳光直射和粗糙地形造成的反射和燃烧图像等。该数据集是为了提供一个基准,并为农业SLAM/测程法和传感器融合研究做出贡献。它包含了几个传感器的同步读数:车轮测程仪、IMU、立体声摄像头和一个GPS-RTK系统。
code: https://github.com/ucr-robotics/citrus-farm-dataset
摘要: 在这项工作中,我们介绍了CitrusFarm数据集,一个综合的多模态感觉数据集。该数据集提供了具有深度信息的立体RGB图像,以及单色、近红外和热图像,呈现了对农业研究至关重要的不同光谱响应。此外,它还提供了一系列导航传感器数据,包括车轮测程、激光雷达、惯性测量单元(IMU)和GNSS,以实时运动学(RTK)作为厘米级定位地面真相。该数据集包括在3个柑橘树田中收集的7个序列,包括不同生长阶段的不同树种、独特的种植模式以及不同的日光条件。总运行时间为1.7小时,运行距离为7.5 km,构成1.3 TB的数据。我们预计,该数据集可以促进在农业树木环境中运行的自主机器人系统的发展,特别是用于定位、测绘和作物监测任务。此外,该数据集中提供的丰富的传感模式还可以支持一系列机器人技术和计算机视觉任务的研究,如位置识别、场景理解、目标检测和分割,以及多模态学习。
计算机视觉(从相机标定到视觉SLAM)_浙江大学_谭平(SFU)
https://www.cvlibs.net/datasets/kitti/eval_odometry.php