无人机航拍图像拼接与目标识别

 一、简介

     无人机用来做图像侦察是常见功能，现有技术基本是无人机对某片区域进行飞行，人工实时监控飞行图像，将图像录制成视频供事后回放。此方法对人员业务要求比较高、反应速度足够快、不利于信息收集、录制视频丢失空间信息、对于后期开展区域分析困难。

    羚控地理态势系统可将无人机航拍图像：可见光、红外、SAR雷达图像数据，几万甚至几十万张无人机航拍图像，拼接处理成地图瓦片数据，可叠加到电子地图、卫星地图上放大缩小漫游查看；具备目标特征训练功能，能够在拼接后态势地图进行目标智能搜索与标注（如：人、车辆、摩托车等）；具备目标手动标注功能。

 二、软件工作原理

    羚控地理态势系统利用图像校准、图像特征提取、图像特征匹配、图像拼接、图像融合等算法，可以将来无人机的图像自动拼接成一幅连续的图像，再进行地理信息处理，生成标准的瓦片地图数据库，从而实现态势融合显示的能力。

     图像拼接的原理是将待拼接图像进行图像校准预处理，经过校正后的图像，采用特征提取算法（SIFT、SURF、ORB等）提取每一幅图像的特征点，选择特征描述子实现特征点的匹配，利用匹配上的特征点得到图像的单应性矩阵，将一副图像变换到另一幅图像的相对位置，然后对拼接图像的重叠区域进行融合，最后得到没有拼接痕迹，拼接质量较高的大场景图像，实现无人机的图像的自动拼接；对无法提取特征的沙漠戈壁地貌则采用基本地理误差消除对齐的方法进行图像拼接。对于拼接图像继续进行图像投影转换、图像数据瓦片化、图像数据库生成等操作，最终可以在GIS地图上进行态势查看。

三、样品展示

SAR地理态势（13级）

SAR地理态势（16级）

可见光地理态势（18级）

可见光地理态势（21级，能识别广告牌文字）

目标智能搜索识别

四、技术指标

1. 航拍无人机类型：消费无人机大疆、道通，行业无人机（需具备pos数据）；
2. 拼接过程：自动拼接，不需人工干预；
3. 控制点：不需要；
4. 最大构建范围：300km*300km；
5. 最低级别：1级；
6. 最高级别：23级（厘米级）；
7. 图像数据精度：10m；
8. 实时图像拼接：支持；
9. 智能识别类别：人、车、摩托车（依据训练特征库决定）；
10. 识别过程：自动识别，不需人工干预；
11. 目标经纬高：支持；
12. 目标经纬度精度：10米；
13. 识别概率：≥90%；
14. 实时目标搜索：支持；

五、其他

    课题还在继续研究中，涉及大量算法研究，特别是很多算法执行效率很低需要进行大量优化改进效率；总之经过2年的研究改进，现在功能基本可用。