无人机与视觉结合项目

无人机巡航实现火灾检测项目

硬件：无人机选用的是匿名科创的无人机，是由stm32作为主控。
选用jetson nano作为视觉识别的主要处理器

将jetson nano挂载到无人机上。

无人机巡航原理

上位机的地图里设置HOME点，也就是无人机巡航的起点，在森林的周围设置航点。再将各个航点信息传给无人机飞控，并且要将航点信息存储到flash或者外置存储器中，这样下电以后这些航点数据长期保存下来，这样以后无人机可以上电直接依据这些航点信息巡航检测森林火灾森林。每当无人机上电之后，会根据自身的经纬度以及飞机朝向和位姿向下一个航点飞行，当经纬度达到下一个航点，这个航点结束，再飞向下一个航点。这样就可以达到巡航森林的效果，与上层开发板和上位机结合就可以达到检测森林火灾的目的。

无人机与上位机通信报备信息；
无人机上的GPS会通过数传将所在位置上传给上位机，并且还有无人机的机头朝向以及姿态、电池电量等等，当上层开发板检测到火灾之后，无人机飞控会通过数传将火灾信息上报给上位机。

无人机的控制原理：

依据icm2090姿态传感器接串口来获取无人机的姿态，形成一个闭环，依据传上来的姿态进行无人机的PID调参，调好之后无人机可以达到平衡飞行的目的。

依据GPS传来的经纬度来控制无人机的达到定点的位置，当无人机位置漂移后，无人机飞控依据经纬度的偏移来调整无人机的飞行方向，来达到稳定在一个经纬度的目的，从而形成一个闭环。

无人机依据GPS传来的高度来使无人机达到定高的效果，无人机的高度发生偏移后，依据GPS传来的数据，可以知道无人机的高度产生了变化，此时就要调整无人机电调的PWM值，行成一个闭环，从而达到定高的效果。

视觉识别：

使用YOLOV5进行视觉识别:
较难的，是配置yolov5环境在jetson nano上，以及在代码中添加从串口输出信息到无人机的主控上，从而控制飞机的飞行。

视觉识别火灾效果视频：

拓展：无人机搭载yolov5识别人：

只是相应的改数据集训练人脸即可。
视频如下：

雷达：

展望：

在jetson nano上跑起来ros系统，控制无人机进行自主路径规划，并利用思岚雷达进行自动避障。目前已在ubuntu下实现实物场景的建模，以及ros中路径规划和自动避障的应用。下一步，就是将其移植到jetson上来发送信息给无人机，从而实现路径规划和自动避障。

ros中自主导航避障视频：