MV3D网络时融合俯视图,前视图和RGB图片的融合感知目标检测网络;总网络框框架如下:
数据预处理流程
网络需要的数据为俯视图和前视图;所以在送入网络以前需要将原始点云处理为网络需要的格式;这里主要先讲一下俯视图的转换方式;
俯视图特征有三种:高度特征,强度特征和密度特征;
1) 高度特征:将点云切为M片,每个切片计算一个高度图;因此获取了M个高度图;每个网格的高度由网格内高度最大点的高度表示(该点坐标z轴减去设定的点云范围的z轴最小值);
2) 强度特征: 由每个单元中具有最大高度的点的反射率值表示
3) 密度特征:点云密度表示每个单元中点的数量
该处理流程的代码,以工程文件data.py添加链接描述的generate_top_view函数为入口,进入clidar_to_top处理函数;
- clidar_to_top函数由C语言编写,编译为.so文件使用cpython进行调用
- LidarTopPreprocess.c文件的解释如下
文件链接添加链接描述
1)设置网格分辨率,根据设定的点云范围计算各维度上点云的数量,设为X_size,y_size,z_size
- 定义三个数组,一个三维的height_maps数组,储存z_size个高度切片信息;一个二维的density_map数组,储存密度特征;一个intensity_map数组储存强度特征
- 数组初始化
- 依次遍历每个点,计算点所属的网格,并更新三个特征图