如有错误,恳请指出。
paper:《Joint 3D Proposal Generation and Object Detection from View Aggregation》
AVOD同样是一个two-stage(使用了RPN提取候选框)、anchor-based网络结构。获得较高的召回率对RPN网络来说是比较重要的,但对于稀疏的较低分辨率的输入来说(比如前视图和鸟瞰图)不足以让RPN输出高质量的候选框,且导致低召回率,这会在第二个阶段带来无法逆转的结构。基于这个考虑,AVOD设计了一个新颖的RPN结构可以通过在高分辨率特征图上进行多模态特征融合(将来自RGB图像和BEV的全分辨率特征图为输入),来提高小目标的定位精度。
补充一点,这里与MV3D的处理方法是不一样的。对于MV3D中的是对鸟瞰图的特征进行3d候选框的生成再投影回去每个模态的特征图中获得统一尺寸的roi特征图,所以本质上MV3D融合的信息较小,对于小目标来说检测精度较低。而AVOD采取的方案是利用投影在RGB图与BEV全尺寸的特征图上获取feature crop融合来进行最后边界框的预测,在下面网络结构中会详细介绍。
AVOD的网络结构图如下所示。对于BEV输入表