MPPNet Transformer部分详解

项目地址：https://github.com/open-mmlab/OpenPCDet
论文地址：https://arxiv.org/abs/2205.05979

MPPNet

MPPNet论文结构如图所示。本文主要介绍Multi-Frame Feature Interaction部分。

Intra与Inter详细图示

数据流如下图所示。总结而言，INTRA阶段的Query是每个ROI有一个，Key和Value是64个Proxy Points Feature；INTER阶段的Query是每个ROI有64个，Key和Query是64个多帧全局Proxy Points Feature。

Intra 组内特征提取

完成BBox内部的空间特征提取。

1. mlp_mixer_3d

输入

src[1:]: [num_proxy_points, bs*num_rois*num_groups, C]

输出

src_intra_group_fusion: [num_proxy_points, bs*num_rois*num_groups, C]

后续

根据 src[1:]与src_intra_group_fusion更新 src[1:]

说明

针对64个Proxy Points进行空间特征提取

2. self_attention

输入

Query: src[:1] [1, bs*num_rois*num_groups, C]
Key: src_intra_group_fusion+pos [num_proxy_points, bs*num_rois*num_groups, C]
Value: src_intra_group_fusion [num_proxy_points, bs*num_rois*num_groups, C]

输出

src_summary: [1, bs*num_rois*num_groups, C]

说明

batch_size是bs*num_rois*num_groups
相当于空间特征提取，每个框会有1个Query，64个Key/Value。

Inter 组间特征提取

完成BBox帧间的时空特征提取。

1. fusion_all_groups

输入

src_all_groups: [num_proxy_points, bs*num_rois, C*num_groups]

来源为src[1:]

输出

src_all_groups_fusion: [num_proxy_points, bs*num_rois, C]

说明

每个Proxy Points的全局多帧特征通过MLP完成。

2. cross_attn_layers

输入

Query: query_list[i] [num_proxy_points, bs*num_rois, C]

来源为src[1:] + pos，长度为num_groups

Key: src_all_groups_fusion+pos [num_proxy_points, bs*num_rois, C]
Value: src_intra_group_fusion [num_proxy_points, bs*num_rois, C]

输出

inter_group_fusion: [num_proxy_points, bs*num_rois, C]

说明

src[1:] 更新为num_groups个inter_group_fusion 。即[num_proxy_points, bs*num_rois*num_groups, C]