Pointnet++的改进

1、PATs: Point Attention Transformers
论文：Modeling Point Clouds with Self-Attention and Gumbel Subset Sampling

2019CVPR，上海交大MoE实验室和华为诺亚方舟实验室

本文主要改进了PointNet++中的FPS的部分，使得选取的点更能处理外点，将down sampling的点选取在attention score大的点上。很形象的对比如下图：

接下来就介绍一下本文提出的两个模块。

GSA：Group Shuffle Attention
这一块内容主要就是自注意力机制。

本文使用了Scaled Dot-Product attention（在上面的博客也提到了），具体的GSA的详见论文中的公式（7）（8）和（11）。

对于点x，对应的特征向量是y，通过y=GSA(f)的变换，得到了点的新的特征向量y。在GSA过程中，参考(7)和(8)，仍然是使用f内部的信息，与MLP其实作用是一样的，就是计算新的特征。

GSS：Gumbel Subset Sampling
主要是将Pointnet++中的FPS换成了使用Gumbel Softmax进行计算每个点的重要程度，然后根据这个概率选取down sampling的点。

网络结构

从网络结构看，GSA网络类似于Pointnet++中的MLP，GSS相当于FPS。

Moments
论文：Momenet: Flavor the Moments in Learning to Classify Shapes

本文章提出的方法简单，基本上就是增加网络的输入。将网络的输入由点的坐标(x,y,z)增加到(x,y,z,x2,y2,z2,xy, xz, yz)。基本网络如下：

2nd Order-Layer
可以从细节看到2nd Order-Layer其实与Pointnet++非常相似，无非就是还做了人工构造了2nd Order的特征。

具体的Spatial-Trans中也加入了2nd Order-Layer。

最后的效果证明，在ModelNet40的数据集上，效果很好。

参考文献：https://blog.csdn.net/wqwqqwqw1231/article/details/104183984