小目标检测闲谈

• 学术界在小目标检测领域的研究进展似乎已经相对缓慢，这一趋势在年度顶级学术会议的相关论文中也有所体现。这部分停滞可能与深度学习领域整体的发展趋势有关。然而，小目标检测仍然是一个具有重要应用潜力的领域，尤其在实际部署中，常常会面临小目标检测的挑战性情况，例如自动驾驶中的红绿灯检测和远距离车辆检测。 这些挑战性问题使小目标检测领域依然具备巨大的实际价值。解决这些问题可以直接提高自动驾驶、监控、遥感等领域的性能，因此小目标检测的研究仍然吸引了研究者的关注。虽然进展可能相对较慢，但在实际应用中，小目标检测问题的解决仍然具有重要意义。或许未来会出现新的方法和技术，以推动小目标检测领域的进一步发展和改进。
• 在COCO Benchmark这种多尺度数据集上，专注于小目标检测可能并不明智。因为大尺度和小尺度物体之间存在相互影响，如果过于聚焦于小物体的检测，大物体的检测性能可能会因缺乏关注而受到负面影响，这一观点已在QueryDet论文中有所体现（QueryDet的实验结果，AP_S比过了其他方法，但AP_M和AP_L却比不上）。这也解释了为什么在COCO数据集上很少有专门针对小目标的检测方法。提高小物体的平均精度（AP）需要同时保持大中尺度物体的AP不下降，这意味着总体AP必须提高。从这个角度来看，全面优化整体AP似乎更为合理，而不是仅仅专注于解决小物体检测这个难题。这也是COCO数据集上最先进的方法所采用的思路，它们致力于提高整体AP，而小物体AP的提升则是自然而然的，无需专门开发方法来提高小物体AP。
• 当然，需要强调的是，广受欢迎的Transformer类方法通常不太适用于小物体检测。这主要是因为小物体检测需要高分辨率的特征，而使用高分辨率特征会导致self-attention机制的计算量急剧增加。尽管有一些方法可以部分缓解这个问题，但目前尚无法从根本上解决这个挑战。
• 因此，进行小目标检测的更为明智的方法是专注于那些只包含小物体的任务，例如交通标志检测、卫星图像检测等。另一种途径是创建新的基准数据集，例如TinyPerson、AI-TOD等，然后根据数据集的特点，设计方法以达到最先进的性能（正如RFLA和DotD所做的）。这些方法将更有针对性，更容易取得成功，因为它们将专门针对小物体检测的需求和挑战进行了优化。

• 在众多小目标检测方法中，最实用的方法通常包括以下几个方面：数据增广（例如Stitcher、copy-paste）以增加训练样本的多样性，使用放大输入图片的策略（如GAN放大再检测、将图像裁剪成patch再放大，如SAHI方法）来处理小物体，利用高分辨率的特征（如QueryDet[5]）以捕捉更多小物体细节，或者专门为极小目标（<=16*16像素）设计的检测方法，并改进标签分配策略，以增加小目标的正样本数量（例如RFLA和DotD）。这些方法的共同之处在于它们的简洁性，遵循着“大道至简”的原则。它们的核心思想都很朴素，无非是通过增加小目标的训练样本数量（通过数据增广）、将小物体视为大物体（通过放大输入图片或使用高分辨率特征）以及改善小目标的正样本数量（通过适当的标签分配方法），从而有效地应对小目标检测的挑战。

---

一些小目标的论文：

1.Augmentation for small object detection, CVPR 2019.[1] Relation Networks for Object Detection, CVPR 2018.

2.Spatial-aware Graph Relation Network for Large-scale Object Detection, CVPR 2019.

3.Reasoning-RCNN: Unifying Adaptive Global Reasoning into Large-scale Object Detection, CVPR 2019.

4.HTD: Heterogeneous Task Decoupling for Two-Stage Object Detection, TIP 2021.

5.QueryDet: Cascaded Sparse Query for Accelerating High-Resolution Small Object Detection, CVPR 2022.

6.Scale Match for Tiny Person Detection, WACV 2020.

7.Tiny object detection in aerial images, ICPR 2021.

8.RFLA: Gaussian Receptive Field based Label Assignment for Tiny Object Detection, ECCV 2022.

9.Dot Distance for Tiny Object Detection in Aerial Images, CVPRW 2021.

10.Stitcher: Feedback-driven Data Provider for Object Detection, CVPR 2020.

11.Augmentation for small object detection, CVPR 2019.

12.Slicing Aided Hyper Inference and Fine-tuning for Small Object Detection, ICIP 2022.