【论文笔记】Diffusion-based 3D Object Detection with Random Boxes

原文链接：https://arxiv.org/abs/2309.02049

1. 引言

  基于激光雷达的3D目标检测方法通常依赖经验设置锚框或中心半径，而本文探索从随机框直接预测真实边界框。
  本文提出Diff3Det，使用扩散模型进行3D目标检测。首先为真实边界框添加高斯噪声，获得带噪声的边界框，然后从BEV特征图提取RoI特征，并输入到解码器预测带噪声边界框与真实边界框的偏移。这样，模型能从带噪声边界框中恢复真实边界框。

3. 方法

3.1 对扩散模型的回顾

  见此文3.1节（本文中，数据用$x_0,x_1,\cdots ,x_t,\cdots ,x_T$表示）。
  本文将真实边界框作为$x_0\in {\mathbb{R}}^{N\times 5}$，并训练神经网络$f_{\theta }(x_t,t,x)$预测$x_0$，其中$x_t$为带噪声边界框，$x$为相应的点云特征。

3.2 概述

  本文的方法包含由扩散指导的提案生成器（通过为真实边界框添加高斯噪声得到$x_t$），编码器（3D体素主干，提取点云特征）和解码器（从$x_t$和相应的RoI特征预测真实边界框），如上图所示。

3.3 扩散指导的提案生成器

  BEV是3D目标检测的有效表达，本文使用BEV边界框$(cx,cy,dx,dy,\theta )$表达边界框。首先将真实边界框的数量复制到$N$，并归一化到0和1之间，并引入信号缩放因数，控制扩散过程的信噪比。然后按照下式添加噪声，得到提案框$x_t$：$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$其中$ϵ\sim \mathcal{N}(0,I_5)$。
  由于从不含激光雷达点的提案框中恢复真实边界框很困难，因此统计各提案框内的点数$m$，并设置阈值$\eta$。若$m<\eta$，移除提案框并替换为随机边界框，直到所有提案框都至少有$\eta$个点。该方法同样被用于提案框的细化，因为本文发现提案框的质量是该方法成功的关键（见后文）。
  尺寸的相关系数：真实世界中物体的长宽有一定关系，因此将随机边界框的长和宽看作两个独立的随机变量是不合适的。本文引入相关系数以限制随机边界框的尺寸：$$W=\rho L+\sqrt{1-{\rho }^2}X$$其中$L,X\sim \mathcal{N}(0,1)$且独立，$\rho =0.8$。此后，将随机变量$W,L$分别缩放到$(0,w)$和$(0,l)$范围内作为提案的尺寸。
  动态时间步长：在训练的早期，从带噪声样本恢复真值很困难，因此本文使用正弦调度控制时间步长范围，噪声在训练阶段逐步提高。设$n$为训练总轮数，$T$为需要的最大时间。则当前轮次$x$的最大时间$T_{\max }$为： T max ⁡ = { T ⌊ sin ⁡ ( cos ⁡ − 1 ( ω T ) σ n x + sin ⁡ − 1 ( ω T ) ) ⌋ x < σ n T x ≥ σ n T_{\max}=\left\{

\right. Tmax​={T⌊sin(σncos−1(Tω​)​x+sin−1(Tω​))⌋T​x<σnx≥σn​其中超参数$\omega$和$\sigma$分别控制第一轮训练的步数和训练到达最大步数$T$的轮数。

3.4 损失函数

  给定真实物体集合 y = { y i } i = 1 M y=\{y_i\}_{i=1}^M y={yi​}i=1M​和预测集合 y ^ = { y ^ i } i = 1 N \hat{y}=\{\hat{y}_i\}_{i=1}^N y^​={y^​i​}i=1N​，匹配代价定义如下：$$\begin{gathered} {\mathcal{C}}_{\text{match}}={\lambda }_{cls}{\mathcal{L}}_{cls}+{\lambda }_{reg}{\mathcal{L}}_{reg}+{\lambda }_{IoU}{\mathcal{L}}_{BEV\_IoU} \\ \mathcal{C}=\underset{i\in M,j\in N}{\mathrm{argmin}}{\mathcal{C}}_{\text{match}}({\hat{y}}_i,y_j) \end{gathered}$$其中${\mathcal{L}}_{cls}$为分类的focal损失，${\mathcal{L}}_{reg}$和${\mathcal{L}}_{BEV\_IoU}$分别为边界框预测的L1损失和BEV IoU损失。
  训练损失仅对匹配物体对计算：$$\mathcal{L}={\lambda }_{cls}{\mathcal{L}}_{cls}+{\lambda }_{reg}{\mathcal{L}}_{reg}+{\lambda }_{IoU}{\mathcal{L}}_{DIoU}$$其中${\mathcal{L}}_{DIoU}$为旋转3D IoU损失。

3.5 推断阶段

  推断阶段为从噪声到边界框的去噪过程。Diff3Det迭代地从采样自高斯分布的边界框细化预测。给定随机边界框或上一步的预测边界框，解码器会给出当前的预测结果。下一步的提案框可按下式计算：$$\begin{gathered} x_{t-s}=\sqrt{{\alpha }_{t-s}}(\frac{x_t-\sqrt{1-{\alpha }_t}{ϵ}_{\theta }^{(t)}(x_t)}{\sqrt{{\alpha }_t}})+\sqrt{1-{\alpha }_{t-s}-{\sigma }_t^2}{ϵ}_{\theta }^{(t)}(x_t)+{\sigma }_t{ϵ}_t \\ {\sigma }_t=\sqrt{\frac{1-{\alpha }_t/{\alpha }_{t-s}}{(1-{\alpha }_{t-s})/(1-{\alpha }_t)}} \end{gathered}$$其中$x_t,x_{t-s}$分别表示相邻两步的提案框，${ϵ}_{\theta }^{(t)}(x_t)$为解码器预测的偏移量，${ϵ}_t$为高斯噪声。采样步数$m$可以大于1，且$s=T/m$。若使用多步迭代，需要使用NMS处理冗余边界框。

4. 结果与分析

4.3 主要结果

  Diff3Det能超过基于锚框的经典模型的性能。
  当步数大于1时，性能提升主要在困难物体上，因为更多的步数导致更多的预测边界框，对困难物体的检测有利。但过多的预测会混淆NMS的处理，导致简单物体的性能略微下降。

4.4 消融研究

  提出的组件：针对扩散指导的提案生成器，本文以完全随机边界框作为基准，逐步添加（1）带噪声的真实边界框；（2）丢弃点数为0的随机框并进行重采样；（3）使用尺寸相关性约束边界框长宽比；（4）动态时间步长，性能均有提升。
  采样步数：推断时，适当地增加采样步数能提高性能。

4.5 局限性

  解码器从随机边界框回归预测结果比较困难，导致相对慢的收敛速度。