毫米波点云雷达 论文阅读 | 3DRIMR, IPCCC 2021

原文链接: https://mp.weixin.qq.com/s/6sMztd3zUyEMwURq_87SsQ

Sun, Yue, Zhuoming Huang, Honggang Zhang, Zhi Cao, and Deqiang Xu. 2021. “3DRIMR: 3D Reconstruction and Imaging via MmWave Radar Based on Deep Learning.” IEEE International Performance, Computing, and Communications Conference (IPCCC)

Abstract

• 使用深度学习，基于sparse raw mmwave radar intensity data
• 包括 2 back-to-back GAN:
  • 1st GAN: 由radar data生成 2D depth images
  • 2nd GAN: 由2D depth images 生成3D点云
• 优点：
  • 1 利用CNN提取局部结构特征
  • 2 利用了点云的高效和能够表达细节几何特征的能力？（意思是输出的点云有这些优点？）

1 Introduction

P1: mmWave在浓烟浓雾等救援环境中很有用

P2: 但目前挑战很大，重建效果不佳。本文使用深度学习，取得了良好的效果

P3, P4, P5：介绍本文的方法

• 整体网络:
  • 输入：从物体的多个不同视角扫描的原始毫米波雷达 传感信号
  • 输出：物体的三维点云
  • 包含两个阶段
• 阶段1：
  • 输入：原始雷达数据
  • 输出：2D 深度图
  • 生成器1和判别器1联合训练
  • 利用CNN提取三维物体的局部邻域特征
• 阶段2：

  • 输入：4副不同视角的2D 深度图

    ✅ 作者认为一个雷达的距离分辨率实际上是够的，故使用多个视角的雷达提高角度分辨率，获得高分辨率的三维物体信息

  • 输出：稠密的物体三维点云

  • 生成器2和判别器2联合训练

  • 生成的点云比体素表达更加高效、分辨率更高

P6: 贡献总结

• 1 提出了新的毫米波点云重建网络结构
• 2 一个使用商用Radar的、快速的三维物体重建系统，无需缓慢的SAR扫描
• 3 直接工作在稀疏和有噪声的原始雷达数据上

2 Related Work

• 基于FMCW mmWave的研究较多

  • 如低能见度下的手势识别
  • 汽车检测/成像
  • 环境传感
  • 但通常需要离目标较近 / 或依赖SAR进行处理

• 本文的动机 ：

  • [1]-[3]： 使用mmWave进行成像

    

  • 此外，在之前的SLAM工作中增加低能见度感知能力 (使用mmWave雷达)

• 关于3D重建

  • 使用体素：占用内存大
  • 本文：使用点云，具有高效的内存和计算性能；且使用CNN提取雷达数据局部结构特征

• 对 1 ,3的详细介绍：

  • 1: 基于条件GAN生成目标的2D深度图像

    ✅ 使用俯仰角、方位角多次SAR扫描数据作为输入

    ✅ 本文则使用此类设计生成中间结果，且 在俯仰角中仅使用了两个雷达数据

  • 3: 没有获得2D深度图像

• 关于点云重建：

  • 采用了PointNet结构
  • 但使用了GAN来生成点云

3 Background

FMCW 毫米波雷达 sensing and imaging

• 3D FFT

  • 获得 3D heatmap or intensity map：$x(\varphi ,\theta ,\rho )$
  • 表示每个体素的能量强度

• SAR可以通过在range-cross和俯仰方向上扫描获得 更高的角度分辨率

  • 但 高距离分辨率使用普通雷达就能做到

• 毫米波成像本身存在很多问题

  • 镜面反射 – 导致稀疏
  • 多径效应

3D Reconstruction

• 点云重建的特点

  • 具有高分辨率

  • 不需要高内存成本的对象

    ✅ 有些工作用体素，但是时空复杂度太大

  • 但是不能用CNN，因为点云是无序的

• 从3D heatmap中直接获取点云不可行
  • 非常稀疏
  • 且因为多径效应，存在虚点
  • 因此本文使用两个GAN提取数据

4 3DRIMR Architecture

4.1 Overview

• GAN 1 (包括$G_{r2i}$ 和 $D_{r2i}$)

  • 输入：Radar 3D Heatmap $m_r$ (来自视角$v$)

    🚩 输入数据的集合： { m r , i ∣ i = 1 , … , k } \left\{m_{r, i} \mid i=1, \ldots, k\right\} { mr,i​∣i=1,…,k} ， k表示第k个视角

  • 输出：2D depth image g 2 d ^ \hat{g_{2d}}