文献阅读 Person-in-WiFi:Fine-grained Person Perception using WiFi

动机：为什么作者想要解决这个问题？

• 许多 2D 和 3D 传感器（例如 RGB/深度相机、雷达（例如 RF-Pose）和 LiDAR）已经实现了细粒度的人体感知，例如身体分割和姿势估计。这些解决方案需要人体的 2D 图像、深度图或 3D 点云作为输入。本文提出使用 1D 传感器（WiFi 天线）也可以实现精细的人体感知。
• WiFi感知在低照明条件下可以使用，并且几乎不涉及隐私问题

贡献：作者在这篇论文中完成了什么工作(创新点)？

• 证明使用无处不在的 WiFi 天线可以实现细粒度的人体感知
• 以二维方式感知人体，传感器的物理空间布局可以低至一维(一维指的应该是天线)
• 一种将 WiFi 信号映射到人体分割掩码和关节坐标的深度学习解决方案（人体分割掩码和关节坐标作为监督）

规划：他们如何完成工作？

• 数据和注释

    使用Mask R-CNN [1] 生成人的分割掩码 (SM)，一个 1×46×82的张量，其中 46 和 82 分别是高度和宽度

    使用OpenPose[2]的最新 Body-25 模型来输出身体关节热图 (JHM) 和部分亲和场 (PAF)。对于每一帧，JHMs 是一个 26×46×82 张量，其中 26 对应于 25 个关节和 1 个背景。 PAF 是一个 52×46×82 张量，其中 52 代表 26 个肢体的 x 和 y 坐标

• 神经网络

  
    从 CSI 映射到身体分割掩码 (SM)、联合热图 (JHM) 和部分亲和场 (PAF)。

• 损失函数

  $$\mathcal{L}={\lambda }_1{L}_{\mathrm{S}\mathrm{M}}+{\lambda }_2{L}_{\mathrm{J}\mathrm{H}\mathrm{M}}+{\lambda }_3{L}_{\mathrm{P}\mathrm{A}\mathrm{F}}$$

  • $L_{\mathrm{S}\mathrm{M}}$使用交叉熵损失函数
  • 对于$L_{\mathrm{J}\mathrm{H}\mathrm{M}}$和$L_{\mathrm{P}\mathrm{A}\mathrm{F}}$，使用$L_2$无法生成很好的效果 ，因为身体关节在图像中只占用很少的像素，而$L_2$损失倾向于对所有像素的回归误差进行平均。这个问题可以通过多个级联回归阶段（如 OpenPose[2] 或 Stacked Hourglass Networks [3]）部分缓解，但这两种解决方案都使网络变得更重。以$L_{\mathrm{J}\mathrm{H}\mathrm{M}}$为例，本文使用 Matthew Weight (MW) 来实现注意力机制使网络比背景更关注身体关节：
    $$L_{\mathrm{J}\mathrm{H}\mathrm{M}}^{(i,j,c)}=w_{(i,j,c)}\cdot {\Vert {\hat{y}}_{(i,j,c)}-y_{(i,j,c)}\Vert }_2^2$$ $$w_{(i,j,c)}=k\cdot y_{(i,j,c)}+b\cdot \mathbb{I}\left(y_{(i,j,c)}\right)$$
    具体细节见论文

理由：通过什么实验验证它们的工作结果

搞笑：使用 OpenPose Python API 在给定 JHM 和 PAF 的情况下进行多人联合关联。
为什么不直接用OpenPose作为监督？？？

实验部分介绍了
①与基于相机的方法的差距
②在未经训练的环境中部署
根据需要看原文

参考文献

[1] Mask r-cnn
[2] Realtime multi-person 2d pose estimation using part affinity fields
[3] Stacked hourglass networks for human pose estimation