精读A Study of Face Obfuscation in ImageNet

摘要

        现在的数据集中，许多涉及现实生活的数据集会不可避免地收集到人脸，不论该张图片是否属于人脸类。以往的做法是直接拿图片进行训练，但这有可能侵害他人隐私，面临纠纷。本文便将人脸模糊的技术用于数据集后，观察模糊人脸的数据集训练出的模型是否与原始的模型有差距，最后发现准确率只下降了不到百分之一，且训练出的模型能够迁移到下游任务中去。

方法

        本文方法部分实在没啥说的，一个人脸的目标检测，外加人工进行一次复核，然后把有框框的地方全部模糊化。人脸包含侧脸，面具的脸，不包含假人和动物的脸。目标检测的具体方法没说是啥，只说了是使用了商业化的API接口。 

        模糊方法是根据原图，利用高斯模糊生成一张全部模糊后的图像，然后根据目标检测框，将原图和模糊图像合成为一张图像，目标检测框内的位置用模糊图像，其余像素用原始图像。

        最后，作者统计了一下ILSVRC中，含有人脸图像的分布情况。

        左图是不同类中，有人脸的图像的比例，右图是含有不同数量人脸的图像的比例

实验 

        因为本文探究的是脸部模糊化对模型性能的影响，因此实验首先围绕这一点展开。上图中，对比了各种不同的模型在数据集上的表现，可以看出，模糊化确实会对网络性能产生负面影响，但并不大，平均值低于1%，top-1中下降最大值也只有1.2%。

        既然模糊化会对网络造成负面影响，那这种影响是否和面积有关呢？作者接着研究了面积与性能下降的关系。

        横轴是整个类中，被模糊化的面积之比，纵轴是性能下降程度，n是指模糊化面积之比落在这个范围的类的数量。可见，越大的模糊面积确实会造成更严重的性能损失。

        除了面积，作者还统计了含有人脸的比例与模型性能下降的关系，结果如下图所示，依然是毫不意外的比例越大，性能损失越厉害。

        作者没有止步于此，简单地得到遮盖比例越大，性能损失越严重的结论，而是进一步研究，发现性能损失和遮盖比例不是单调递增的关系。比如面具类，遮盖面积比例为24%，top-5准确率下降8.71%，而水下呼吸器的遮盖面积比例为30%，top-5准确率下降只有6%。于是作者对部分图像的梯度进行了可视化。

        左边为面具类，右边为口琴类。每一列中，左图为原图，有图为模糊图像。可以看出，这些类因为人脸与分类目标高度重合，导致分类目标被一起模糊，使得网络的注意力无法关注图像要点，导致分类性能下降。

        作者还发现，明明许多相似类中基本不包含人脸，但他们的TOP-1分类结果变化巨大。

        作者没分析原因，我自己也没想明白。

        最后，作者验证了模型的迁移性

                

        Overlaid是指不模糊化，而是直接遮盖掉人脸。

        上面两图显示了不同数据集上，不同模型加载不同方式训练得到的预训练模型最终的性能。可以看出模糊化大多数时候会影响下游任务性能，但并不严重，用这类图像预训练得到的模型依然可以与传统方法匹敌，而且在SUN数据集预训练AlexNet，模糊化处理反而会提高最终性能。