Proactive Privacy-preserving Learning for Retrieval 论文笔记

概要：

• 本文提出了一种针对检索系统隐私保护的方法，称为 PPL。训练一个生成器，在 original data 的基础上生成 adversarial data。adversarial data 在特征空间中要保持原本的相似性结构，并且最大化original data 和 adversarial data 之间的差距。

背景：

• 加入隐私保护后，恶意用户无法随意搜索，也无法收集 database 里的数据构建模型

  

• 具体来说就是：无法使用干净数据作为 query 在对抗性数据构建的 database 上进行检索，无法使用对抗性数据作为 query 在干净数据构建的 database 上进行检索

  • 

• clean domain 和 adversarial domain 需要具有：

  • 特征空间中相同的 similarity structure (pdf)
  • 最大化两个领域之间的 gap

方法：

• 训练一个用于生成 adversarial data 的 generater

• 

• loss function

  • generation process

    $z_i=x_i+\mathcal{G}\left(x_i;{\vartheta }_g\right)$
    s.t. ∥ G ( x i ; ϑ g ) ∥ p ≤ ϵ , p ∈ { 1 , 2 , ∞ } \left\|\mathcal{G}\left(x_{i} ; \vartheta_{g}\right)\right\|_{p} \leq \epsilon, p \in\{1,2, \infty\} ∥G(xi​;ϑg​)∥p​≤ϵ,p∈{1,2,∞}

  • Affinity-preserving Loss

    • ${\mathcal{J}}_o={\sum }_{i,j=1}^n{\Vert h{\left(z_i\right)}^{T}h\left(z_j\right)-c\cdot S_{ij}\Vert }_F^2$
    • 保持模型的检索能力额

  • Privacy-preserving Loss

    ${\mathcal{J}}_p=\alpha {\hat{\mathcal{D}}}_s+\beta {\mathcal{J}}_s+\gamma {\mathcal{J}}_e$

    • Domain Loss：原理涉及 “(RKHS)”
    • Similarity Loss
    • Matching Loss

    具体细节阅读文章，loss 还有一些原理不太明白，不过该 loss 的主要目的是为了减小两个梁宇之间的差异

• 训练过程

  • Objective Function

    这里的训练过程是一种对抗性训练方式，the generator is updated to enlarge the gap between the adversarial data and the original data，the surrogate model is trained with the opposing objective that is to maintain the search performance.

    ${\hat{\vartheta }}_g=\arg {\min }_{{\vartheta }_g}{\mathcal{J}}_o\left({\vartheta }_g,{\vartheta }_f\right)-{\mathcal{J}}_p\left({\vartheta }_g,{\vartheta }_f\right)$,
    ${\hat{\vartheta }}_f=\arg {\min }_{{\vartheta }_f}{\mathcal{J}}_o\left({\vartheta }_g,{\vartheta }_f\right)+{\mathcal{J}}_p\left({\vartheta }_g,{\vartheta }_f\right).$

  • 对抗性训练的过程运用到了 Gradient Reversal Layer

    • 来自论文-Unsupervised Domain Adaptation by Backpropagation 是关于 domain adaptation 的文章

实验结果：