深入理解联邦学习——纵向联邦学习

分类目录：《深入理解联邦学习》总目录

---

假设进行联邦学习的数据提供方为$A$和$B$，第三方为$C$，则纵向联邦学习步骤如下：

1. 在系统级做加密样本对齐，在企业感知层面不会暴露非交叉用户
2. 对齐样本进行模型加密训练：
   • 由第三方$C$向$A$和$B$发送公钥，用来加密需要传输的数据；
   • $A$和$B$分别计算和自己相关的特征中间结果，并加密交互
   • $A$和$B$分别计算各自加密后的梯度并添加掩码发送给$C$，同时拥有类标侧计算加密后的损失发送给$C$
   • $C$解密梯度和损失后回传给$A$和$B$
   • $A$和$B$去除掩码并更新模型

我们以岭回归为例说明纵向联邦学习的训练过程。假设存在数据集 { x i A } ( i ∈ D A ) \{x_i^A\}(i\in D_A) {xiA​}(i∈DA​) 和数据集 { x i B , y i B } ( i ∈ D B ) \{x_i^B, y_i^B\}(i\in D_B) {xiB​,yiB​}(i∈DB​) ，其中$B$为拥有类标的数据拥有方，我们以线性回归为例说明纵向联邦学习的训练过程：

1. $A$和$B$分别初始化模型参数 ${\Theta }_A$和${\Theta }_B$，则目标函数为：$$\underset{{\Theta }_A,{\Theta }_B}{\min }\sum _i({\Theta }_A{x}_i^A+{\Theta }_B{x}_i^B-y_i{)}^2+\frac{\lambda }{2}(||{\Theta }_A|{|}^2+||{\Theta }_B|{|}^2)$$
2. 令$u_i^A={\Theta }_A{x}_i^A$和$u_i^B={\Theta }_B{x}_i^B$，则对原目标函数同态加密后（$[[\cdot ]]$表示同态加密）可表示为：$$\begin{array}{rl}[[L]]& =[[\sum _i(u_i^A+u_i^B-y_i{)}^2+\frac{\lambda }{2}(||{\Theta }_A|{|}^2+||{\Theta }_B|{|}^2)]]\\ & =[[\sum _i(u_i^A{)}^2+\frac{\lambda }{2}||{\Theta }_A|{|}^2]]+[[\sum _i((u_i^B-y_i{)}^2)+\frac{\lambda }{2}||{\Theta }_B|{|}^2]]+2\sum _i([[u_i^A]](u_i^B-y_i))\end{array}$$
3. 我们令：$$\begin{array}{rl}[[L_A]]& =[[\sum _i(u_i^A{)}^2+\frac{\lambda }{2}||{\Theta }_A|{|}^2]]\\ [[L_B]]& =[[\sum _i((u_i^B-y_i{)}^2)+\frac{\lambda }{2}||{\Theta }_B|{|}^2]]\\ [[L_{AB}& =2\sum _i([[u_i^A]](u_i^B-y_i))]]\\ [[d_i]]& =[[u_i^A]]+[[u_i^B-y_i]]\end{array}$$则$[[L]]=[[L_A]]+[[L_B]]+[[L_{AB}]]$
4. 计算梯度：$$\begin{array}{rl}[[\frac{\partial L}{\partial {\Theta }_A}]]& =\sum _i[[d_i]]x_i^A+[[\lambda {\Theta }_A]]\\ [[\frac{\partial L}{\partial {\Theta }_B}]]& =\sum _i[[d_i]]x_i^B+[[\lambda {\Theta }_B]]\end{array}$$

针对数据提供方为$A$和$B$以及第三方为$C$，纵向联邦学习的训练步骤如下：

在整个过程中参与方都不知道另一方的数据和特征，且训练结束后参与方只得到自己侧的模型参数，即半模型。由于各参与方只能得到与自己相关的模型参数，预测时需要双方协作完成：

1. 第三方$C$将待预测用户ID分别发送给数据提供方$A$和$B$
2. 数据提供方$A$和$B$分别计算$u^A$和$u^B$并进行同态加密得到$[[u^A]]$和$[[u^B]]$
3. 数据提供方$A$和$B$将同态加密后的$[[u^A]]$和$[[u^B]]$发送给 第三方$C$
4. 第三方$C$计算同态加密后的预测值$[[y]]=[[u^A]]+[[u^B]]$再解密得到预测值$y$

参考文献：
[1] 杨强, 刘洋, 程勇, 康焱, 陈天健, 于涵. 联邦学习[M]. 电子工业出版社, 2020
[2] 微众银行, FedAI. 联邦学习白皮书V2.0. 腾讯研究院等, 2021