论文解读（MCADA）《Multicomponent Adversarial Domain Adaptation: A General Framework》

Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ]

论文信息

论文标题：Multicomponent Adversarial Domain Adaptation: A General Framework
论文作者：Chang’an Yi, Haotian Chen, Yonghui Xu, Huanhuan Chen, Yong Liu, Haishu Tan, Yuguang Yan, Han Yu
论文来源：2023 aRxiv
论文地址：download 
论文代码：download
视屏讲解：click

1 介绍 

　　出发点：现有的域对抗训练方法主要考虑对齐域级的数据分布，而忽略了不同域中的组件之间的差异。因此，不会过滤掉与目标域无关的组件，这可能造成负迁移；

　　贡献：

• • 提供了一个两阶段的框架，可同时考虑全局数据分布和特征的内在关系。即：首先学习域级模型，然后在组件级对模型进行微调来增强正迁移；
  • 构造了一个二部图来匹配来自不同域的分量。二部图可以为目标域的每个分量找到最相关的源分量，由于两个匹配分量的数据分布比不同域之间的数据分布更相似，可以通过匹配组件来增强正传递；
  • 实验结果表明，所提出的框架始终优于 11 种最先进的DA方法；

　　组件（component）的概念：

　　

　　Note：半监督域适应，协变量偏移；

2 方法

2.1 整体框架

　　

2.2 Domain-Level Adversarial Adaptation 

　　第一阶段：通过生成可迁移样本，全局对齐不同域的数据分布；

　　

　　在对抗自适应过程中，需要少量已标记的目标样本，其必要性如 Figure 4 所示：

　　

　　即：对比于无监督来说，其类中心更加准确；

1) Adversarial Generation

　　可迁移样本应该满足两个条件：

• • 应该迷惑域鉴别器 D" role="presentation">D$D$；
  • 应该位于源域和目标域之间；

　　生成可迁移样本的方法：

　　　　fFake ←fTrue +α∇fTue L+β Dist. " role="presentation">fFake ←fTrue +α∇fTue L+β Dist. $f_{\text{Fake }}\leftarrow f_{\text{True }}+\alpha {\mathrm{\nabla }}_{f_{\text{Tue }}}\mathcal{L}+\beta \text{ Dist. }$

　　注意：fFake " role="presentation">fFake $f_{\text{Fake }}$ 为生成的对抗性样本，fTrue " role="presentation">fTrue $f_{\text{True }}$ 原始样本；

2) Adversarial Training

　　使用可迁移样本可以增强分类器对 域变化 和 对抗性扰动 的鲁棒性：

　　　　Lcla =Lc(x)+Lc, adv (x∗)" role="presentation">Lcla =Lc(x)+Lc, adv (x∗)${\mathcal{L}}_{\text{cla }}={\mathcal{L}}_c(x)+{\mathcal{L}}_{c,\text{ adv }}\left(x^{\ast }\right)$

　　使用可迁移样本可以有效的弥补域差异，定义如下：

　　　　Ldis =Ld(x)+Ld, adv (x∗)" role="presentation">Ldis =Ld(x)+Ld, adv (x∗)${\mathcal{L}}_{\text{dis }}={\mathcal{L}}_d(x)+{\mathcal{L}}_{d,\text{ adv }}\left(x^{\ast }\right)$

　　第一阶段的优化问题可以总结如下：

　　　　minΘC,ΘDLcla +Ldis " role="presentation">minΘC,ΘDLcla +Ldis $\underset{{\mathrm{\Theta }}_C,{\mathrm{\Theta }}_D}{\text{min}}{\mathcal{L}}_{\text{cla }}+{\mathcal{L}}_{\text{dis }}$

　　该小结算法如下：

　　

2.3 Component Matching Based on Bipartite Graph

　　当数据分布被全局对齐后，接着便是考虑特征的内在特征，同一领域的样本往往具有不同的内在特征，而这些特征被域级的自适应所忽略。因此，应单独考虑它们，以有效地弥合分布差异。

　　每个域都应该被划分为不同的组件，可以通过使用基于距离的聚类方法来实现（如 k-means）。如果目标域 DT" role="presentation">DT$D_T$ 被划分为 N" role="presentation">N$N$ 个分量，那么 DT=∪n=1NDTn" role="presentation">DT=∪Nn=1DnT$D_T={\cup }_{n=1}^N{D}_T^n$，其中 DTn(1⩽n⩽N)" role="presentation">DnT(1⩽n⩽N)$D_T^n(1⩽n⩽N)$ 表示第 n" role="presentation">n$n$ 个分量。此外，DS" role="presentation">DS$D_S$ 中的不同组件可能与 DT" role="presentation">DT$D_T$ 中的组件之间有不同的关系。需要发现这些关系，然后分开对待它们。一个二部图可以捕获分量之间的关系。如果 DS" role="presentation">DS$D_S$ 和 DT" role="presentation">DT$D_T$ 分别有 M" role="presentation">M$M$ 和 N" role="presentation">N$N$ 个分量，则边数为 N" role="presentation">N$N$，因为最终目的是对目标域进行预测。设分量级二部图为 G=(Vs、Vt、Est)" role="presentation">G=(Vs、Vt、Est)$G=(V_s、V_t、E_{st})$，其中 Vs" role="presentation">Vs$V_s$、Vt" role="presentation">Vt$V_t$ 和 Est" role="presentation">Est$E_{st}$ 分别表示源分量集、目标分量集和跨域边，Est" role="presentation">Est$E_{\mathrm{s}\mathrm{t}}$ 中的每条边都表示基于距离的最近的关系。给定分别属于源域和目标域的两个分量 DSi(1⩽i⩽M)" role="presentation">DiS(1⩽i⩽M)$D_S^i(1⩽i⩽M)$ 和 DTj(1⩽j⩽N)" role="presentation">DjT(1⩽j⩽N)$D_T^j(1⩽j⩽N)$，这两个分量之间的距离由以下方法计算

　　　　d(DSi,DTj)=|Ex∼DSi[f(x)]−Ex∼DTj[f(x)]|" role="presentation">d(DiS,DjT)=∣∣Ex∼DiS[f(x)]−Ex∼DjT[f(x)]∣∣$d_{(D_S^i,D_T^j)}=|{\mathbb{E}}_{x\sim D_S^i}[f(x)]-{\mathbb{E}}_{x\sim D_T^j}[f(x)]|$

　　分量的距离矩阵由一个 M×N" role="presentation">M×N$M\times N$ 矩阵来描述。接下来，将匹配组件来构建成对关系，只需要为目标域中的每个组件找到最相关的源组件。

　　由于不同的组件具有不同的内在特征，因此需要对在第一阶段学习到的基本模型 C0" role="presentation">C0$C_0$ 进行微调，以适应每一对匹配的组件。与域级的对抗性适应不同，标记的目标样本对于组件级的适应是不必要的，因为 C0" role="presentation">C0$C_0$ 已经包含了这些信息。

2.4 Component-Level Adversarial Adaptation 

　　使用上述生成的二部图对 P=∪n=1N⟨DSn,DTn⟩(1⩽n⩽N)" role="presentation">P=∪Nn=1⟨DnS,DnT⟩(1⩽n⩽N)$P={\cup }_{n=1}^N⟨D_S^n,D_T^n⟩(1⩽n⩽N)$ 进行对抗性训练

1) Adversarial Generation Across Components

　　组件之间的对抗性样本：

　　　　fSiω←+fSiω+α∇fSiωLd(fSiω,Θdn)+α∇fSiωLc(fSiω,Θcn)−β∇fSiωℓ2(fSiω,fSi0)" role="presentation">fSωi←+fSiω+α∇fSiωLd(fSiω,Θnd)+α∇fSiωLc(fSiω,Θnc)−β∇fSiωℓ2(fSiω,fSi0)$f_{S_i^{\omega }}\leftarrow +f_{S_i}{}^{\omega }+\alpha {\mathrm{\nabla }}_{f_{S_i}\omega }{\mathcal{L}}_d(f_{S_i}{}^{\omega },{\mathrm{\Theta }}_d^n)+\alpha {\mathrm{\nabla }}_{f_{S_i\omega }}{\mathcal{L}}_c(f_{S_i\omega },{\mathrm{\Theta }}_c^n)-\beta {\mathrm{\nabla }}_{f_{S_i}\omega }{\ell }_2(f_{S_i}{}^{\omega },f_{S_i}{}^0)$

　　　　fTiω+1←fTiω+α∇fTiωLd(fTiω,Θdn)−β∇fTiωℓ2(fTiω,fTi0)" role="presentation">fTiω+1←fTiω+α∇fTiωLd(fTiω,Θnd)−β∇fTiωℓ2(fTiω,fTi0)$f_{T_i{}^{\omega +1}}\leftarrow f_{T_i{}^{\omega }}+\alpha {\mathrm{\nabla }}_{f_{T_i}{}^{\omega }}{\mathcal{L}}_d(f_{T_i{}^{\omega }},{\mathrm{\Theta }}_d^n)-\beta {\mathrm{\nabla }}_{f_{T_i}\omega }{\ell }_2(f_{T_i{}^{\omega }},f_{T_i{}^0})$

　　即：和原样本距离尽可能小，域鉴别和(分类)能力尽可能差；

2) Adversarial Training Across Components

　　Cn" role="presentation">Cn$C_n$ 训练如下：

　　　　Lc(Pn,ΘCn|n=1N)=E(xs(i),ys(i))∼DSnΦce(Cn(xs(i)),ys(i))Lc, adv (Pn,ΘCn|n=1N)=E(xs∗(i),ys(i))∼DSnΦce(Cn(xs∗(i)),ys(i))+Ext∗(i)∼DTn‖Cn(xt∗(i))−Cn(xt(i))‖2" role="presentation">Lc(Pn,ΘnC∣∣Nn=1)=E(x(i)s,y(i)s)∼DnSΦce(Cn(x(i)s),y(i)s)Lc, adv (Pn,ΘnC∣∣Nn=1)=E(x∗(i)s,y(i)s)∼DnSΦce(Cn(x∗(i)s),y(i)s)+Ex∗(i)t∼DnT∥∥Cn(x∗(i)t)−Cn(x(i)t)∥∥2$\begin{array}{l}{\mathcal{L}}_c(P_n,{{\mathrm{\Theta }}_C^n|}_{n=1}^N)={\mathbb{E}}_{(x_s^{(i)},y_s^{(i)})\sim D_S^n}{\mathrm{\Phi }}_{\mathrm{c}\mathrm{e}}(C_n\left(x_s^{(i)}\right),y_s^{(i)})\\ {\mathcal{L}}_{c,\text{ adv }}(P_n,{{\mathrm{\Theta }}_C^n|}_{n=1}^N)={\mathbb{E}}_{(x_s^{\ast (i)},y_s^{(i)})\sim D_S^n}{\mathrm{\Phi }}_{\mathrm{c}\mathrm{e}}(C_n\left(x_s^{\ast (i)}\right),y_s^{(i)})+{\mathbb{E}}_{x_t^{\ast (i)}\sim D_T^n}{\Vert C_n\left(x_t^{\ast (i)}\right)-C_n\left(x_t^{(i)}\right)\Vert }_2\end{array}$

　　Dn" role="presentation">Dn$D_n$ 训练如下：

　　　　Ld(Pn,ΘDn|n=1N)=−Exs(i)∼DSnlog⁡[Dn(xs(i))]−Ext(i)∼DTnlog⁡[1−Dn(xt(i))]Ld, adv (Pn,ΘDn|n=1N)=−Exs∗(i)∼DSnlog⁡[Dn(xs∗(i))]−Ext∗(i)∼DTnlog⁡[1−Dn(xt∗(i))]" role="presentation">Ld(Pn,ΘnD∣∣Nn=1)=−Ex(i)s∼DnSlog[Dn(x(i)s)]−Ex(i)t∼DnTlog[1−Dn(x(i)t)]Ld, adv (Pn,ΘnD∣∣Nn=1)=−Ex∗(i)s∼DnSlog[Dn(x∗(i)s)]−Ex∗(i)t∼DnTlog[1−Dn(x∗(i)t)]$\begin{array}{l}{\mathcal{L}}_d(P_n,{{\mathrm{\Theta }}_D^n|}_{n=1}^N)=-{\mathbb{E}}_{x_s^{(i)}\sim D_S^n}\log \left[D_n\left(x_s^{(i)}\right)\right]-{\mathbb{E}}_{x_t^{(i)}\sim D_T^n}\log [1-D_n\left(x_t^{(i)}\right)]\\ {\mathcal{L}}_{d,\text{ adv }}(P_n,{{\mathrm{\Theta }}_D^n|}_{n=1}^N)=-{\mathbb{E}}_{x_s^{\ast (i)}\sim D_S^n}\log \left[D_n\left(x_s^{\ast (i)}\right)\right]-{\mathbb{E}}_{x_t^{\ast (i)}\sim D_T^n}\log [1-D_n\left(x_t^{\ast (i)}\right)]\end{array}$

3) Optimization Across Components

　　对 Pn(1⩽n⩽n)" role="presentation">Pn(1⩽n⩽n)$P_n(1⩽n⩽n)$ 的优化问题总结如下：

　　　　(Θ^1,…,Θ^n)=arg⁡minΘ1,…,ΘnLc(Pn,ΘCn)+Ld(Pn,ΘDn)+λLc, adv (Pn,ΘCn)+λLd, adv (Pn,ΘDn)" role="presentation">(Θ^1,…,Θ^n)=argminΘ1,…,ΘnLc(Pn,ΘnC)+Ld(Pn,ΘnD)+λLc, adv (Pn,ΘnC)+λLd, adv (Pn,ΘnD)$\begin{array}{rl}({\hat{\mathrm{\Theta }}}^1,\dots ,{\hat{\mathrm{\Theta }}}^n)=& \arg \underset{{\mathrm{\Theta }}^1,\dots ,{\mathrm{\Theta }}^n}{\text{min}}{\mathcal{L}}_c(P_n,{\mathrm{\Theta }}_C^n)+{\mathcal{L}}_d(P_n,{\mathrm{\Theta }}_D^n)\\ & +\lambda {\mathcal{L}}_{c,\text{ adv }}(P_n,{\mathrm{\Theta }}_C^n)+\lambda {\mathcal{L}}_{d,\text{ adv }}(P_n,{\mathrm{\Theta }}_D^n)\end{array}$

　　算法如下：

　　

2.4 Extensibility of MCADA on Streaming Data 

　　数据流算法如下：

　　

3 实验

域适应结果：

　　

• 论文信息
• 1 介绍 
• 2 方法
•     2.1 整体框架
•     2.2 Domain-Level Adversarial Adaptation 
•     2.3 Component Matching Based on Bipartite Graph
•     2.4 Component-Level Adversarial Adaptation 
•     2.4 Extensibility of MCADA on Streaming Data 
• 3 实验

__EOF__