Zero-Shot Learning by Harnessing Adversarial Samples 理论 & 代码解读

《Zero-Shot Learning by Harnessing Adversarial Samples》基于对抗样本的零样本学习

该论文要解决的问题：

减轻了传统图像增强技术中固有的语义失真问题。我们希望我们的实验研究将有助于理解单标签监督和语义属性监督在模型行为上的差异，并为开发更强大的语义条件视觉增强铺平道路。

然而，这种方法也会对 ZSL 产生不利影响，因为传统的增强技术仅依赖于单一标签监督，无法保留语义信息，从而导致语义失真问题。换句话说，图像增强可能会伪造图像的语义（如属性）信息。

（比如裁剪，把猫的耳朵部分裁剪掉了，这样语义对猫耳朵的描述，就没用了。可能这就是语义失真。）

为了利用图像增强的优势，同时减轻语义失真问题，提出利用对抗样本的新型ZSL方法。

正如引言部分所讨论的，语义失真问题对使用传统的图像增强技术使视觉空间多样化提出了挑战。因此，我们的目的是设计一种语义保留增强策略，在避免引起语义失真问题的同时，使视觉空间多样化。

思想

(1)通过强制增强与负类相似，同时保持正确的标签，实现鲁棒生成；
(2)通过引入潜在空间约束，避免与原始数据流形的显著偏差，实现可靠生成；
(3)通过根据每个语义属性的定位调整图像，纳入基于属性的扰动，实现多样化生成。

具体实现方法

图 1：我们的方法采用对抗训练，引导 ZSL 模型生成以属性为条件的增强图像，使训练图像多样化。

图2：仔细观察语义扭曲问题。我们观察到，传统的图像增强技术会导致ZSL模型混淆，导致其生成不正确的属性。这反过来又导致了无法区分的属性空间

模型架构