通过随机平滑验证对抗鲁棒性

1 引言

 当前很多研究工作提出了用于训练分类器的启发式算法，其目的是使分类器对对抗扰动具有一定鲁棒性。然而，这些启发式算法中的大多数算法缺乏相应的理论基础做支撑。随之而来出现了关于分类器可证鲁棒性的一系列理论研究工作，即在任何输入样本点的预测在围绕在该样本点的某个集合内是一个可验证的常数。在该文中，作者首次提供了随机平滑的严格鲁棒性保证证明，论文分析表明，使用高斯噪声进行平滑会在 ${\ell }_2$范数下产生可证明的鲁棒性，而且论文中验证神经网络鲁棒性的方法可以扩展到像ImageNet等足够大的神经网络中。该论文发表于ICML2019是可证鲁棒性研究领域中非常重要的一篇文章，本文对该论文的核心理论进行了详细地解读。
论文链接： https://proceedings.mlr.press/v97/cohen19c.html
代码链接： https://github.com/locuslab/smoothing

2 随机平滑

 考虑一个从${\mathbb{R}}^d$到$\mathcal{Y}$的分类问题，随机平滑是从一个基础分类器$f$重新构造出一个分类器$g$。当输入为$x$时，平滑分类器$g$会输出基础分类器$f$最有可能输出的类别概率，当$x$由高斯噪声扰动时，即$$\begin{array}{r}g(x)=\arg \underset{c\in \mathcal{Y}}{\max }\mathbb{P}(f(x+\epsilon )=c)\end{array}$$其中$\epsilon \sim \mathcal{N}(0,{\sigma }^{2}I)$。以上公式的含义表示的是$g(x)$可以输出类$c$，其输入图片 { x ′ ∈ R d : f ( x ′ ) = c } \{x^{\prime}\in\mathbb{R}^d:f(x^{\prime})=c\} {x′∈Rd:f(x′)=c}在分布$\mathcal{N}(x,{\sigma }^{2}I)$上关于类$c$有很大的概率测度。噪声$\sigma$是一个平滑分类器$g$的超参数，其主要平衡模型的鲁棒性和准确率。因为不可能准确估计出分类器$g$在输入$x$的预测，以及不能验证模型$f$在输入$x$周围的鲁棒性。作者给出平滑分类器$g$的鲁棒性保证，对于这两个任务作者用蒙特卡洛算法可以高概率估计成功。根据随机平滑的定义，以下列出两种情况下的基分类器$f$随机平滑为平滑分类器$g$的例子，可以发现随机平滑的作用可以将曲率较大的决策边界进行一定程度的平滑。

3 鲁棒性保证

 假定基础分类器分类输入$\mathcal{N}(x,{\sigma }^{2}I)$并以概率$p_A$输出类$c$，以概率$p_B$输出次一级别的类。平滑分类器$g$在$x$以${\ell }_2$半径$R=\frac{\sigma }{2}({\Phi }^{-1}(p_A)-{\Phi }^{-1}(p_B))$是鲁棒的，其中${\Phi }^{-1}$是标准正态分布的反函数。如果用下界下界$\underline{p_A}$替换$p_A$和概率上界$\overline{p_B}$替换$p_B$，则以上结论依然成立。

定理1（多分类情况）： 令$f:{\mathbb{R}}^d\to \mathcal{Y}$是任何确定或随机函数，且有$\epsilon \sim \mathcal{N}(0,{\sigma }^{2}I)$。平滑分类器$g$的定义如下所示$$\begin{array}{r}g(x)=\arg \underset{c\in \mathcal{Y}}{\max }\mathbb{P}(f(x+\epsilon )=c)\end{array}$$假定$c_A\in \mathcal{Y}$且有$\underline{p_A},\overline{p_B}\in [0,1]$ 满足$$\mathbb{P}(f(x+\epsilon )=c_A)\ge \underline{p_A}\ge \overline{p_B}\ge \underset{c\ne c_A}{\max }\mathbb{P}(f(x+\epsilon )=c)$$ 进而对于任意$\Vert \delta {\Vert }_2<R$，则有$g(x+\delta )=c_A$，其中$R=\frac{\sigma }{2}({\Phi }^{-1}(\underline{p_A})-{\Phi }^{-1}(\overline{p_B}))$。
从定理1可以得到如下三个发现：

• 定理1对分类器$f$没有任何假设。这是至关重要的，因为目前尚不清楚现代深度学习架构满足哪些良好行为假设。
• 当噪声水平$\sigma$较高，或最大类$c_A$的概率值较大，或其它类别概率值较低时，鲁棒性半径$R$是大的。
• 当鲁棒性半径$R$趋于$\infty$时，则$\underline{p_A}\to 1$并且$\overline{p_B}\to 0$。高斯分布是在所有的${\mathbb{R}}^d$空间中，所以有概率为$1$使得$f(x+\epsilon )=c_A$。

定理2（二分类情况）： 假定$\underline{p_A}\in (\frac{1}{2},1]$满足$$\mathbb{P}(f(x+\epsilon )=c_A)\ge \underline{p_A}$$那么对于任意$\Vert \delta {\Vert }_2<\sigma {\Phi }^{-1}(\underline{p_A})$，则有$g(x+\delta )=c_A$。

 最差分类器$f^{\ast }$有$\Phi ({\Phi }^{-1}(\underline{p_A})-\frac{\Vert \delta {\Vert }_2}{\sigma })$的概率将$\mathcal{N}(x+\delta ,{\sigma }^{2}I)$分类为$c_A$。因此为了能够让最差分类器$f^{\ast }$有大于$\frac{1}{2}$的概率将$\mathcal{N}(x+\delta ,{\sigma }^{2}I)$分类为$c_A$，则有公式$$\Phi ({\Phi }^{-1}(\underline{p_A})-\frac{\Vert \delta {\Vert }_2}{\sigma })>\frac{1}{2}$$ 此时可求解得到$\Vert \delta {\Vert }_2<\sigma {\Phi }^{-1}(\underline{p_A})$。

定理3： 假设$\underline{p_A}+\overline{p_B}\le 1$，对于任意扰动$\delta$且有$\Vert \delta {\Vert }_2>R$，则存在一个与类概率$$\mathbb{P}(f(x+\epsilon )=c_A)\ge \underline{p_A}\ge \overline{p_B}\ge \underset{c\ne c_A}{\max }\mathbb{P}(f(x+\epsilon )=c)$$ 一致的基分类器$f$，其中$g(x+\delta )\ne c_A$。

 定理3表明，高斯平滑自然会诱导出${\ell }_2$鲁棒性：如果对基分类器不做超出类概率的假设，那么高斯平滑分类器可证明鲁棒的扰动集恰好是${\ell }_2$球上。定理2是一个简单的结论，对于任意$\delta$，当$f^{\ast }$ 是最差基分类器时，则有$g(x+\delta )=c_B$。

 线性基分类器： 一个二类线性分类器$f(x)=\mathrm{sign}(w^{\top }x+b)$是可验证的：即从任意输入样本$x$ 到决策边界的距离为$|w^{\top }x+b|/\Vert w\Vert$并且${\ell }_2$范数的扰动$\delta$要小于能改变分类器$f$预测的距离。因此当$f$是线性时，总存在一个扰动$\delta$超过可证半径时，分类器$g$的半径会改变。

 噪声水平可以随图像分辨率缩放： 由于验证半径表达式不明确依赖于数据维度$d$，因此可能会担心随机平滑对于更分辨率高的图像效果较差—— 对于$224\times 224$的图像来说，固定可证${\ell }_2$半径要比$56\times 56$的图像处理效果要差一些。然而，如下图所示，更高分辨率的图像可以在其类别区分内容被破坏之前容忍更高水平的各向同性高斯噪声。因此，在高分辨率下，可以使用更大的$\sigma$执行平滑，从而获得更大的可证半径。

4 算法介绍

 评估平滑分类器的预测$g(x)$需要在类分布$f(x+\epsilon )$中识别具有最大概率的类$c_A$。伪代码中$\mathrm{PREDICT}$通过基分类器运行$x$的$n$个噪声来采样$n$个$f(x+\epsilon )$样本。令${\hat{c}}_A$ 为出现次数最多的类别。如果${\hat{c}}_A$出现的频率比任何其他类都多，则$\mathrm{PREDICT}$返回${\hat{c}}_A$。作者使用Hung&Fithian的假设检验来校准弃权阈值，以便将返回错误类别的概率限制为$\alpha$，具体的算法流程图如以下的伪代码所示。

命题1： 在$\mathrm{PREDICT}$中的随机性至少有$1-\alpha$的概率时，$\mathrm{PREDICT}$将返回$g(x)$，即$\mathrm{PREDICT}$返回$g(x)$以外的类别的概率最多为$\alpha$。

 伪代码中的函数$\mathrm{SAMPLEUNDERNOISE}(f,x,\mathrm{num},\sigma )$采样$\mathrm{num}$个噪声样本${\epsilon }_1\cdots {\epsilon }_{\mathrm{num}}\sim N(0,{\sigma }^{2}I)$，将每个$x+{\epsilon }_i$样本通过基分类器$f$，并输出一个类计数向量。$\mathrm{BINOMPVALUE}(n_A,n_A+n_B,p)$输出假设检验的$p$值测试$n_A\sim \mathrm{Binomial}(n_A+n_B,p)$。定理1的一个变体可以证明一个半径，即$\mathbb{P}(f(x+\delta +\epsilon )=c_A)$比$\underset{c\ne c_A}{\max }\mathbb{P}(f(x+\delta +\epsilon )=c)$ 大一些。$\mathrm{BINOMPVALUE}(n_A,n_A+n_B,p)$特指对伯努利实验中成功概率为$p$的零假设的精确双侧检验，函数返回的是假设检验的$p\text{-}\mathrm{value}$值。由于返回的$p\text{-}\mathrm{value}$ 大于$5\%$的临界值，因此不能在 $5\%$的显著性水平上拒绝原假设；反之拒绝原假设。令$n_A$表示模型输出最大类出现的计数，$n_B$表示模型输出次大类的计数，探讨$n_A$与$n_A+n_B$的出现比率是否为$p=\frac{1}{2}$？
假定原假设$H_0$：$p=\frac{1}{2}$，则备择假设$H_1$：$p\ne \frac{1}{2}$进而可知$p\text{-}\mathrm{value}$的计算公式为 P { X ≤ n A ∣ H 0 } = ∑ i = 0 n A C n A + n B i p i ( 1 − p i ) n A + n B − i P{X≤nA​∣H0​}=i=0∑nA​​CnA​+nB​i​pi(1−pi)nA​+nB​−i​ 当$p\text{-}\mathrm{value}$大于$5\%$ 的临界值，则不能在 $5\%$的显著性水平上拒绝原假设；反之拒绝原假设。
 评估和证明平滑分类器$g$在输入$x$周围的鲁棒性不仅需要识别$f(x+\epsilon )$中概率最大的类$c_A$，而且还需要估计$f(x+\epsilon )=c_A$的概率的下界$p_A$和$f(x+\epsilon )$等于任何其他类的概率的上限$p_B$。一个简单的解决方案以伪代码形式呈现为$\mathrm{CERTIFY}$:首先，使用来自$f(x+\epsilon )$的少量样本来猜测$c_A$；然后使用更多的样本来估计$p_A$；然后简单地取$p_B=1-p_A$。

命题2： 在$\mathrm{CERTIFY}$的随机性上至少有$1-\alpha$的概率，如果$\mathrm{CERTIFY}$返回一个类${\hat{c}}_A$和一个半径$R$，那么平滑分类器$g$在以$x$为中心半径$R$区域内预测为${\hat{c}}_A$：$$g(x+\delta )={\hat{c}}_A\forall \Vert \delta {\Vert }_2<R$$

 伪代码中的函数$\mathrm{LOWERCONFBOUND}(k,n,1-\alpha )$在给定样本$k\sim \mathrm{Binomial}(n,p)$的情况下返回二项式参数$p$的单边$(1-\alpha )$ 下置信区间。由定理1可知，当$p_A$接近$1$时，则$R$接近$\infty$。事实证明$p_A$在$n$时地接近$1$收敛很慢，以至于$R$在$n$时也非常缓慢地接近$\infty$。考虑最有利的情况：$f(x)=c_A$，这意味着$g$在半径$\infty$处是鲁棒的。但是在观察到$f(x+\epsilon )$的$n$个样本后，所有样本都等于$c_A$。将$p_A=\alpha (1/n)$ 和$p_B=1-p_A$ 代入可证半径公式里可得出关于$n$的函数表达式：$R=\sigma {\Phi }^{-1}({\alpha }^{1/n})$。无论基分类器$f$如何训练，定理1都成立。然而，为了让$g$正确且具有一定的鲁棒性地对样本$(x,c)$进行分类，$f$需要始终将$\mathcal{N}(x,{\sigma }^{2}I)$分类为$c$。在高维中，高斯分布$\mathcal{N}(x,{\sigma }^{2}I)$在$x$附近分布非常稀疏。因此，当$\sigma$适度高时，自然图像的分布与被 $\mathcal{N}(0,{\sigma }^{2}I)$扰动的自然图像的分布几乎不相交。因此，如果基分类器$f$是通过对数据分布的标准监督学习来训练的，那么它在训练期间将看不到噪声图像，因此不一定会学习用 $x$的真实标签对$\mathcal{N}(x,{\sigma }^{2}I)$进行分类。因此，在本文中，作者用方差${\sigma }^2$训练具有高斯数据增强的基分类器。

5 实验结果

 下左图表示三个不同的方法在给定概率下界$\underline{p_A}$，进而得到的鲁棒半径的比较实验，其中令$\overline{p_B}=1-\underline{p_A}$ 和$\sigma =1$。可以直观的发现，论文中的方法得到的鲁棒半径要更大一些。右图表示为鲁棒半径与样本采样数的一个关系，即$R=\sigma {\Phi }^{-1}({\alpha }^{1/n})$，可以发现当$\alpha =0.001$和$\sigma =1$ 时，鲁棒半径随着采样书的增加而增长的比较缓慢。

 如下左图所示，绘制了使用论文中定理 1保证获得的验证准确率以及使用Lecuyer 等人和李等人的类似界限获得的验证准确率。由于作者提出的方法鲁棒半径$R$的表达式更大（实际上更紧密），所以论文的界限提供了更高的认证精度。如下中图所示预测了如果 CERTIFY 使用更多或更少的样本$n$（假设计数中的相对类别比例保持不变），验证准确率将如何变化。如下右图所示绘制了随着置信度参数$\alpha$变化的验证准确率，可以观察到验证准确率对$\alpha$不是很敏感。

6 论文程序

 论文中提供的github代码是在CIFAR10数据集上进行的实验，以下代码是针对ImageNet数据集的程序代码。

import os
from core import Smooth
import torch
from torch.utils.data import Dataset
import torchvision.transforms as T
import csv
import torchvision
import pretrainedmodels
import PIL.Image as Image

class SelectedImagenet(Dataset):
    def __init__(self, imagenet_val_dir, selected_images_csv, transform=None):
        super(SelectedImagenet, self).__init__()
        self.imagenet_val_dir = imagenet_val_dir
        self.selected_images_csv = selected_images_csv
        self.transform = transform
        self._load_csv()
    def _load_csv(self):
        reader = csv.reader(open(self.selected_images_csv, 'r'))
        next(reader)
        self.selected_list = list(reader)[0:1000]
    def __getitem__(self, item):
        target, target_name, image_name = self.selected_list[item]
        image = Image.open(os.path.join(self.imagenet_val_dir, image_name))
        if image.mode != 'RGB':
            image = image.convert('RGB')
        if self.transform is not None:
            image = self.transform(image)
        return image, int(target)
    def __len__(self):
        return len(self.selected_list)


if __name__ == '__main__':
    model_name = 'inception'
    batch_size = 1
    trans = T.Compose([
        T.Resize((256,256)),
        T.CenterCrop((224,224)),
        T.ToTensor()
    ])
    dataset = SelectedImagenet(imagenet_val_dir='data/imagenet/ILSVRC2012_img_val',
                               selected_images_csv='data/imagenet/selected_imagenet.csv',
                               transform=trans
                               )
    ori_loader = torch.utils.data.DataLoader(dataset, batch_size=batch_size, shuffle=False, num_workers = 8, pin_memory = False)

    if model_name == 'inception':
        model = torchvision.models.inception_v3(pretrained=True)
    elif model_name == 'senet':
        model =  pretrainedmodels.__dict__['senet154'](num_classes=1000, pretrained='imagenet')
    elif model_name == 'resnet':
        model = torchvision.models.resnet50(pretrained=True)
    elif model_name == 'densenet':
        model = torchvision.models.densenet121(pretrained=True)
    else:
        print('No implemation')

    model.eval()
    smoothed_classifier = Smooth(model, 1000, 0.2)

    for ind, (ori_img, label)in enumerate(ori_loader):
        prediction, radius = smoothed_classifier.certify(ori_img, 5, 10, 0.1, 1)
        print(prediction)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

7 补充证明

7.1 无穷鲁棒半径

引理1： 令$Z\sim \mathcal{N}(0,1)$，对于任意$\ell \in \mathbb{R},t>0$，则有$\mathbb{P}(\ell \le \ell +2t)\le \mathbb{P}(-t\le Z\le t)$。

证明： 令$\varphi$为标准正态分布的累积分布函数。因为$\varphi$是对称的即$\forall x,\varphi (x)=\varphi (-x)$，进而则有$$\mathbb{P}(-t\le Z\le t)=2{\int }_0^t\varphi (x)dx$$考虑以下两种情况：

• 情况1：区间$[\ell ,\ell +2t]$为全正或全负，即$\ell \ge 0$或$\ell +2t\le 0$。 因为$\varphi$在$\mathbb{R}$中是对称的，则可以将$\mathbb{P}(\ell \le Z\le \ell +2t)$重新写成随机变量$Z$落在非负区间$[a,a+2t]$的概率$$\mathbb{P}(\ell \le Z\le \ell +2t)=\mathbb{P}(a\le Z\le a+2t)$$因此$$\begin{array}{rl}& \mathbb{P}(-t\le Z\le t)-\mathbb{P}(\ell \le Z\le \ell +2t)\\ =& {\int }_0^t\varphi (x)dx-{\int }_a^{a+t}\varphi (x)dx+{\int }_0^t\varphi (x)dx-{\int }_{a+t}^{a+2t}\varphi (x)dx\\ =& {\int }_a^{a+t}\varphi (x-a)dx-{\int }_a^{a+t}\varphi (x)dx+{\int }_{a+t}^{a+2t}\varphi (x-a-t)dx-{\int }_{a+t}^{a+2t}\varphi (x)dx\\ =& {\int }_a^{a+t}[\varphi (x-a)-\varphi (x)]dx+{\int }_{a+t}^{a+2t}[\varphi (x-a-t)-\varphi (x)]dx\\ \ge & {\int }_a^{a+t}0dx+{\int }_{a+t}^{a+2t}0dx\\ =& 0\end{array}$$其中不等式成立的原因在于$\varphi$在区间$[0,+\infty )$上单调递减的。
• 情况2：区间$[\ell ,\ell +2t]$部分为正部分为负，即$\ell \le 0\le \ell +2t$。 因为$\varphi$在$\mathbb{R}$中是对称的，则可以将$\mathbb{P}(\ell \le Z\le \ell +2t)$重新写成随机变量$Z$落在非负区间$[0,a]$和$[0,b]$的概率$$\mathbb{P}(\ell \le Z\le \ell +2t)=\mathbb{P}(0\le Z\le a)+\mathbb{P}(0\le Z\le b)$$构造$a+b=t$，且$0\le a\le t$和$t\le b\le 2t$，则有$$\begin{array}{rl}& \mathbb{P}(-t\le Z\le t)-\mathbb{P}(\ell \le Z\le \ell +2t)\\ =& \left({\int }_0^t\varphi (x)dx-{\int }_0^a\varphi (x)dx\right)-\left({\int }_0^b\varphi (x)dx-{\int }_0^t\varphi (x)dx\right)\\ =& {\int }_a^t\varphi (x)dx-{\int }_t^b\varphi (x)dx\\ =& {\int }_a^t\varphi (x)dx-{\int }_t^{2t-a}\varphi (x)dx\\ =& {\int }_a^t\varphi (x)dx-{\int }_t^a\varphi (x-a+t)dx\\ =& {\int }_a^t(\varphi (x)-\varphi (x-a+t))dx\\ \ge & {\int }_a^{t}0dx\\ =& 0\end{array}$$其中不等式成立的原因在于$\varphi$在区间$[0,+\infty )$上单调递减的。

命题3： 对于任意$\tau >0$，存在一个基分类器$f$和一个输入$x_0$，对应的平滑分类器$g$在$x_0$处的鲁棒半径为$\infty$。

证明： 令$t=-{\Phi }^{-1}\left(\frac{1}{2}\Phi (\tau )\right)$并考虑一下基分类器$$f(x)=\{\begin{array}{ll}1& \mathrm{if}x<-t\\ -1& \mathrm{if}-t\le x\le t\\ 1& \mathrm{if}x>t\end{array}$$令$g$表示的当$\sigma =1$时的$f$平滑分类器$g$。令$Z\sim \mathcal{N}(0,1)$，对于任意的$x$，则有$$\begin{array}{rl}\mathbb{P}(f(x+\epsilon )=-1)& =\mathbb{P}(-t\le x+\epsilon \le t)\\ & =\mathbb{P}(-t-x\le Z\le t-x)\\ & \le \mathbb{P}(-t\le Z\le t)\\ & =1-2\Phi (-t)\\ & =1-\Phi (\tau )\\ & \le \frac{1}{2}\end{array}$$以上第一个不等式令$\ell =-t-x$并由引理1推知，因此可知，对于任意的$x$，有$g(x)=1$，即$x$的鲁棒半径为$\infty$。但是由定理1可知，对于$x_0=0$时，则有$$\begin{array}{rl}\mathbb{P}(f(x_0+\epsilon )=1)& =\mathbb{P}(f(\epsilon )=1)\\ & =\mathbb{P}(Z\le -t\mathrm{or}Z>t)\\ & =2\Phi (-t)\\ & =\Phi (\tau )\end{array}$$所以可知，在$x_0=0$出的鲁棒半径为$R=\tau$。

7.2 噪声训练

 令$\{(x_1,c_1),\cdots ,(x_n,c_n)\}$是一个训练集，假定基分类器的形式为$f(x)=\arg \underset{c\in \mathcal{Y}}{\max }{f}_c(x)$，其中$f_c$为类别$c$的概率得分。训练目标为最大化$f$将$x_i+\epsilon$分为类$c_i$的对数概率之和$$\sum _{i=1}^n\log {\mathbb{P}}_{\epsilon }(f(x_i+\epsilon )=c_i)=\sum _{i=1}^n\log {\mathbb{E}}_{\epsilon }1\left[\underset{c}{\mathrm{argmax}}{f}_c(x_i+\epsilon )=c_i\right]$$因为$\mathrm{softmax}$函数是连续的且可以近似$\mathrm{argmax}$函数$$1\left[\arg \underset{c}{\max }{f}_c(x_i+\epsilon )=c_i\right]\approx \frac{\exp (f_{c_i}(x_i+\epsilon ))}{\sum _{c\in \mathcal{Y}}\exp (f_c(x_i+\epsilon ))}$$进而目标函数可以近似为$$\sum _{i=1}^n\log {\mathbb{E}}_{\epsilon }\left[\frac{\exp (f_{c_i}(x_i+\epsilon ))}{\sum _{c\in \mathcal{Y}}\exp (f_c(x_i+\epsilon ))}\right]$$由詹森不等式可知，可得下界$$\sum _{i=1}^n\log {\mathbb{E}}_{\epsilon }\left[\frac{\exp (f_{c_i}(x_i+\epsilon ))}{\sum _{c\in \mathcal{Y}}\exp (f_c(x_i+\epsilon ))}\right]\ge \sum _{i=1}^n{\mathbb{E}}_{\epsilon }\left[\log \frac{\exp (f_{c_i}(x_i+\epsilon ))}{\sum _{c\in \mathcal{Y}}\exp (f_c(x_i+\epsilon ))}\right]$$这是高斯数据增强下的交叉熵损失的负数。