引用

Mustafa, Aamir, et al. "Image Super-Resolution as a Defense Against Adversarial Attacks." IEEE Transactions on Image Processing PP.99(2019):1-1.

摘要

卷积神经网络在多个计算机视觉任务中取得了显著的成功。然而，它们容易受到精心制作的、人类察觉不到的敌对噪声模式的影响，这些噪声模式限制了它们在安全敏感系统中的部署。本文提出了一种计算效率高的图像增强方法，它提供了一种强有力的防御机制来有效地减轻这种对抗性扰动的影响。我们方法的一个显著特点是，除了提供对攻击的鲁棒性之外，它同时增强了图像质量，并在干净的图像上保持模型性能。此外，所提出的方法不修改分类器或需要单独的机制来检测敌对图像。该方案的有效性已经通过广泛的实验得到了证明，在灰箱环境中证明了它的强大防御能力。该方案具有以下优点：(1)不需要任何模型训练或参数优化；(2)补充了其他现有的防御机制；(3)与被攻击的模型和攻击类型无关；(4)在所有流行的攻击算法中提供了卓越的性能。我们的代码可以在 . com/aamir-Mustafa/super-resolution-advantarial-defence 上获得。

研究背景

卷积神经网络(CNNs)在过去几年中的成功导致了它们在计算机视觉任务中的广泛部署，包括图像分类、对象检测、语义分割和视觉问题回答。不仅如此，卷积神经系统在设计许多关键的现实世界系统中发挥着关键作用，包括自动驾驶汽车和疾病诊断模型，这使得它们在这种情况下必须具有鲁棒性。然而，最近的工作表明，卷积神经系统很容易被扭曲的自然图像所愚弄，这些图像带有微小的、精心制作的、人类察觉不到的附加扰动。

由于对安全敏感的 CNN 应用程序非常关键，目前已经进行了大量的研究来设计针对这些漏洞的防御机制。我们可以沿着两个方向对这些防御进行分类：第一个是特定于模型的机制，旨在通过对抗训练或参数平滑来规范特定模型的参数。这种方法通常需要计算量很大的可微分变换。此外，这些转换很容易受到进一步的攻击，因为对手可以利用不同的模块来规避它们。第二类防御与模型无关。它们通过应用各种变换来减轻对抗扰动的影响。此类技术的示例包括 JPEG 压缩、基于视场的方法(裁剪图像背景)、随机像素偏转，以及随机图像填充和重新调整大小。与特定于模型的可微方法相比，大多数与模型无关的方法计算速度更快，并且在输入域中执行转换，这使得它们更加有利。然而，这些方法中的大多数在去除对抗噪声时丢失了关键的图像内容，这导致了在未受攻击的图像上较差的分类性能。

图 1：a) 敌对图像特征(红色)和相应干净图像特征(绿色)的 3D 图。b) 在右侧，我们显示了相应的防御图像的特征(蓝色)。该图清楚地表明，超分辨率操作将敌对图像重新映射到自然图像流形。

本文提出了一种模型不可知的防御机制，可以抵御最近提出的各种对抗攻击，并且不会遭受信息丢失。我们提出的防御是基于图像超分辨率的，它选择性地向图像中添加高频分量，并消除对手添加的噪声扰动。我们假设学习的随机共振模型足够通用，可以将脱离流形的样本重新映射到自然图像流形上(见图 1)。通过小波域滤波进一步抑制了附加噪声的影响，并且通过对图像的较高分辨率版本的全局汇集操作最小化了附加噪声的影响。所提出的基于图像超分辨率和小波滤波的防御方法产生了一个联合不可微模块，该模块可以有效地恢复对抗扰动图像的原始类别标签。

图 2：针对单步攻击防御的可视化。

图 3：迭代攻击防御可视化。第一列显示了三个干净的图像。随后的三列显示了干净、连续攻击和恢复图像的类激活图。倒数第二列显示了添加到干净图像的扰动(放大 40 倍)，最后一列显示了干净图像和防御图像之间的差异(放大 10 倍)。

我们工作的主要贡献是:

1.

通过广泛的经验评估，我们发现图像超分辨率法是一种有效的防御策略，可以抵御最近提出的各种最先进的攻击。使用类激活图可视化，我们证明了超分辨率法可以成功地将分类器的注意力从随机噪声块转移到受攻击的区域(见图 2 和图 3)。

2.

对攻击图像进行超分辨转化，将其投影回由深度图像分类网络学习的自然图像流形。

3.

与现有的基于图像变换的技术不同，该技术在克服对抗噪声的过程中引入了伪影，所提出的方案保留了关键的图像内容，因此最小化了对干净的、未受攻击的图像的分类器性能的影响。

4.

所提出的防御机制在不知道目标模型的架构或参数的情况下处理对抗攻击。

与我们的方法密切相关的是 Defence-GAN 和 MagNet ，它们首先估计干净数据的流形来检测敌对的例子，然后应用映射函数来减少敌对的噪声。由于他们使用生成器块来重建图像，因此他们研究的案例仅限于具有低分辨率图像的小数据集(MNIST，CIFAR-10)。相比之下，我们的方法不需要任何预先的检测方案，并适用于所有类型的自然图像，具有更一般的映射功能。

扰动图像恢复

现有的对抗攻击的防御机制旨在减少附加干扰的影响，以便恢复正确的图像类别。

我们提出的方法，详述如下。我们建议使用图像恢复技术来净化扰动图像。所提出的方法有两个组成部分，第一步，我们应用小波去噪来抑制任何噪声模式。我们方法的核心部分是超分辨率操作，它提高了像素分辨率，同时消除了对立模式。我们的实验表明，仅通过图像超分辨率就足以恢复分类器对正确类别的识别；然而，第二步提供了额外的鲁棒性，因为它是不可微的去噪操作。

在下一节中，我们首先解释超分辨率方法，之后是去噪方法的描述，最后总结了防御方案。

1、超分辨率防御机制

图 4：超分辨率-作为对抗攻击的防御手段：该图显示了从低分辨率到高分辨率的样本图像的映射。对抗图像，被映射在与干净的自然图像相同的域中，因此可以恢复它们相应的真实标签。

我们的目标是保护分类模型免受对手生成的扰动图像的影响。我们的方法受到流形假设的激励，该假设认为自然图像位于低维流形上。这解释了为什么低维深度特征表示能够准确地捕捉真实数据集的结构。众所周知，扰动图像位于自然图像的低维流形之外。Gong 等人指出，一个简单的二进制分类器可以成功地将流形外的对抗性图像与干净的图像分开，从而得出结论，对抗性数据和干净的数据不是孪生的，尽管在视觉上看起来是相同的。图 4 显示了自然图像的低维流形。来自真实世界数据集(比如 ImageNet)的数据点是从自然图像的分布中采样的，可以被认为位于流形上。这种图像被称为域内。通过添加对抗性噪声来破坏这些域内图像会使图像脱离流形。我们认为使用图像超分辨率作为映射函数，可以将脱离流形的对抗样本重新映射到自然图像流形上。以这种方式，通过增强图像的视觉质量来实现对抗扰动的鲁棒性。与截断关键信息以实现健壮性的其他防御机制相比，这种方法提供了显著的优势。

1.1、超分辨率网络

防御机制的一个必要特征是能够抑制对手添加的欺诈性干扰。由于这些扰动通常是高频细节，我们使用超分辨率网络，该网络使用残差学习来关注这些细节。在这项工作中我们使用的网络是增强型深度超分辨率 (EDSR) 网络 (在 DIVerse 2K 分辨率图像数据集上训练)。虽然我们提出的方法与其他超分辨率技术相比具有竞争优势，但我们还通过大量实验证明了使用基于残差学习的 EDSR 模型的额外功效。

1.2、对光谱分布的影响

图 5：超分辨率对样本图像频率分布的影响。使用离散余弦变换生成每个图像的幅度谱。在从图像频谱中去除低频分量(即高通滤波)之后，使用逆离散余弦变换来可视化高频分量。恢复图像的 IDCT 显示了通过图像超分辨率添加的选择性高频分量。

我们方法的基本假设是，将深度超分辨率网络训练成一个映射函数，该函数足够通用，以将扰动图像映射到其相应类别图像的流形上。该映射函数基本上模拟了真实的无扰动图像数据的分布。我们通过分析图 5 中干净的、对立的和恢复的图像的频域频谱来验证这个假设。可以观察到，对立图像包含高频模式，并且超分辨率操作进一步将高频模式注入到恢复的图像中。这实现了两个主要好处：首先，新添加的高频模式平滑了图像的频率响应(图 5，第 5 列)，其次，超分辨率破坏了试图欺骗模型的对抗模式。

图 5 还展示了超分辨率图像可以保持原始(干净)输入图像的高频细节。然而，它与原始图像有很大不同，例如，比较恢复图像和原始图像在较高频率下的幅度谱，这显示了恢复图像中更平滑的频率扩展。图 5 的左下角展示了原始图像和恢复图像之间的确切差异，这说明了这样的事实，即恢复图像相对更干净，但是与原始图像相比具有更多的高频细节。比较原始噪声信号(图 5 左上角)和恢复图像中的残留噪声(图 5 左下角)，我们可以观察到 SR 网络丢弃了大部分噪声扰动；然而，仍然存在稀疏的噪声痕迹。

2、小波去噪

由于所有的对抗攻击都以扰动的形式给图像添加噪声，因此有效的图像去噪技术即使不能完全消除这些扰动，也能在很大程度上减轻这些扰动的影响。小波域去噪在最近的工作中已经获得了普及，它能产生比其他各种技术更好的结果。小波去噪背后的主要原理是真实世界信号的离散小波变换本质上是稀疏的。

结论

对抗性扰动会严重损害基于深度学习的模型的安全性。这可能会带来巨大的影响，因为最近深度学习的成功导致这些模型被部署在从医疗保健到监测的众多重要应用中。因此，设计强大的防御机制，在不降低未受干扰图像的性能的情况下对抗攻击是绝对必要的。本文提出了一种基于超分辨率的图像恢复方案，将非流形对抗样本映射回自然图像流形。我们发现，超分辨率网络可以抵消敌对噪声影响的主要原因是它们将高频信息添加到输入图像中。我们提出的防御管道对底层模型和攻击类型是不可知的，不需要任何学习，并且对黑盒和白盒攻击同样有效。与最先进的防御方案相比，我们证明了所提出的防御方法的有效性，在最先进的防御方案中，它的性能远远优于竞争模型。

致谢

本文由南京大学软件学院 2020 级硕士张松涛翻译转述。

感谢国家重点研发计划（2018YFB1403400）和国家自然科学基金（71732003，61772014）支持！