国内外研究现状

由于数字图像拼接篡改技术可以同时利用多张图像的内容，产生更多且更复杂的篡改图像变体，因此其对社会信息安全的潜在危害极大。本文的主要研究工作是数字图像拼接篡改检测以及拼接篡改区域定位。目前已经有非常多的研究学者针对图像拼接篡改技术提出了一系列取证方案。本节根据算法中使用的特征提取方法的区别，将目前主流的取证方案分为基于手工特征设计的取证方案与基于深度学习方法的取证方案，并分别介绍其研究现状。

1 基于手工特征设计的图像拼接篡改检测

通过分析拼接图像与原始图像的差异性，研究者们发现拼接篡改操作破坏了图像内部的一致性，因此拼接图像与原始图像间存在统计特性的差异。鉴于此，很多研究者通过利用统计特征来检验图像是否经过篡改。

针对JPEG格式的伪造图像，图像DCT系数是一种重要的取证线索。Meng等人[7]研究发现JPEG压缩会给DCT系数带来JPEG压缩特性，这些特性与质量因子密切相关，并且二次压缩图像的DCT性质与一次压缩时明显不同，据此提出基于JPEG重压缩特性的图像取证方法。

Bianchi等人[8]利用DCT系数的整数周期性质实现了精度更高的篡改图像识别，并且该方法可以准确估计原始JPEG压缩的量化步长，从而可以对可能篡改的JPEG图像进行更详细的分析。Bianchi等人[9]还通过假设图像背景区域经过重压缩，而篡改区域经过单次压缩，并引入统计检验的思想，提出单次压缩区域与重压缩区域的DCT系数的概率模型，并估计重压缩情况下的主量化因子，以此推导每个DCT块被篡改的概率。Ye等人[10]利用DCT系数直方图的功率谱估计量化表，提出一种新的块效应测度，从而利用块效应不一致性判断图像是否经过篡改。

Hakimi等人[11]将输入的RGB图像转换为YCbCr颜色通道，并将色度分量划分为不重叠的块，采用局部二值模式（LBP）算子，对所有的块进行小波变换。最后，对所有的块使用主成分分析（PCA），并将输出作为特征输入支持向量机（SVM），在CASIA v1.0

数据集和Columbia数据集的准确率分别为97.21%和95.13%。Zhang等人[12]提出另一种使用DCT与LBP的篡改检测技术。该算法首先使用多尺度块离散余弦变换，通过捕捉图像局部频率分布的变化来增强拼接痕迹，接着使用LBP提取有用的特征用于支持向量机分类，算法采用核主成分分析（Kernel-PCA）降维，从而避免了计算复杂度高、构造的特征之间相关性强以及支持向量机可能过拟合的问题。Sharma等人[13]提出基于局部定向模式（LDP）的图像拼接检测算法，首先将RGB图像转换到YCbCr颜色空间，然后利用图像色度分量的LDP直方图，使用SVM进行分类，此外，算法通过将图像划分为重叠块，并计算各块的LDP，再以每个块的标准差为线索可视化拼接区域。

He等人[14]提出基于扩展马尔可夫的图像拼接检测算法，该算法同时在DCT域和DWT域构造马尔可夫特征，并采用SVM-RFE进行特征约简。Popescu等人[15]提出基于重采样轨迹的篡改检测算法。NG等人[16]提出一种使用双相扰动特征进行拼接图像检测的技术，并使用支持向量机实现70%的准确率。2010年，Hsu等人[17]提出了基于相机响应函数（CRF）的篡改检测算法，但空间限制（如连续性和对齐等）容易导致错误的结果。

一些研究人员通过研究边缘模糊[18]、方差变化[19]或量化[20]，提出基于图像清晰度改进的拼接检测方案，但检测精度仍不够高。后来，基于行程矩阵(RLM)[21-22]的方法显示出更好的篡改检测性能。因此，许多与RLM相结合的算法应运而生，如RLM和SVM[23]、RLM和DCT[24]、RLM和边缘统计[25]等。此外，通过利用拼接图像中存在的不一致性，研究者提出了一系列方法，如颜色[26]、模糊[27-29]、纹理[30-31]、噪声[32][33]等。

2：基于深度学习方法的图像拼接篡改检测

近年来，深度学习技术发展迅速，在计算机视觉领域大放异彩。因此，研究者们也将其引入图像拼接篡改检测这一领域[34]。

Bayar等人[35]提出一种基于约束卷积神经网络的篡改检测方案，通过对网络结构中的第一个卷积层施加约束，从图像中提取称为中值滤波残差的高维特征集，然后再输入到后续卷积神经网络（CNN）用于图像篡改检测。Anusudha等人[36]利用小波子带特征函数的统计矩来检测拼接图像与真实图像的差异，使用从给定的测试图像中提取的矩特征和其他一些参数建立模型，并选择人工神经网络（ANN）进行分类，在Columbia数据集上达到95.4%的准确率。El-Latif等人[37]提出一种基于深度学习和小波变换的图像拼接检测算法，先使用CNN对拼接后的图像进行自动特征提取，再应用Haar小波变换（HWT），最后使用SVM进行分类。

上述算法的缺陷在于只能判断图像是否经过篡改，而不能对篡改区域定位。为此，Liu等人[38]尝试将待检测图像划分为不重叠的图像块并分别送入网络进行检测，而后将分类结果依次拼接，以此输出篡改区域定位图像。然而该算法忽视了图像上下文信息，并且只能检测出同时具有篡改区域与背景区域的图像块，因此只能输出篡改区域的边界。Pomari等人[39]将Illuminant Maps与卷积神经网络的高表示能力结合在一起，并将其称为深度拼接特征，该特征既可用于使用SVM进行分类，也可用于伪造区域的定位，该算法在DSO-1数据集上展示了高检测精度。

随着深度学习的发展，全卷积神经网络（FCN）在图像语义分割中展现了优异的性能，其端到端训练与像素级分割的能力，使得其极为符合图像拼接篡改检测的要求。Bi等人[40]在UNet的基础上设计了残差传播与残差反馈结构，采用强化学习的方式增强了篡改区域与背景区域的差异，但是其过于关注图像内容，使得算法对篡改区域的定位不够准确。

Wu等人[41]采用全卷积神经网络结构，并将其划分为图像操作痕迹提取器和局部异常检测网络两部分，但是该算法忽略了多尺度特征对检测结果的重要性并且计算复杂度极高。Salloum等人[42]在FCN的基础上设计了具有双分支的图像拼接篡改检测网络，其中主分支用于学习篡改区域，副分支用于学习篡改区域的边界。由于边缘的特征变化很难被学习到，因此该算法对经过后处理的篡改图像的泛化性能较差。

Zhou等人[43]在Faster R-CNN的基础上引入SRM流，该数据流提取图像噪声特征并采用双线性池化来实现视觉特征和噪声特征的空间共现。然而，该算法忽视了多尺度特征的作用，此外，尽管采用了紧凑型双线性池化，但融合特征的维度仍然很大。Kwon等人[44]使用DCT特征辅助图像拼接篡改检测。然而，该算法直接将视觉特征和DCT特征相拼接,不足以建立两个特征之间的空间关系。此外，由于DCT特征仅存在于JPEG图像中，因此算法性能受到限制。

3：图像篡改数据集介绍

目前主流的深度学习方法大多基于数据驱动，因此大规模标记数据集极为重要。在早期，因为数据资源的匮乏，研究者需自行构造篡改数据集，这为图像取证的研究增加了大量工作量。经过国内外学者的努力，目前已经存在多个开放数据集供研究者们免费使用，这极大促进了图像取证领域的发展。目前主要有CASIA v1.0数据集[45]、CASIA v2.0数据集[45]、Columbia数据集[46]、以及Coverage数据集[47]。

CASIA v1.0数据集与CASIA v2.0数据集均出自中科院自动化研究所，其中包含复制-粘贴与拼接两种图像篡改操作。其中v1.0版本包含921张篡改图像与800张真实图像，图像大小为

，且均为JPEG格式。v2.0版本相较于v1.0版本，拥有数量更多、场景更复杂的篡改图像，且采用模糊操作对篡改图像后处理，因此检测的难度更大。v2.0版本中共含有5123张篡改图像，7200真实图像。目前，CASIA v2.0数据集是所有开放篡改数据集中场景最复杂、检测难度最大的数据集，因此大多数算法都采用其进行实验验证。Columbia数据集出自哥伦比亚大学。该数据集图像均由拼接篡改操作产生，并且图像未压缩，分辨率高。该数据集中图像数量较少，包括180张篡改图像和183张真实图像。Coverage数据集包含100对篡改图像与原图，主要关注复制-粘贴篡改操作。

现有拼接篡改检测算法多使用CASIA v2.0数据集及Columbia数据集进行网络训练与测试。此外，在Kaggle、DeepFake等挑战赛中也会发布一些用于竞赛的数据集。通过分析上述数据集的图像质量与资源数量，本文选择采用CASIA v2.0数据集及Columbia数据集对所提算法进行相关实验。

主要研究内容及组织结构

1：主要研究内容

本文的主要研究工作是基于深度学习技术的数字图像拼接篡改检测以及拼接篡改区域定位，主要研究内容包括：

1. 针对现有基于图像分割网络的图像拼接篡改检测算法易受图像语义内容干扰的缺陷，本文结合SRM技术，采用拼接图像中存在的噪声特征作为辅助信息，提出基于噪声不一致性的图像拼接篡改检测算法，在抑制图像内容信息干扰的同时，从图像噪声层面寻找额外的取证线索。首先对经典语义分割网络UNet进行了改进，通过在UNet基础上添加一条收缩路径，使其成为双分支结构，从而使网络可以同时提取视觉特征与噪声特征。网络主分支为RGB视觉分支，用于提取RGB图像中存在的亮度、颜色及对比度差异等，辅助分支为Noise分支，使用噪声特征抑制图像内容的影响，为图像拼接篡改检测提供额外的证据。最后通过特征融合模块结合视觉特征与噪声特征，实现拼接篡改区域的准确定位。

2. 针对现有基于传统串行连接结构网络的图像拼接篡改检测模型在下采样操作中损失边缘特征等大量重要空间信息的缺陷，本文提出了基于HRNet与SRM的图像拼接篡改检测算法。将并行连接模型HRNet引入图像拼接篡改检测领域并进行了改进，采用空洞卷积代替普通卷积以减少模型下采样倍数，从而进一步解决边缘特征等空间信息的损失问题，并增加提取噪声特征的SRM噪声分支，使用噪声特征作为额外线索。算法可以准确定位拼接图像的篡改区域，其检测精度也进一步提高。

3. 为了协调处理视觉特征和噪声特征，充分发挥二者的协同取证作用，本文提出了基于混合注意力机制的多特征融合模块。该模块具备即插即用的优势，因此本文将其与上文所提算法相结合，从而提出基于Attention模块的图像拼接篡改检测算法。本文通过分析视觉特征与噪声特征的属性差异，考虑到视觉特征含有更丰富的图像信息，如亮度、颜色、对比度等，因此采用通道注意力模块对视觉特征进行处理，增强其中对篡改检测有利的特征模式的关注，同时过滤图像语义内容等不利特征；考虑到噪声特征不关注图像内容信息，而更关注于图像中的边缘差异特征等，从而对拼接篡改区域更加敏感，因此采用空间注意力模块将噪声特征转化成空间注意力图，以引导算法将注意力集中在更可能被篡改的区域。相比于现有算法，该算法的检测精度有较大提升。

1.5.2 组织结构

本文共六章，具体安排如下：

第一章：绪论。首先介绍了图像取证技术的背景及意义，其次分类介绍了数字图像主动取证技术与数字图像被动取证技术，然后分别从传统算法与深度学习算法的角度详尽阐述了数字图像拼接篡改检测的国内外研究现状，最后介绍了图像拼接篡改检测常用数据集。

第二章：卷积神经网络理论。介绍卷积神经网络的相关知识，重点介绍了其局部连接与权值共享特征、常用模块及训练优化算法。

第三章：基于噪声不一致性的图像拼接篡改检测算法。首先介绍了UNet结构与本文的改进。然后重点介绍了网络结构中的RGB视觉分支、Noise分支以及特征融合模块。接着对实验环境、训练细节、评价指标等进行了阐述。最后分析了算法的实验结果，并与现有算法进行了对比。

第四章：基于HRNet与SRM的图像拼接篡改检测算法。首先介绍了HRNet的网络结构。然后介绍了本文的改进点，包括空洞卷积、双分支结构等方面。接着对模型训练、消融实验进行了阐述。最后与现有算法进行了对比实验并分析算法的鲁棒性。

第五章：基于Attention模块的图像拼接篡改检测算法。首先介绍了三种常见的注意力模块。接着详细介绍基于混合注意力机制的多特征融合模块，并将其应用于第三章所提算法。最后实验分析本章所提算法的性能。

第六章：总结与展望。本章对本文研究工作进行了总结，介绍了本文算法的相关缺陷，并对未来图像拼接篡改检测技术的研究进行展望。