在当今数字化时代，人工智能(AI)正以前所未有的速度和规模改变着我们的世界。其中，一项特别引人注目的技术就是深度伪造(Deepfake)。这不仅是一项前沿技术，更是一种强大的工具，它能够以惊人的真实感生成或操纵音视频内容。
今年正好有空，就参加了DataWhale的夏令营，因为对视觉方向感兴趣就报了CV，了解了一下Deepfake攻防挑战赛~
Deepfake技术原理
Deepfake技术，是一种基于深度学习的图像、视频和音频合成技术，能够创建看起来非常真实的假象。这项技术的名字来源于“深度学习（Deep Learning）”和“假冒（Fake）”的结合，它利用了深度学习的一种特殊形式——卷积神经网络（CNN）和生成对抗网络（GAN）来实现对人脸篡改区域和篡改，可达到身份替换、面部重演、属性编辑、人脸生成等目的。
Deepfake技术的发展，虽然在娱乐、电影制作、个人隐私保护等领域提供了新的可能性，但同时也引发了伦理、法律和社会安全方面的重大关切。因为它可以被用来制作误导性的内容，影响公众舆论，甚至损害个人声誉。
Deepfake检测方法
由于这段时间我主要关注的是图像为主的检测，故后文主要介绍图像级伪造检测方法，视频级伪造检测方法会牵扯到时域以及多模态等，后续有空会单写一篇介绍一下。
图像级伪造检测方法是指对待检图像或视频中的单帧图像进行检测。若依照检测方法原理，则可以分为基于空域的检测方法和基于频域的检测方法。
基于空域的检测方法
一般来说，这些技术通常基于深度学习模型，通过分析图像的像素级特征、纹理、颜色分布等，来区分真实图像与合成图像。
为了提高伪造检测的准确性，研究者们采用了多种策略来增强模型的性能。一种方法是通过增强模型对图像细节的感知能力，这包括使用纹理增强模块来提升浅层网络中纹理信息的提取，以及利用注意力机制来引导模型关注图像中的关键区域。这些方法有助于模型捕捉到伪造图像中难以察觉的细微差异，从而提高检测的敏感度。
此外，为了应对伪造技术的不断演进，研究者们还引入了辅助任务来提高模型的泛化能力。例如，通过成对自一致性学习，模型可以学习到图像中局部特征的一致性，从而在面对未知的伪造技术时，依然能够保持较高的检测准确率。自混合图像技术则通过在真实图像上施加变换，生成逼真的伪造样本，以此来训练模型识别更通用的伪造痕迹。
一些研究通过重建学习来辅助模型学习到更加紧凑和真实的人脸特征。通过重建真实人脸图像并比较重建结果与原始图像之间的差异，模型可以学习到更加紧凑和真实的特征表示。这种方法不仅有助于识别图像中的异常区域，还能够挖掘出真假人脸之间的本质差异，从而提高检测的准确性。
随着社会对人工智能透明度和可信度的要求日益增加，提高模型的可解释性也成为了研究的重点。通过解耦与人物身份识别任务相关和无关的特征，模型不仅能够更准确地判断图像的真伪，还能够提供关于其决策过程的更多信息。这种透明度的提升有助于增强用户对检测结果的信任，同时也为模型的进一步优化提供了指导。
基于频域的检测方法
图像在网络上被广泛传播时容易被多次压缩，导致图像质量下降，伪造伪影变得难以察觉。在这种情况下，传统的基于空域的伪造检测方法可能并不能很好地工作，因为它们依赖于图像的直观特征，而这些特征在多次压缩后可能已经丧失。为了克服这一难题，研究人员开始探索新的检测方法，从频域等不同角度获取检测线索。
在频域中，研究人员发现伪造方法带来的伪影细节能够在频域中得到更好的体现。为了捕捉这些伪造线索，研究者设计了频域感知分解模块，这种模块能够自适应地从图像中提取伪造特征。此外，局部频率信息统计模块也被提出，它能够在图像的每个局部空间中统计频率信息，并将这些统计量重组成多通道特征图，为频域分析提供补充信息。这些基于频域的方法在检测高度压缩的伪造图像时表现出色，因为它们能够利用伪造过程中产生的细微频域变化。
进一步地，为了更全面地捕捉伪造伪影，研究者提出了自适应频率特征生成模块，这种模块能够从不同频段中以可学习的方式提取差异性特征。同时，为了提高检测模型对真实人脸和伪造人脸的区分能力，提出了单中心损失，这种损失函数旨在增强真实人脸的类内紧凑性，同时增大类间差异。这种方法有助于模型在频域上更准确地识别伪造特征。
此外，考虑到伪造伪影可能在不同图像上的不同区域出现，研究者还提出了多模态多尺度Transformer模型，这种模型能够检测图像在空间上的不同层次的局部伪影细节。通过结合频域特征作为辅助信息，该模型不仅能够捕捉到伪造伪影，还保证了对高度压缩图像的伪造检测能力。
尽管基于频域的方法在检测高度压缩的伪造图像时显示出较强的能力，但它们在面对未知伪造方法时的检测能力仍可能急剧下降，所以其对于数据集的要求比较高，在某些场景下并不适用。
检测方法概述
查阅了最近的论文，按照一篇CVPR上的概述，大概可以分成下列几个部分。（详情可查阅原论文《Evolving from Single-modal to Multi-modal Facial Deepfake Detection: A Survey》，原论文将Deepfake检测分为单模态和多模态两个部分，单模态又分为被动检测和主动检测两种，这里仅介绍前者。）
- 视觉伪影识别的早期工作：研究者们早期的工作集中在识别视觉伪影，即通过分析图像的特定特征来检测伪造。例如，Afchar等人开发的MesoNet模型专注于分析图像的介观特征，而Rossler等人则使用XceptionNet框架来识别图像中的细微伪像。
Liu等人开发的Gram-Net模型利用全局图像特征来区分真实和伪造的面部纹理。Zhao等人则引入了多注意力框架来改进纹理特征的检测，而Tan等人的工作则集中在由上采样操作引入的提取伪影上。
并且最近的方法，已经通过实验验证，证明其可以应用于广义深度伪造检测。这些方法的共同点在于它们能够识别和利用图像中的特定伪影特征。
Corvi等人观察到，生成对抗网络（GAN）在生成图像时会产生明显的伪影，这些伪影在傅里叶域中是可见的，并在自相关中表现出不寻常的规则模式。
Chen等人建议使用Spatial Rich Model过滤器来提取用于深度伪造检测的伪像。Juet等人则引入了全局和局部特征融合框架，通过策略性地选择信息补丁来提取局部工件。
Zhang等人发现使用预训练的扩散模型可以增强和突出生成图像中的细微伪影。Nguyen等人则介绍了一个多任务学习系统，包括伪造检测、热图回归和自一致性回归，以精确定位图像中的脆弱区域。
- 基于动态一致性的方法：随着研究者们对视频中动态不一致性的认识，研究开始扩展到时间伪影检测。Li等人利用LRCN（长期循环卷积网络）来检测视频中眨眼前后的不一致性，而Haliassos等人则设计了时空网络来检测嘴部运动的语义不一致性，开发了一种自监督学习方法，利用视听相关性来捕获视频的详细表示。
Pang等人提出的MRE-Net和Wang等人的解纠缠学习策略来捕获时空伪像，以及Xu等人的TALL（缩略图布局）策略，都是旨在增强捕捉视频帧间不一致性的能力。此外在TALL的基础上还提出了TALL++，通过图推理块和一致性损失来提高泛化性。
Trevine等人提出的两阶段训练管道结合了自监督表示学习和视听特征融合，进一步提高了检测精度。
第一部分主要是针对单张图片进行的检测，而后者则是针对视频或者连续图像进行的检测。由于项目需要，这里主要还是关注第一部分吧，要求的数据集里应该是没有连续图片这样的数据的。
也就是说，针对单张图片来看，鉴别的主要方式就是伪影，在另一篇论文中《The Tug-of-War Between Deepfake Generation and Detection》提到：
- 视觉伪影检测：深度假图像可能引入真实图像中不存在的伪影，如面部混合或扭曲时的伪影，以及整体图像中的不一致性。Li等人提出了“人脸X射线”图像表示来检测混合图像中的异常。
- 不同图像纹理和细节的检测：研究者们关注了生成内容和真实内容之间的图像纹理差异、头部位置的不一致性、曲面变形引起的分辨率变化，以及牙齿和眼睛的反射或细节缺失。
因此，针对于前几年比较流行的GAN所生成的图像，一些研究者专注于检测GAN模型特有的伪影提出了对应的检测方案，包括不规则的瞳孔形状和上采样操作引入的模型特定伪影。Wang等人训练了ResNet-50模型来检测这些伪影，而FakeSpotter能够有效检测GAN生成的假脸。还有像PatchForensics检测器的引入，能够分析图像的较小块，以确定是否存在AI生成或操纵的区域。
而对于最近几年大热的DM（Diffusion模型），传统的基于GAN的检测方法难以直接应用于基于扩散的图像生成技术，因为GAN特有的伪影在DM生成的图像中可能不存在。
Wang等人在2023年提出了DIRE，这是一种新的图像表示方法，通过使用DM对图像进行重建来检测DM生成的图像。DIRE的假设是DM生成的图像在由其他预训练的DM重建时，会展现出与真实图像不同的特征。Lim等人在2024年引入了DistilDIRE，这是一种改进的扩散生成图像检测框架，它显著降低了DIRE方法的计算需求，使得检测过程更加高效。
还有一些比如，利用预训练的视觉语言模型的特征空间来识别图像是否为人工生成（也就是大名鼎鼎的CLIP:ViT），该方法不依赖于特定生成模型的伪影；还有使用多局部固有维数来检测扩散模型生成的图像（但该论文已被撤回，作者称“我们有一个严重错误，方法并不像想象的那么好。我们需要完全取消它）。
上述论文中也说，即使在今天，GAN 生成的假图像和DM生成的假图像之间也存在一些共同点。 然而，这种相似性是什么仍然是一个悬而未决的问题。更好地理解这个问题将有助于设计更好的假图像检测器。
预览: