基于一致性分析的伪造图像鉴别方法研究
文献类型:学位论文
作者 | 白炜铭![]() |
答辩日期 | 2024-05-19 |
文献子类 | 博士 |
关键词 | 伪造图像鉴别 计算机生成图像鉴别 伪造人脸鉴别 一致性线索 |
英文摘要 | 在数字化和多媒体技术的推动下,图像成为重要的信息传递和创意表达载体。先进的图像编辑技术和图像生成技术的发展简化了逼真视觉作品的创作,推动了电影和虚拟现实等行业的进步。然而,这些技术的进步也让伪造图像变得更加容易便捷,模糊了真伪之间的界限。精心制作的伪造图像,特别是伪造人脸,容易误导公众而引发恐慌和误解,甚至被用于政治操纵、欺诈诽谤等恶意目的,对个人和社会安全构成严重威胁。因此,随着技术普及和滥用风险增加,开发有效的伪造图像鉴别技术以验证图像的真实性,成为一项必要且紧迫的重要任务。 伪造图像鉴别面临多重挑战,需应对不同的伪造形式,包括全图生成的计算机生成图像和部分篡改的局部篡改图像。尽管现有鉴别方法有所成效,但面对日益精进的伪造技术时仍存在局限:(1)在计算机生成图像鉴别中,现有数据集质量不佳且方法侧重于全局特征,忽视关键的细节差异;(2)在伪造人脸鉴别中,现有方法过于关注特定伪造痕迹而忽略不同伪造技术的共性特征;(3)新型伪造人脸数据难以获取,导致模型难以对其进行针对性训练;(4)现有方法未能充分利用面部单元间的关联性,影响了对人脸特性的深入理解。针对以上问题,本文提出对应的创新方法,研究内容归纳如下: 1. 针对计算机生成图像鉴别中存在的数据集和模型局限性,本文构建了大规模计算机生成图像数据集(Large-Scale Computer-Generated image Benchmark, LSCGB),并提出基于纹理一致性的计算机生成图像鉴别方法。LSCGB数据集具有数据规模大、样本多样性高及类别偏差低的特点,为该领域提供了更具挑战性的测试平台。在此基础上,通过深入分析计算机生成图像与真实图像间的纹理特征差异,提出了基于纹理一致性的鉴别模型,以强化输入特征中的纹理信息,并在多个尺度上整合纹理特征,以精确区分计算机生成图像与真实图像。与现有方法对比以及消融实验结果表明,所提方法在跨数据集的泛化能力以及对图像后处理操作的鲁棒性方面具备有效性。 2. 面对现有伪造人脸鉴别方法忽视共性特征的问题,本文提出了基于噪声一致性的伪造人脸鉴别方法。现有的人脸伪造过程会在面部与背景之间引入显著的噪声不一致。基于这一发现,本文提出基于噪声一致性的鉴别方法,该方法包含噪声一致性增强和多尺度噪声一致性学习两个核心模块。前者通过增强人脸与背景之间的噪声差异来增强特征表征能力,而后者则在多个尺度上计算局部区域间的噪声一致性,并通过多尺度特征集成策略来整合信息,以提高伪造鉴别的精确度。经过在多个数据集上的广泛测试,所提方法在伪造人脸鉴别的准确性和泛化性方面都取得了性能提升。 3. 针对新型伪造人脸数据难以获取的问题,本文提出基于退化过程一致性的伪造人脸鉴别方法,减少对伪造人脸训练数据的依赖。图像在采集和传输过程中会经历不同退化过程,因而携带不同退化信息。伪造算法通常将不同来源的人脸与背景进行拼接,导致这些区域存在退化过程的不一致。基于此观察,本文提出了基于退化过程一致性的鉴别方法,包括基于退化过程的篡改网络和退化一致性鉴别网络。篡改网络模拟图像退化,生成退化特征不一致的伪造图像,为模型提供训练样本。而鉴别网络则从空间域和频域挖掘退化一致性线索,以提高模型的鉴别准确性。该方法即使在缺乏伪造样本的情况下,也能通过合成退化不一致的训练样本来有效构建鉴别模型。实验结果验证了所提方法的有效性。 4. 面对新型伪造人脸数据难获取和人脸语义分析不足的问题,本文提出基于面部单元一致性的伪造人脸鉴别方法。面部形态学表明,真实人脸中不同面部单元区域之间表现出自然协调性。而在伪造人脸中,这种协调性通常会受到破坏。基于此发现,本文提出基于面部单元一致性的鉴别方法,包括面部单元关系学习网络和篡改面部单元预测模块。前者旨在学习面部动作单元之间的相互作用及其一致性模式。后者通过在图像层面和特征层面模拟伪造操作,产生面部单元不一致的训练样本,使模型对该线索更加敏感。该方法深入学习面部单元之间的复杂关系,即使仅用真实人脸图像进行训练,也能构建有效的鉴别模型,展现了良好的泛化能力。实验结果验证了该方法的有效性。 综上所述,本文深入探讨了伪造图像鉴别领域所面临的关键挑战,并提出了若干创新性方法以提高伪造图像鉴别的准确性和泛化能力,为保障数字图像的真实性提供了新方法和新视角。 |
语种 | 中文 |
页码 | 138 |
源URL | [http://ir.ia.ac.cn/handle/173211/56506] ![]() |
专题 | 自动化研究所_模式识别国家重点实验室_视频内容安全团队 |
推荐引用方式 GB/T 7714 | 白炜铭. 基于一致性分析的伪造图像鉴别方法研究[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。