中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
面向人脸鉴伪应用场景的模型优化技术研究

文献类型:学位论文

作者卓文琦
答辩日期2023-05-22
文献子类硕士
关键词人脸伪造 人脸鉴伪 轻量模型 无数据模型压缩 终身学习
英文摘要

       智能通讯设备的升级换代和深度学习技术的飞速发展为人脸内容合成的广泛流行提供了有利条件。相关技术操作的门槛被大大降低,网络用户可以轻松获取人脸图像、视频数据,并利用各种修图软件或开源代码进行AI换脸和面部编辑等,在各大社交媒体和公众平台上掀起一波又一波的创作热潮。该项技术在被应用于艺术创作、教育教学和人机交互等正向场合的同时,恶意滥用所带来的负面影响远大于积极影响。一方面,现有合成技术发展迅猛,制作的伪造人脸足够以假乱真,极大冲击了人们“眼见为实”的传统观念;另一方面,恶意伪造内容往往迎合了大众的猎奇心理,具有极强的意识塑造和扭曲能力。目前,国内外已发生多起与人脸伪造有关的违法犯罪案件,不仅对个人的名誉和财产安全造成了严重损害,对社会的稳定秩序、国家的网络主权和政治安全也带来了巨大威胁。因此,开展人脸鉴伪技术的相关研究工作势在必行。

       国内外研究团队提出了很多行之有效的人脸鉴伪方法,在开源伪造人脸数据集上表现良好,鉴伪准确率不断刷新。然而当它们被推广到具体应用时,却问题频发,如模型部署过程中会受到计算资源限制、应对新型伪造不及时等。鉴于上述背景,本文聚焦实际应用场景中的人脸鉴伪技术,选择人脸鉴伪模型的轻量化和终身学习问题作为研究重点,主要工作如下:

      1) 提出了一种面向轻量级人脸鉴伪的模型压缩方法,分两阶段完成人脸鉴伪模型的轻量化处理。第一阶段,利用后训练量化对高性能人脸鉴伪模型的关键参数进行压缩,将权重和激活值从高位宽浮点数转换成低位宽整数,有效减少了模型的内存占用和计算开销。第二阶段,获取校准集,将其输入到轻量人脸鉴伪模型中,通过多次前向推理动态校准激活值范围。本文方法未使用原训练集的采样数据作为校准集,而是利用知识蒸馏充分挖掘了蕴藏在预训练模型各批归一化层中的数据分布信息,指导生成器合成一批与原训练集分布相似的数据以进行替代,实现了校准过程的无数据化。由于激活值的范围取决于激活函数的类型,为进一步保障轻量模型的鉴伪性能,通过理论分析找到了对参数量化操作最友好的激活函数ReLU6,并做出了相应替换。在2个经典伪造人脸数据集上对所提方法展开了充分的实验测评和论证。结果表明,该方法能够成功压缩一系列先进的人脸鉴伪模型,得到的轻量模型基本保持原有高性能,而运行所需的内存占用和计算资源显著降低。

       2) 提出了一种基于无范例特征重放的人脸鉴伪终身学习方法,用于提升人脸鉴伪模型应对新型伪造的能力。该方法充分利用人脸鉴伪任务特质,一方面,根据不同类型伪造人脸之间的差异性,将人脸鉴伪模型的终身学习建模为“域增量学习”问题,分阶段在各伪造人脸数据集上训练;另一方面,根据不同类型伪造人脸之间的相似性,将人脸鉴伪模型拆解成两部分——固定的特征提取器和持续调整的分类器。在每阶段的训练中,都投入了一定数目的旧域重构特征与当前域特征进行联合训练以减轻无范例条件下旧知识的灾难性遗忘,进而改善模型在不同域上的性能失衡问题。本方法在6个代表性伪造人脸数据集上进行了大量实验和分析。结果表明,所提方法能够完成对持续新域的自适应,同时在旧域上仍然表现良好。相比于联合训练或分支集成这两类方法,模型性能基本得到了保持,而训练资源耗费被极大减少。

语种中文
页码80
源URL[http://ir.ia.ac.cn/handle/173211/52070]  
专题毕业生_硕士学位论文
通讯作者卓文琦
推荐引用方式
GB/T 7714
卓文琦. 面向人脸鉴伪应用场景的模型优化技术研究[D]. 2023.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。