中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
面向图像分类的领域泛化方法研究

文献类型:学位论文

作者林建鑫
答辩日期2023-05-21
文献子类硕士
关键词领域泛化 分布外泛化 模型鲁棒性 迁移学习 计算机视觉
英文摘要

随着智能技术的发展,以机器学习为核心的智能系统已在各行各业中广泛应用,成为了社会生产生活中的有力工具。然而数据驱动的机器学习模型与算法在实际应用中常遭遇分布偏移问题,即训练数据分布与测试数据分布存在差异。以独立同分布为基本假设的经验风险最小化方法所学得的模型常在分布偏移条件下产生性能退化,降低了系统的鲁棒性和可靠性。

近年来,领域泛化引起了许多学者的关注。领域泛化旨在利用多个分布不同的源域数据集学习一个对分布偏移鲁棒的模型,使其在未见的测试场景中保持其良好性能而不退化。领域泛化方法是对经典经验风险最小化方法的重要补充,具有显著的理论价值和应用价值。当前的领域泛化研究已取得了大量进展,所提出的方法已使得模型的分布外泛化能力大幅提高,但仍存在一些研究难点和重点问题亟需突破,分别是不合理假设、源域过拟合、先验知识和分布残差。本文针对这些难点、重点问题,从通用领域泛化方法和面向实际场景的领域泛化技术两个角度展开探索。主要研究内容和创新成果可总结如下:

1. 无先验的通用域不变分类器学习:针对现有工作中的不合理假设和源域过拟合问题,本文提出了一种基于带约束的最大跨域似然优化问题的域不变分类器学习方法,在不涉及不合理假设的基础上,仅引入一个边缘分布约束条件,避免过度正则化带来的源域过拟合问题。具体而言,首先以最小化域间 KL 散度的优化目标对域不变分类器学习问题进行形式化;其次,针对最小化 KL 散度产生的条件分布熵增问题,设计了一项最大域内似然以提高特征空间判别性;随后,引入源域边缘分布对齐约束,以对齐后的源域边缘分布近似真实世界边缘分布,并在此分布上最小化 KL 散度期望,提高域不变分类器的域外泛化性;最终获得一个带约束的最大跨域似然优化问题,能够在学习域不变分类器的同时,实现特征空间中的联合分布对齐;此外,设计了一个有效的交替优化策略来求解该约束优化问题。本方法并不依赖对数据的先验知识,因此是一种通用的领域泛化方法。在四个公开数据集上充分验证了所提方法的有效性。

2. 融合视觉先验与不确定度量化的领域泛化框架:针对如何利用视觉先验知识的问题,鉴于图像数据中大部分域间协变量偏移表现为风格差异,本文设计了一种即插即用的风格分布归一化模块,在视觉先验知识的辅助下,高效地缓解了图像数据中协变量偏移问题。具体而言,该模块以特征统计量表征图像风格信息,将多域图像特征统计量分布归一化到同一个高斯分布中,隐式地实现了风格分布的归一化。针对模型所拟合分布与测试分布的分布残差问题,本文设计了一个基于不确定度量化的多域决策融合机制。首先基于主观逻辑和证据理论对多个域特定分类器的预测不确定度进行量化,其次基于 Dempster-Shafer 证据理论对多个域特定分类器的预测进行基于不确定度的动态融合,得到具备更低不确定度的预测分布,即以多域预测条件分布的动态组合近似给定样本的真实条件分布,有效缓解了二者的分布残差问题。风格分布归一化模块可视为一种基于先验知识的边缘分布对齐方案,而多域决策融合则可视为以动态组合的方式对齐条件分布,二者可组合成为一个领域泛化框架,实现联合分布对齐。在四个公开数据集上验证了所提方法的优秀性质。

学科主题人工智能理论 ; 模式识别
语种中文
页码100
源URL[http://ir.ia.ac.cn/handle/173211/51886]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
林建鑫. 面向图像分类的领域泛化方法研究[D]. 2023.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。