中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于复杂运动的视频去抖算法研究

文献类型:学位论文

作者吴柔莞
答辩日期2022-05-20
文献子类硕士
授予单位中国科学院大学
授予地点中国科学院光电技术研究所
关键词视频去抖 运动估计 单应性网络 深度学习
学位名称工学硕士
英文摘要

随着科技的进步和嵌入式设备的发展,便携式拍摄设备的种类变得多样化,价格也变得低廉化。然而由于拍摄人员的不专业性和稳像设备的缺乏,以及恶劣天气的影响,都会导致成像的视频出现抖动。这种抖动不仅会降低观看体验,还会对基于这些视频的后续处理分析造成不利影响。因此对拍摄视频进行去抖研究具有十分重要的应用意义,同时这也是当前视频增强领域研究热点。

目前,针对简单运动和常规场景的去抖方法已经取得很不错的效果,但是这些现有算法在处理复杂运动视频时,依然会面临去抖性能下降或者失败的情况。这些复杂运动造成的问题不仅仅包括大前景遮挡和多样化运动目标引起的特征点误匹配,还包含多变拍摄环境和低成像质量视频造成的运动估计精度下降。本文针对上述复杂运动视频去抖问题进行了深入的研究分析,并分别提出具有针对性的算法。归纳起来,本文的主要工作和研究成果有如下两点:

1) 提出了一种结合超像素和改进K-means聚类的视频去抖算法。本算法主要解决包含多目标运动和大前景遮挡视频的去抖问题。传统基于特征点的方法在处理上述复杂运动视频时,会因为局部运动的扰动出现特征点误匹配的情况,从而影响全局运动估计精度,导致去抖性能下降。不同于大多数现有算法仅使用Random Sample ConsensusRANSAC)对误匹配点对进行剔除,本文提出了一种由粗到细的局部运动剔除方法。该方法以自适应超像素实现前景多个目标或目标不同区域、以及多个不同深度背景区域的自然分离,根据帧间前景和背景运动矢量的差异性,构建图像帧间具有一定信息关联的超像素块运动空间和特征点运动空间,采用K-means聚类实现局部运动与全局运动的分离。本文方法已经在不同类型的视频上得到了仿真验证,与近6年基于特征点和单一矩阵去抖方法相比具有更优的性能,平均结构相似性和平均峰值信噪比较原视频分别有0.242.31dB的提升。

2) 提出了一种无监督分阶段的视频去抖算法。当前传统算法在处理多变拍摄环境和低质量视频时,会面临运动估计精度下降或失效的问题,从而导致去抖性能的下降或失败。针对此问题,本文提出了重叠内容感知单应估计网络。该网络通过提出的重叠内容感知模块和重叠特征损失项来减少局部运动对全局运动矩阵估计的影响;利用卷积网络强大的学习表征能力解决低质量视频运动估计精度下降的问题,并在公开数据集中达到亚像素的精度。除此以外,多数基于约束平滑的方法使用固定权重对高频噪声进行抑制,然而因为拍摄环境和运动的复杂,达到同等平滑效果会需要更多的迭代次数,从而增加去抖时间。针对此问题,本文提出了动态权重生成网络,该网络可以根据感知的轨迹信息自适应生成权重,在处理复杂运动时能以更少的迭代次数达到传统约束优化的性能。通过分阶段训练与综合集成测试,形成基于学习机制的去抖网络模型。在稳像数据集上,本文算法取得与传统方法接近的结果,在自建困难场景数据集中,取得比传统方法更鲁棒的结果。除此以外,本文算法与其他基于深度学习方法相比,在NVIDIA RTX 2060 SUPER显卡上具有更快的处理速度,可达到40.4FPS

综上,本文针对复杂运动视频去抖问题进行了深入研究,提出了结合超像素和改进K-means聚类的视频去抖算法和无监督分阶段的视频去抖算法,在公开数据集及自建数据集上进行了去抖效果验证。还对稳像视频进行了跟踪实验,进一步证明了去抖的意义。

语种中文
源URL[http://ir.ioe.ac.cn/handle/181551/10276]  
专题光电技术研究所_光电技术研究所博硕士论文
推荐引用方式
GB/T 7714
吴柔莞. 基于复杂运动的视频去抖算法研究[D]. 中国科学院光电技术研究所. 中国科学院大学. 2022.

入库方式: OAI收割

来源:光电技术研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。