中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
风格导向的绘画作品生成与分析

文献类型:学位论文

作者邓盈盈
答辩日期2022-05
文献子类博士
授予单位中国科学院大学人工智能学院
授予地点中国科学院大学人工智能学院
导师徐常胜 ; 董未名
关键词风格导向,特征提取,局部相关性,风格化,代表性
学位名称工学博士
学位专业计算机应用技术
英文摘要

      绘画作品作为一种极具价值的文化传播媒介,兼具教育、审美和娱乐等功能。完整的绘画作品生产过程包括绘画创作与绘画赏析等相关阶段。本文关注艺术领域和计算机视觉领域的跨学科交叉融合,研究如何利用计算机与人工智能技术自动地进行绘画作品创作和赏析。风格作为绘画艺术最重要的标签之一,在不同时期有着独特的艺术表示和绘画呈现。随着时间的发展,绘画风格也作为一种新的驱动力,启发当代艺术家创作,影响公众对绘画艺术的鉴赏和评价。因此本文聚焦于风格导向的绘画作品生成与分析,针对其中存在的问题,从创作与赏析两方面对绘画作品的生产过程进行研究。其中,艺术图像风格化是目前主流的绘画作品生成方法之一,通过输入一张内容图片和一张绘画风格图片,可以生成一张风格化的结果,这个结果既包含了内容图片的内容结构信息,还具备了艺术绘画的风格纹理等信息。另外,绘画作品创作不是艺术生产过程的终点,一幅优秀的绘画作品需要具备审美、文化价值,即用户可以通过艺术分析获取绘画作品背后的内涵、美学、创作特性等。

       针对绘画作品生成与分析任务,本文关注的关键问题包括:1.绘画作品特征表达:不同于自然图像内容感知,艺术图像分析与创作过程需要考察艺术图像在内容及绘画风格两方面的表达,如何利用有限的绘画数据构造针对性的内容、风格特征解耦及域迁移并提取合适的特征表示,是使用人工智能方法进行艺术作品创作与分析的基础;2.绘画作品属性分析:艺术领域常使用风格、内容、画家等单一作品元属性作为艺术作品的基本描述属性,如何在分析艺术作品属性时考虑不同作品、不同因素间的相互作用关系对于全面、系统的艺术作品评估有重要意义;3.高效稳定的绘画作品创作:艺术绘画的生成与分析不仅需要较高的生产效率以达到应用需求,还应满足一定的质量和效果的要求。本文针对上述关键问题,在绘画作品生成与分析领域展开系列研究。

        本文的主要研究工作和贡献如下:

1.提出了一种基于多适应的任意图像风格化方法。基于全局内容-风格迁移的风格化方法生成方法效果较差,针对该问题,本文提出基于多适应的任意图像风格化网络。该网络通过引入由内容自适应模块、风格自适应模块、多域互适应模块构成的内容-风格多适应表达机制,完成艺术图像内容和风格特征的解耦及局部匹配,最终获取了更好的图像风格化效果。

2.提出了一种基于多通道相关性的任意视频风格化方法。将传统的图像风格化方法运用到视频当中,会造成风格化视频闪烁的结果。不同于利用光流估计约束生成结果的连续性的方法,本文提出了一种基于视频帧的多通道相关性计算方式,通过提出的多通道相关方法构造内容表征与风格表征的线性耦合,使得输入视频的连续性很好地保持到风格化视频当中,从而避免了闪烁现象。同时,多通道相关性的计算考虑了内容和风格图片之间的局部关系信息,并且将其有效融合,使得在保证输出视频连续的基础上,每一帧都可以得到高质量的风格化结果。

3.提出了一种基于变压器(Transformer)结构的图像风格化算法。基于卷积神经网络的图像风格化往往会造成内容表征泄露的问题,导致风格化结果中内容信息的缺失。针对该问题,本文提出了基于Transformer的图像风格化方法,通过分别设计内容Transformer编码器和风格Transformer编码器,获得更准确的内容、风格特征表示。此外,通过引入Transformer解码器,建模内容和风格之间的长程依赖关系,完成风格迁移过程,生成具有完整内容结构和丰富风格纹理的风格化结果。此外,本文通过分析现有位置编码的不足,提出了一种尺度不变的内容感知的位置编码,更加适合风格化任务。

4.提出了一种基于代表作品先验的绘画代表性学习方法。绘画数目繁多,画家作品风格多样。因此,除了对绘画类别进行整体分析之外,对每一幅作品进行一一评价也是一件也是极具意义和挑战的事情。本文提出了画作代表性的概念,用来量化一幅画能够代表其作者的绘画创作特征的程度。代表性的计算分两个阶段:风格增强的艺术绘画特征学习,用来获取画家相关的绘画特征;基于图的代表性学习方法,通过半监督的标签迁移方式,实现最终代表性的计算。进而,通过大量定性和定量的分析,本文证明了代表性的合理性和有效性。

语种中文
页码126
源URL[http://ir.ia.ac.cn/handle/173211/48505]  
专题自动化研究所_毕业生
毕业生_博士学位论文
推荐引用方式
GB/T 7714
邓盈盈. 风格导向的绘画作品生成与分析[D]. 中国科学院大学人工智能学院. 中国科学院大学人工智能学院. 2022.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。