风格信息指导的毛笔笔触纹理生成技术研究
文献类型:学位论文
作者 | 张飞宇![]() |
答辩日期 | 2021-05 |
文献子类 | 硕士 |
授予单位 | 中国科学院自动化研究所 |
授予地点 | 中国科学院自动化研究所 |
导师 | 王健 |
关键词 | 毛笔笔触纹理生成 语义分割 点集配准 生成对抗网络 |
学位名称 | 工学硕士 |
学位专业 | 控制理论与控制工程 |
英文摘要 | 书法是中华民族的文化瑰宝,承载着底蕴深厚的华夏文明。随着电子信息技术的高速发展,书法创作的形式逐渐衍生出数字化的发展趋势,书法数字化创作的真实还原程度不断提高,已经在国学文化馆和书法教育市场中投入应用。书法数字笔迹生成方法包含基于经验建模的方法、基于物理建模的方法、基于深度学习模型的方法等。当毛笔笔触纹理库中纹理素材数量足够多时,基于经验建模的书法数字创作体验优于基于物理建模的书法数字创作体验。然而,基于经验建模的书法数字笔迹生成结果的纹理缺乏自然性,创作体验已逐渐进入瓶颈。与前两个方法相比,基于端到端深度学习模型的书法数字笔迹生成方法提高了纹理的真实度,但存在纹理细节质量差、缺乏风格一致性等问题。因此,基于已有技术,研究毛笔笔触纹理生成方法,进一步提高书法纹理图像生成质量,对于提升书法数字化创作质量,推动数字图像处理、计算机视觉和计算机图形学等技术在艺术创作领域的应用,具有重要的研究意义和应用价值。 本文从一个新颖的角度,通过三方面递进地解决毛笔笔触纹理生成问题。首先,根据毛笔笔触纹理的墨法和纹路特点,研究针对毛笔笔触纹理的风格信息提取方法,风格信息包括墨法语义类别信息和笔触纹路信息;然后,研究如何将所提取的风格信息与粗粒度笔触轮廓图像相融合,获得风格信息融合结果;最后,以风格信息融合结果为输入,研究风格信息指导的毛笔笔触纹理渲染方法,生成具有给定纹理样式的毛笔笔触纹理图像。论文的主要工作如下: 1. 提出了一种针对毛笔笔触纹理的风格信息提取方法 在基于深度学习的毛笔笔触纹理生成方法中,图像风格由卷积神经网络的低层次特征所表示,其缺点在于风格特征粒度不够精细,难以直接根据这种风格特征生成风格相似的纹理图像。为了充分地提取风格信息,本文提出了一种针对毛笔笔触纹理的风格信息提取方法。首先,通过对书法作品笔触纹理的观察,将笔触纹理划分为“浓”、“淡”、“润”、“枯”四种墨法语义类别。接着,为了提取墨法语义类别信息,设计了基于语义分割的墨法语义类别估计模型。然后,为了提取笔触纹路形态信息,设计了基于边缘检测的笔触纹路提取模型。最后,本文制作了配对的墨法语义标注数据集,并在此数据集上验证了风格信息提取方法的有效性。 2. 提出了一种基于笔触轮廓约束的风格信息融合方法 从毛笔笔触纹理样式图像提取风格信息后,需要将风格信息融入粗粒度笔触轮廓图像中,直接通过图像特征点匹配算法进行风格信息融合,会产生信息扭曲的问题。为了精准高效地融合风格信息,本文提出了一种基于笔触轮廓约束的风格信息融合方法。首先,使用一致性点漂移算法计算粗粒度笔触轮廓和样式纹理轮廓的对应关系。接着,借鉴低维流形嵌入的思想,利用轮廓点表示特征关键点。然后,根据轮廓点的对应关系,计算样式图像特征关键点在粗粒度笔触轮廓图像上对应点的坐标信息。最后,使用薄板样条插值算法将风格信息融入至粗粒度轮廓图像内部。实验结果表明,本文方法的融合结果更加自然,更好地保持了笔触纹理的风格信息。 3. 提出了一种风格信息指导的毛笔笔触纹理渲染方法 基于端到端神经网络的毛笔笔触纹理渲染方法存在风格一致性缺失、纹理连贯性差、图像模糊等问题,为了解决上述问题,本文提出了一种风格信息指导的毛笔笔触纹理渲染方法。以风格信息作为条件,构建基于条件生成对抗网络的毛笔笔触纹理渲染模型,除了基于空间注意力的内容损失和对抗损失函数,设计墨法语义损失和纹路损失,从图像内容和风格两方面约束模型。实验结果表明,风格信息指导的毛笔笔触纹理渲染模型在风格一致性、纹理连贯性和图像清晰度方面得到提升。此外,设计并实现了毛笔笔触纹理生成系统。 本文主要创新点如下:第一,本文提出了一种风格信息指导的毛笔笔触纹理生成方法,通过主动融入风格信息,降低了基于端到端神经网络的毛笔笔触纹理生成模型的训练难度,可以更好地保持生成结果的风格一致性,并提高了结果的图像清晰度。第二,本文提出了一种针对毛笔笔触纹理的风格信息提取方法,风格信息包括墨法语义信息和纹路信息,分别表征了笔触纹理的水墨分布和纹路形态,具有更细粒度的风格表征能力,解决了传统图像风格提取方法中特征提取不够充分的问题。第三,本文提出了一种基于笔触轮廓约束的风格信息融合方法,借鉴局部线性嵌入的思想,在轮廓点配准关系的基础上计算特征点配准关系,与直接基于特征点匹配的风格信息融合算法相比,缓解了信息扭曲的问题。 |
语种 | 中文 |
页码 | 95 |
源URL | [http://ir.ia.ac.cn/handle/173211/44695] ![]() |
专题 | 毕业生_硕士学位论文 |
推荐引用方式 GB/T 7714 | 张飞宇. 风格信息指导的毛笔笔触纹理生成技术研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2021. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。