联机手写示意图（包括流程图）在人机交互、教育、办公自动化以及会议系统有广泛的应用前景。本文以手写流程图作为具体研究对象，对其中存在的三个关键问题，即笔画分类、符号分割与识别、结构分析进行了研究，目的是将手写流程图转化为格式规范的标准印刷体形式的流程图。同时，本文构建并公开了一个大规模联机手写流程图数据集。本文的主要工作如下：
一、研发了基于 Andorid 操作系统的联机手写文档采集软件以及基于Windows 操作系统的联机手写流程图标记软件，构建并公开发布了第一个带有语义级与实例级标记的大规模联机手写流程图数据集慃慁慓慉慁愭慏慈慆慃，并在其上进行了一系列基准实验，以促进该领域的研究与应用。
二、提出了一种基于实例图神经网络的联机手写流程图符号分割与识别方法。该方法将联机手写流程图建模为时空关系图，图中节点表示笔画，边表示笔画之间的相互关系，将符号分割与符号识别形式化为关系图上的节点聚类与节点分类问题，通过多任务学习来估计图神经网络的参数。在两个公开的手写流程图数据集以及一个有限自动机数据集的实验结果表明，本方法大幅度超越了先前方法的性能。
三、提出一种基于递归神经网络的箭头关键点回归方法并用于对符号之间的相互关系进行分析。该方法将箭头方向识别问题转化为箭头头部与尾部位置的回归问题，采用长短时记忆网络进行求解，其有效性在流程图数据集上得到了验证。