类脑脉冲神经网络模型优化方法研究
文献类型:学位论文
作者 | 李杨![]() |
答辩日期 | 2024-05-17 |
文献子类 | 博士 |
关键词 | 脉冲神经网络优化 人工神经网络-脉冲神经网络转换 时空反向传播 时序高效知识蒸馏 高性能低延迟 |
英文摘要 | 随着深度学习与高性能计算等技术的飞速发展,人工智能研究在图像识别、自然语言处理等多个领域取得了巨大突破。然而,它在处理效率、能耗控制以及模型泛化等方面的局限性日益凸显。借鉴和模仿人类大脑的结构和工作原理,以实现低能耗、高效率的智能处理,是解决上述问题的一种有效途径。脉冲神经网络对生物神经元生物物理动态过程和脉冲式信息编码与传递方式进行建模,具有生物合理性高、低能耗的优点。因此开展脉冲神经网络模型优化的研究,不仅能够促进人工智能领域的理论和技术革新,对揭示生物神经信息处理机制同样具有深远的意义。 脉冲神经网络通过使用生物神经系统的脉冲机制,能够在极低的功耗下完成复杂的信息处理任务,这一特性在追求高效计算的人工智能领域中尤为关键。然而这些优势是有代价的,特别是其固有的时间依赖性和脉冲的离散特性给优化过程带来了严峻的挑战。这使得标准的反向传播算法难以适用,增加了神经网络模型优化的复杂度与难度。本文聚焦高性能、低时延和高生物可解释性的脉冲神经网络优化方法,旨在最大化发挥脉冲网络在高效推理方面的潜力:首先,本文针对基于转换的间接优化方法,深入分析了脉冲神经网络产生转换误差的原因并实现了高效的改进。随后,为了进一步减小时间延迟,考虑生物脉冲神经元的计算特点,本文提出了高效的脉冲神经网络并行计算方法。最后,本文整合间接优化方法与直接优化方法的优势,采用基于时序高效蒸馏的混合优化方法有机融合了脉冲神经网络低延迟、低能耗和高效推理等优势。本文的主要工作和创新点归纳如下: 一、基于双稳态机制的类脑脉冲神经网络优化方法。基于转换的脉冲神经网络优化方法有效地结合了成熟的反向传播算法和脉冲神经网络的高效推理特性的优势。传统人工神经网络仅使用频率对信息进行编码,而生物神经元能够通过相位编码将时序信息编码到脉冲序列中。然而,当前大多数基于相位编码的方法容易在信息传递过程中出现相位超前和相位滞后的问题,进而导致转换后的脉冲神经网络性能损失大且时间延迟高。本文通过将相位编码与双稳态机制相结合,提出了一种基于双稳态神经元的脉冲神经网络转换方法。双稳态脉冲神经元能够在相位周期内记忆以前时间步的脉冲刺激,并在下一个相位周期内产生脉冲响应,提升了脉冲神经网络向深层传递信息的准确性,有效地解决了相位超前和相位滞后的问题。此外,通过引入突触延迟机制,本文实现了信息在脉冲残差神经网络中的同步传递。实验结果表明,本文提出的基于双稳态机制的脉冲神经网络优化方法能够实现更低的时间延迟和更高的性能。 二、基于迸发脉冲机制的类脑脉冲神经网络优化方法。利用神经元脉冲发放率实现人工神经网络中激活值的近似表达,是获取高性能脉冲神经网络的有效途径。然而,大部分方法仅对模型权重进行限制或微调,忽略了生物神经元丰富的动力学特性。为了进一步降低高性能脉冲神经网络的时间延迟,首先,本文从人工神经网络与脉冲神经网络信息传播机制的差异出发,分析了当前转换方法误差产生的根本原因。然后,受生物神经元迸发脉冲机制、侧抑制机制和脉冲间隔特性启发,本文提出了迸发脉冲转换框架、侧抑制池化以及脉冲校正方法。所提方法有效地将原本残留在神经元膜电位中的信息以迸发脉冲的形式传递出去,解决了脉冲神经网络中最大池化层经常过度放电的难点,缓解了因为失活神经元脉冲造成的输出信息逼近不准确的问题。该方法在图像分类和目标检测任务中进行的实验结果表明了本文所提方法对精确近似人工神经网络激活值以及实现高性能低延迟脉冲神经网络的有效性。 三、基于并行脉冲单元的类脑脉冲神经网络优化方法。并行计算是推动当前人工智能飞速发展的重要技术之一。脉冲神经元依靠多个时间步的迭代计算整合输入信息并进行脉冲输出,这大大限制了脉冲神经网络的训练、推理以及在硬件上的应用。现有的并行方法仅对时序输入信息进行简单的加权整合,未能充分考虑脉冲神经元的计算特性。为了进一步发挥基于代理梯度的直接优化方法在低延迟方面的优势,本文提出了并行脉冲单元。通过将脉冲神经元的漏电-积分过程和放电过程分离,并利用脉冲估计的方式保留脉冲神经元的重置过程,大幅降低神经元的脉冲活动,提高了网络的稀疏性。进一步地,为了提高脉冲网络的时序信息整合能力,本文提出了输入感知和重置感知并行脉冲单元。在静态图像、序列图像、语音识别和神经形态数据集中的实验结果表明,提出的并行脉冲单元及其变体能够有效地减少仿真时间并大幅降低神经元的脉冲活动,同时提升了在多个任务上的性能。 四、基于时序高效蒸馏的类脑脉冲神经网络优化方法。当前基于转换的间接优化方法和基于代理梯度的直接优化方法各有独特的优势。然而,大部分现有混合优化方法仅将两种优化方法简单地合并在一起,没有充分考虑人工神经网络与脉冲神经网络信息传递方式的不同。此外,代理梯度优化方法虽然替代了原本尖锐的梯度,但也引起了梯度失配的问题。本文提出了一种时序高效蒸馏的方法,通过引入蒸馏损失,将间接优化方法和直接优化方法的优势有机融合。进一步地,本文将脉冲神经网络每个时间步的输出与人工神经网络教师模型对齐,实现了模型的快速收敛和性能提升。同时,本文还提出了掩码代理梯度策略,将计算得到的代理梯度进行随机掩码,在不影响模型收敛速度的同时保证了梯度的稀疏性。实验结果表明,所提方法能够有效整合两种优化方法的优势,提高了脉冲神经网络在小时间步下的性能。 |
语种 | 中文 |
页码 | 132 |
源URL | [http://ir.ia.ac.cn/handle/173211/57196] ![]() |
专题 | 毕业生_博士学位论文 |
推荐引用方式 GB/T 7714 | 李杨. 类脑脉冲神经网络模型优化方法研究[D]. 2024. |
入库方式: OAI收割
来源:自动化研究所
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。