中国科学院机构知识库网格
Chinese Academy of Sciences Institutional Repositories Grid
基于生物逆行传播的类脑神经网络模型研究

文献类型:学位论文

作者蔡孟玥
答辩日期2024-05-17
文献子类硕士
关键词逆行传播,突触可塑性,梯度变化,类脑神经网络
英文摘要

在大脑的复杂网络中,神经元之间的逆行传播机制起着重要的作用,能使神经元轴突的突触可塑性跨层逆向传递至上一层的树突。突触可塑性反映了神经元连接强度变化的能力,是学习和记忆过程的基础,而逆行传播这种从突触后到突触前的信息反馈机制在这一过程中起到了关键作用。充分理解逆行传播突触可塑性有助于发掘逆行传播机制的优势特点,进一步为类脑高级认知功能建模提供了可能。

逆行传播对于理解大脑如何处理信息和学习至关重要,然而其在神经网络全局调控中的具体作用和机理仍尚未被完全理解。当前研究主要集中在较浅层网络中逆行传播的作用,而对其如何影响深层类脑网络的性能与表现知之甚少。针对这一研究空白,本文旨在深入探索逆行传播机制的特性及其在深层类脑神经网络中的应用潜力。

经过分析与实验,本文说明逆行传播机制可通过调整网络中长期不放电的神经元来实现网络资源的优化和合理分配。受逆行传播突触可塑性特性的启发,本文着手于深层类脑神经网络学习中模型训练的研究。通过构建基于逆行传播突触可塑性机制的模型,本研究旨在优化连接权重等关键参数的训练过程,特别针对在学习过程中长时间未激活的神经元,以解决因失活神经元相关参数未能及时更新而引起的网络训练效率和性能问题。 本文主要贡献如下:

一、基于梯度映射逆行传播的类脑神经网络模型。

本研究利用逆行传播机制中逆行信号传导的生物原理,通过相邻神经元层之间的反馈促进突触可塑性,巧妙地应用于深度类脑网络中长期不放电神经元的梯度更新。通过为这些失活神经元的输入侧分配适当的梯度(权重),梯度映射逆行传播成功地改变了有关参数长期停滞的状态。实验结果表明,梯度映射逆行传播方法在人工神经网络和脉冲神经网络内的各种架构和数据集上的有效性和适应性,并说明了其对网络稀疏性和运行效率的积极影响。

二、基于自适应权重逆行传播的类脑神经网络模型。

自适应权重逆行传播方法参考逆行传播机制的生物学过程,结合失活神经元显著性特征与连接权重变化等因素建模自适应梯度变化。 自适应权重逆行传播方法涵盖两大方面,即同一特征图中临近神经元的影响 其他通道中不同显著性神经元的影响,在深度人工神经网络和脉冲神经网络中引入失活神经元自适应变化的输入梯度。在梯度映射逆行传播方法的基础上,自适应权重逆行传播技术 进一步增强了网络计算资源的优化和训练分配,促进了愈发稀疏的网络表征,更显著地提高了各种 人工神经网络和脉冲神经网络 的运行效率和分类性能,同样在多种类型的数据集上具有通用性。

三、基于动态自适应权重逆行传播的神经网络模型。

梯度映射逆行传播和自适应权重逆行传播方法都需要手动设置失活神经元的输入梯度参数或系数组合,获得稳定的性能提升通常需要细致的调参过程。动态自适应逆行传播技术结合了 逆行传播 机制的动态学习特性,通过自动优化失活神经元的输入梯度系数来解决这一挑战。可学习的动态自适应反向传播梯度极大地提高了逆行传播模型优化和网络训练的效率,在不同网络结构与数据集上的实验结果表明,它能带来显著的性能提升。

语种中文
页码80
源URL[http://ir.ia.ac.cn/handle/173211/57253]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
蔡孟玥. 基于生物逆行传播的类脑神经网络模型研究[D]. 2024.

入库方式: OAI收割

来源:自动化研究所

浏览0
下载0
收藏0
其他版本

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。