心理揣测是能够推断他人心理状态的高级认知功能，为机器赋予心理揣测对于发展高级的人工社会智能起着至关重要的作用。近年来，随着认知神经科学领域对心理揣测的深入研究，其神经机制已被逐步揭示。基于这些研究成果，本文展开对心理揣测计算模型的系统研究。早期的心理揣测计算模型通过概率模型来模拟智能体的归因过程。 目前基于深度学习的心理揣测方法得到了进一步发展，但在生物可解释性方面存在不足。本文受生物脑结构和功能的启发，系统地构建了一个完整的类脑心理揣测脉冲神经网络架构，并使得该模型兼顾生物可解释性与高性能。

具体地，本文基于生物脑中与心理揣测相关的脑区功能及连接，构建了层次化的多脑区协同的心理揣测脉冲神经网络模型，并用其解决简单的单智能体错误信念任务。在该模型的基础上，本文精细化建模了区分自我和他人这项功能，构建了基于自身经验以及对他人观测来揣测他人的模型，并使得具有心理揣测模型的多智能体能够完成合作和竞争任务。进一步，在集体智能中，为了避免为每个智能体单独构建心理揣测模型的计算开销，本文利用在合作任务中智能体主动分享信息的特点，为集体构建了统一的心理揣测模型。最后，本文针对现有模型仅依赖历史信息对他人进行揣测的问题，进一步地提出了一阶心理揣测模型，实现了对他人更深层次的推理，赋予人工智能系统更为深入的社会认知能力。本文具体贡献将从以下四个方面进行介绍。
一、 多脑区协同的类脑心理揣测脉冲神经网络模型。 本文提出了一个多脑区协同的类脑心理揣测脉冲神经网络模型，旨在借鉴心理揣测能力解决人工智能安全风险问题。 该模型依托于认知神经科学的研究内容，用脉冲神经网络分别模拟了颞顶交界处、前额叶皮层、前扣带皮层和额下回等脑区的特定功能，并构建了这些子网络之间的连接关系。本文采用具有高度生物可解释性的脉冲时序依赖可塑性以及基于多巴胺调控的可塑性机制对网络进行训练。 模型使智能体具备区分自我和他人、识别其他智能体的错误信念、基于自身经验推断他人处境的能力。此外，基于心理学实验范式，本文设计了测试心理揣测能力的实验。实验结果表明，在带有随机起点和障碍物的网格环境中，该模型能够成功辨别他人错误信念、评估他人的安全风险。

二、 多智能体心理揣测脉冲神经网络模型。 在上述研究基础上，本文进一步细化了智能体区分自我和他人、模拟他人决策的功能，构建了多智能体心理揣测脉冲神经网络模型，旨在利用个体的心理揣测能力提升团队合作和竞争的效率。该模型精细化地构建了基于自我经验和对他人观测来揣测他人的行为的模块，并以此来模拟颞顶交界处（区分自我和他人信息）以及前额叶皮层（基于两种不同信息推测他人）的脑区功能。本文将多智能体心理揣测脉冲神经网络模型分别集成到基于值和基于策略的多智能体强化学习算法中，使智能体依据对他人行动的预测进行自适应行为调整。实验结果证明，整合心理揣测的决策模型在合作和竞争任务中的性能明显超过强化学习算法基线。
三、 集体心理揣测脉冲神经网络模型。 在合作任务中，为了避免为每个智能体单独建立一个心理揣测网络所带来的计算开销，本文借鉴认知科学中集体心理揣测的概念，即多智能体在集体中共享信息特点，提出了集体心理揣测脉冲神经网络模型。该模型构建了由观测信息到集体心理状态的编码器，以及由集体心理状态到预测信息的解码器，此过程受最小化自由能的约束。集体决策模型与集体心理揣测模型之间的信息交换能够模拟集体与外部环境的互动，进而促进策略训练，提升学习效率及样本利用率。在合作型多智能体开源环境（星际争霸、多智能体粒子环境）的实验中，本文提出的模型相较于多个多智能体强化学习算法基线，在提升合作效率和性能方面表现卓越，并展现了良好的迁移能力。

四、 一阶心理揣测脉冲神经网络模型。 本文在推断他人心理状态的基础上，进一步受到一阶心理揣测的启发，提出了一种基于递归推理的一阶心理揣测脉冲神经网络模型，旨在实现对他人深层次推理。该模型基于自监督训练方法将一阶心理揣测与零阶心理揣测融合，得到对他人行为的综合推理。此外，本文设计了一种基于期望对齐的自组织内在奖励更新算法，使得智能体根据对他人的递归推理实时调整内在奖励以灵活应对他人的策略。在多个合作和竞争的实验中，相比于多智能体强化学习算法以及零阶心理揣测模型，一阶心理揣测模型性能显著提升。

综上所述，本文由浅入深、由宽泛到精细，逐步构建了层次化的多脑区协同的心理揣测模型、能够用自身经验或者对他人观测来揣测合作者和竞争者的多智能体心理揣测模型、通过共享信息减少计算复杂度的集体心理揣测模型以及涉及递归推理的一阶心理揣测模型。实验结果证明，所提类脑心理揣测脉冲神经网络模型整体上达到了可解释性与性能兼备的目标。