互联网的高速腾飞让大众进入网络世界，社会媒体在互联网的沃土上蓬勃发展。社会媒体应用已经渗透到人们生活的各个角落，影响着人们的日常生活。用户是社会媒体内容的生产者，也是其服务的终极目标。互联网上的各种应用为用户提供便捷服务的同时，也记录着用户的行为数据。用户行为是用户兴趣偏好的潜在表示，对用户行为进行建模，可以捕获用户在社会媒体中的兴趣偏好，支撑不同的下游应用，如个性化推荐系统、个性化搜索等。用户行为具有时序性，对用户在社会媒体中的序列行为建模，是有效跟进用户动态兴趣演变，捕捉用户长短期兴趣偏好的重要手段。此外，目前用户序列行为建模还存在几个关键性问题，如用户在社会媒体上产生的内容具有多模态性、用户行为的异构多义性、复杂的交互关系以及用户行为建模的典型应用缺乏可解释性。在本研究中，我们将从社会媒体用户序列行为建模的四个关键问题切入，对序列行为建模进行研究，提高用户兴趣建模的高效性和准确率，为下游应用提供有力的支撑。本文的研究内容和主要贡献如下：
1. 用户行为多模态内容建模研究。序列行为建模的基础是对用户行为中的多模态内容建模。社会媒体上充斥着多模态内容，比如文本、图像、视频、音频等。在设计服务于用户的各类应用时，多模态的内容是原材料，对多模态内容进行分析，提取和建模对任务有用的信息和模式，有利于挖掘底层信息以改进应用的表现。因此，本文研究了多模态内容建模的两个方面，为后续研究工作奠定基础。一是基于多模态内容对用户行为进行建模，根据用户在 Flickr 上发布的图片，设计显性和隐性特征，通过模型融合自动预测图片的流行度。二是基于多模态内容对用户关系进行建模，根据用户构建的 Twitter 列表中的元数据和关系数据，设计一组多模态相似度特征以构建有效的社会关系标注模型，辅助社交网络的构建。
2. 上下文感知的异构多义序列行为建模。用户的序列行为可以揭示用户兴趣演变，序列推荐是面向用户的在线服务的一项重要任务。社会媒体上用户行为存在许多特性：行为异构性、行为多义性、行为上下文依赖性。本文提出了一种用户序列行为建模算法，该算法是一个上下文感知的自注意力网络。模型中考虑了异构用户行为，并将其投影到一个公共的潜在语义空间中，然后将隐层输出输入到特征级自注意力网络中，捕捉用户行为的多义性。模型采用前向和后向位置编码矩阵来建模动态上下文依赖关系。同时，自注意力网络可以对序列建模进行并行运算，有效地捕捉用户行为的动态兴趣表示的同时，能极大提高模型的运算效率。
3. 交互异构网络辅助的综合序列行为建模。现有的序列推荐算法通常使用历史行为的简单序列关系来建模用户偏好，其仅考虑关于用户行为的局部信息，以至于它在捕获复杂的用户偏好方面具有有限的表示能力。本文提出了一种基于元路径的上下文感知序列推荐方法，将异构信息网络和元路径机制引入推荐系统中，构建了用户与项目之间隐藏依赖关系的全局上下文信息，有助于在序列推荐系统中合理利用网络中的密集连接来拓展用户的兴趣。算法采用自注意力网络建模用户局部兴趣偏好，采用异构信息网络和元路径建模用户全局兴趣偏好，采用协同注意力模型捕捉用户历史行为和上下文信息之间复杂的交互，从而增强了对用户偏好的综合建模。
4. 知识图谱推理的可解释性序列行为建模。当前基于神经网络的方法在推荐任务上都取得了很高的准确率，然而大多数方法都没有考虑在做出推荐决策的同时为用户提供一个合理的解释。本文提出了一种交互驱动的可解释性用户建模和推荐算法，通过多模态融合引入知识图谱中的结构知识，为用户和项目提供更好的表达，通过联合学习提高推荐系统的性能。模型从知识图谱中提取用户和项目之间的语义路径，并通过交互表示模块对相应语义路径进行编码，来学习用户-项目交互的语义表示。序列交互建模模块对用户-项目交互序列进行编码，目的在于捕捉用户的动态偏好漂移。算法在提升推荐系统准确率的同时，也能为推荐结果给出合理的解释，赋予了推荐系统可解释能力。