科技改变生活，随着科技尤其是互联网等技术的深入发展及广泛运用，多彩缤纷的线上应用与人们的生活结合得越来越紧密。这些应用累积了大量用户对项目的行为，比如购买和点击，按时间顺序可获得相应的用户行为序列。在产生用户行为的过程中，往往伴随着丰富的上下文信息，例如时间、空间、图像、文本描述等。这些信息能从多角度去辅助描述用户、项目和行为，不仅能丰富特征表达取得更好的模型性能，还有助于缓解冷启动、数据稀疏等问题。当前，深度学习在计算机视觉、自然语言处理等领域取得了巨大的突破，将其应用于用户行为序列建模，前景广阔。本文面向用户行为序列，采用基于循环神经网络（Recurrent Neural Network, RNN）等的深度学习方法，研究多种形式的上下文建模策略，提出相应的创新方案，具体研究内容如下：

（1）在建模用户的当前时刻行为时，可将序列中其它时刻的行为视为上下文，本文称之为时序上下文。为了使用与当前时刻相临近的用户行为，本文提出了层次化上下文注意力网络，将上下文注意力建模分别应用在RNN的输入层、隐含层。RNN模型在每时刻只处理一个输入、一个隐藏状态，模型将临近的多个输入、多个隐藏状态当做上下文。在输入层，将当前时刻之前的多个输入收集起来，组成上下文矩阵，并采用注意力机制抽取重要特征，形成上下文输入向量，再与该时刻原本的输入共同送入RNN。在隐含层，同样收集当前时刻之前的多个隐藏状态，组成上下文矩阵，并采用注意力机制形成上下文隐藏向量，再与该时刻原本的隐藏状态做非线性激活，生成最终的当前时刻隐藏状态。该方法在用户购买、点击等场景中取得了优异的性能，能很好地把握用户短期兴趣的建模。

（2）使用行为本身做上下文虽然效果显著，但建模有局限，例如无法处理冷启动问题，使用当前上下文可从多种视角去丰富建模。当前上下文，是行为序列之外且伴随当前时刻行为的信息，例如天气等。为了探索多样当前上下文的建模方式，我们提出了多视角循环神经网络模型。本文以用户网络购物为例，引入项目的图像信息、文本描述，预测下一次购买。具体的建模过程分为两步，包含多特征建模和用户兴趣建模。在特征层面，基于原有用户序列学习项目编号的隐含特征，引入图文后得到图像特征、文本特征。设计三种方式去组合多特征：拼接、图文融合、图文融合后再重构。由于组合后的特征，本质上仍要通过拼接做为模型的输入，因此再设计两种方式处理输入以得到用户兴趣。多特征直接输入一条RNN得到综合的用户兴趣，多特征分别输入多个RNN得到各自用户特征后再组合。该方法在两个用户购买数据集上都取得了最优的效果，并且项目的图文特征利于缓解冷启动问题。

（3）引入上下文后值得做深入探索，多信息融合能进一步挖掘信息间的影响与联系。为了探索不同的上下文融合方式，本文提出了个性化的空间偏好模型。选择推荐系统中地点预测这一经典问题，建模用户曾到访过的地点，并引入地点两两间的距离间隔信息，以便更准确预测用户下次的地点。在建模过程中，一方面采用RNN建模基础的用户地点序列，得到用户的序列偏好。另一方面，通过建模用户每次的距离间隔，得到用户对下次距离的空间偏好。而后，设计线性、非线性两种方式去组合用户在每个时刻的序列偏好、空间偏好。该方法极大提升了预测准确度，线性组合可直观看到不同信息的作用，而非线性的融合方式能更好地适应数据多样性、把握数据中的复杂关联关系。