在非平稳环境中，人工学习系统需要面临不断学习新任务的挑战。如果以经典深度学习模式在非平稳环境中学习新任务，一方面在面对数据量极少的任务时模型容易发生过拟合问题；另一方面，在学习新任务后会导致对模型解决旧任务的能力发生灾难遗忘问题。相比之下，人类可以在非平稳环境中连续不断地学习新任务而不忘记旧任务能力，并且从学习过的任务中总结可迁移的先验知识帮助面对新任务只需利用少量样本就可以快速学习。因此，为了克服深度学习模型这两方面的局限性，构建更加智能的人工学习系统，本文从如何使深度学习模型学习可迁移的先验知识来帮助学习新任务，以及如何能够持续学习新任务两个方面进行了研究，具体贡献如下：

研究了一种面向小样本任务的元学习方法。该研究的目的是希望能够在模型中学习出可迁移先验知识，来快速学习新的小样本任务。该方法由两个关键模块组成，即目标网络和元网络。目标网络是一个针对小样本任务设计的分类网络，这里采用了匹配网络的计算结构；元网络则可以根据小样本任务的训练样本直接生成目标网络的功能参数。在元网络中设计了任务上下文编码器和条件权重生成器，任务上下文编码器使用任务训练集样本的特征统计信息来编码任务上下文特征，权重生成器则根据任务上下文特征编码生成出目标网络不同层的功能参数。我们通过任务情景式的训练方式将可迁移的先验知识嵌入在元网络中，并且提出了能够利用不同任务间的共享信息的任务间标准化策略来帮助模型训练。在训练之后，对面新的小样本任务，元网络可以直接根据任务的训练样本生成出目标网络解决该任务的功能参数，而不需要进一步的微调，从而达到快速学习和适应的目的。在合成数据集上的实验展示了方法的直观思路，通过可视化目标网络在不同任务上决策边界。在两个小样本学习的基准数据集上进行实验，实验结果证明了方法的有效性，并且在one-shot任务上达到了最前沿的效果。

研究了一种人脸图像属性转换知识迁移的方法。该研究的目的是希望能在模型中学习出人脸属性转换的可迁移先验知识，在面对新的人脸图像时，可以只根据语义信息对人脸图像进行转换，同时不改变人脸图像的身份特征。在该方法中，我们设计了一种条件再循环生成式对抗网络，它由一组条件生成器和具有辅助分类器的判别器组成，我们将人脸图像输入到生成器中并指定它所要变换的目标属性，进行属性转换之后，将生成的人脸图像重新输入到条件生成器中，并且指定它原来的人脸属性，将其变换回原来的人脸。为了能够保证转换之后的人脸具有相同的身份特征，保持再循环一致性，我们提出了再循环重建损失；为了引导条件生成器可以生成具有指定属性的人脸图像，我们在判别器中加入了多标签分类损失作为辅助损失引导训练。在训练过程中，我们只使用了人脸图像的属性语义标签，将每次人脸属性变换够看做是一个任务，然后从大量的人脸属性变换任务中学习人脸属性转换的可迁移先验知识。在一个代表性人脸数据集上进行实验，通过可视化的方式定性地评估了人脸图像转换效果，可以对多种属性进行相互转换，证实了方法的有效性。

研究了一种基于伪样本预演的类别增量学习方法。该研究受到互补学习系统理论的启发，利用了人工神经网络中不同的记忆类型来缓解持续学习中的灾难遗忘问题。一方面，我们提出了一种增量概念学习网络，它是一种带有外存记忆模块的分类网络，可以通过在概念记忆矩阵中增加概念向量的方式使网络能够学习新的类别；为了缓解灾难遗忘问题，我们提出了一种概念对比损失函数，在持续学习过程中约束不同类别的特征具有更小的类别方差，减小持续学习过程中网络权重的变化；另一方面，提出使用条件生成式对抗网络作为概念回忆网络，对旧类别概念进行记忆巩固，在学习新类别的时候对旧类别进行记忆回放，以及一种在线平衡回忆的训练策略来缓解灾难遗忘问题。为了展示方法的直观思路，我们可视化了类别增量学习过程中学习不同概念类别时特征分布的变化。在几个代表性的类别增量学习数据集上进行实验，与基于基于伪样本预演的持续方法相比达到的当时最前沿的效果，证实了方法的有效性。
    
研究了一种基于特征零空间梯度转换的持续学习方法。基于随机梯度下降算法优化的神经网络模型，在持续学习过程中容易发生灾难遗忘。主要原因是由于在学习新任务数据后，神经网络对于旧任务数据的映射关系发生了严重的改变导致的。因此，如果可以在优化新任务过程中调整梯度更新的方向，使神经网络在学习新任务时尽可能少地改变旧任务数据的映射关系，那么就可以缓解灾难遗忘问题。于是，我们提出了特征零空间梯度转换的方法，在线性层中将来自新目标函数的梯度转换到旧数据特征向量张成空间的零空间上，从而可以在学习新任务数据时保持每个线性层对旧数据特征映射关系不改变，进而保持整个网络对于旧数据样本的特征映射关系尽可能少地改变，从而缓解灾难遗忘问题。为了提高特征零空间梯度转换函数的计算效率，提出了一种近似零空间投影矩阵的在线累积计算方法，以及三种不同的批数据特征矩阵构造的策略。在合成数据集上，通过可视化类别增量学习过程中神经网络分类器决策边界的变化，展示了方法的直观思路。值得注意的是，该方法在持续学习过程中，不需要使用任何旧任务的历史数据，在几个代表性数据集构造的类别增量学习任务上，明显超过其他基于正则化的持续学习方法。通过进一步的实验探索，发现该方法可以通过改变超参数来控制神经网络在持续学习过程中的稳定性-可塑性平衡，意味着生物角度的解释性。