基于在线学习的多任务方法研究
文献类型：学位论文
| 作者 | 孙干
|
| 答辩日期 | 2019-11-25 |
| 授予单位 | 中国科学院沈阳自动化研究所 |
| 授予地点 | 沈阳 |
| 导师 | 徐晓伟 ; 丛杨 |
| 关键词 | 终身机器学习 多任务学习 在线学习 度量学习 迁移学习 |
| 学位名称 | 博士 |
| 学位专业 | 模式识别与智能系统 |
| 其他题名 | Research on Multi-task Learning Methods Based on Online Learning |
| 英文摘要 | 本文对基于在线样本更新的多任务学习、终身度量学习、聚类终身学习、主动终身学习等机器学习方法进行了探究和研究，并创造性地应用于用户特性预测、图像分类、病人病症预测等领域。具体而言，本文的主要工作包括下述几个方面：（1）基于在线多任务学习的用户特性预测算法研究。从用户日常的电能消费数据（即智能电表数据）中预测特定用户特性（如：用户年龄、家庭收入、做饭方式等）能促使电力供应商开发更多的智能商务应用，而大部分存在的工作都旨在利用智能电表数据独立的预测单个用户特性。为解决这一问题，本文考虑将每个特性预测问题作为单个任务，并打算通过设计一个新的多任务学习范式来同时预测多个用户特性，即判别多任务关系学习（DisMTRL）。具体而言，这一预测任务中有两个主要需要解决的挑战：1）任务间关系，即不同特性间的嵌入式关系结构；2）特征学习，原始抽取的训练数据中存在冗余特征。为解决以上挑战，本文提出的DisMTRL 模型通过任务协方差矩阵捕捉多个特性间的内在关系，和特征协方差矩阵来学习判别性的特征。对于模型优化，本文首先将特征学习正则项转化为一个迹范数最小化问题，然后利用交替最小化策略来学习最优权重矩阵以及任务间的关系。为实现多任务样例的在线样例学习，本文将提出的优化模型推广到在线多任务学习框架。一系列实验结果和分析验证了本文所提多任务学习框架和优化算法的有效性。（2）终身度量学习。为在度量学习领域模仿“人类学习”，本文考虑一个终身学习问题，即结合以前的经验，为学习的度量赋予新的在线样例中的新度量任务。为解决该问题，本文提出了一种新的度量学习框架：终身度量学习（Lifelong Metric Learning），其在保留原始度量能力的同时只利用新任务的数据来训练度量模型。具体而言，本文所提出的终身度量学习为所有已学习的度量维持一个公共子空间，并命名为终身字典，从公共子空间迁移知识以学习每个具有任务特定特性的新度量学习任务，并且随着时间的推移重新定义公共子空间以最大化所有度量性能。对于模型优化，本文利用在线被动攻击优化算法来实现终身度量任务学习，其中终身字典和任务特定部分被交替连续地优化。最后，本文通过分析几个多任务度量学习数据集来系统的评估提出的方法。广泛的实验结果证明了所提框架的有效性和快速性。（3）基于表达任务选择的聚类终身学习。大多数最近的终身学习模型的知识库或深度网络具有特定的大小，当面对新的任务环境（簇）时，可能使已学习任务和即将到来的任务的性能退化。为解决这一挑战，本文提出了一个新的增量聚类终身学习框架，其中包含两个知识库：特征学习库和模型知识库，简称为灵活聚类终身学习（Flexible Clustered Lifelong Learning ，FCL3）。具体而言，由自动编码器体系结构建模的特征学习库维持一组所有已观察任务的一致表达，同时模型知识库可以通过识别和添加新的代表性模型（簇）以实现自我选择更新。当一个新任务到来时，本文提出的灵活聚类终身学习模型首先从这些定义的库中迁移知识以编码这一新任务，即有效且选择性地将该新任务软分配给特征学习库上的多个代表性模型。然后，1）具有较高异常概率的新任务将被判断为新的代表性任务，并随时间重新定义特征学习库和代表性模型；或者2）具有较低异常概率的新任务将仅用于改进特征学习知识库。对于模型优化，当一个新任务到来时，本文将这一终身学习问题作为交替方向最小化问题。最后，本文通过分析几个多任务数据集来评估所提出的框架，实验结果表明本文所提的终身学习模型可以实现比大多数终身学习框架、甚至是批量聚类多任务学习模型更好的性能。（4）基于“看门狗”的分层终身机器学习。当终身学习系统同时遇到多个候选学习任务时，各种候选任务中的经验和知识是不平衡的，终身学习系统应该智能地选择下一个急需学习的任务。为解决这一问题，本文提出模拟“人类认知”策略以对新任务的重要性按照从未知到已知的过程排序，并优先选择具有更多信息的最有价值任务学习。具体而言，为实现这一目标，本文将评估新到来任务（即未知或者已知）重要性作为一个异常检测问题，并设计一个“看门狗”知识库重构?0 范数稀疏约束下的任务，同时根据稀疏重建分数对各种候选任务降序排列。本文将这一机制成为“看门狗”。在“看门狗”知识库的基础上，本文为终身学习框架设计一个分层知识库来编码具有高重建分数的新任务，其中该分层知识库由两级任务描述子组成：一个低秩约束的高维描述子和一个低维描述子。对于模型优化，本文采用交替方向法迭代地更新提出的框架，则“看门狗”知识库和分层知识库均可以使用以前学习的任务和当前任务的知识实现自动更新。在存在的基准数据集和构建的智能电表数据集上的实验结果表明，本文提出的模型优于几个前沿的任务选择方法。 |
| 语种 | 中文 |
| 产权排序 | 1 |
| 页码 | 126页 |
| 源URL | [http://ir.sia.cn/handle/173321/25932]  |
| 专题 | 沈阳自动化研究所_机器人学研究室 |
| 推荐引用方式 GB/T 7714 | 孙干. 基于在线学习的多任务方法研究[D]. 沈阳. 中国科学院沈阳自动化研究所. 2019. |
入库方式： OAI收割
来源：沈阳自动化研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。