AccSMBO:一种基于超参梯度和元学习的SMBO加速算法
文献类型：期刊论文
| 作者 | 程大宁4; 张汉平3; 夏粉3; 李士刚2; 袁良1; 张云泉1 |
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2020 |
| 卷号 | 57期号:12页码:2596 |
| 关键词 | AutoML SMBO black box optimization hypergradient metalearning parallel resource allocation AutoML技术 SMBO算法 黑箱调优算法 超参梯度 元学习 并行资源调度 |
| ISSN号 | 1000-1239 |
| 英文摘要 | 为了利用最佳超参高概率范围和超参梯度,提出了加速的序列模型优化算法(sequential modelbased optimization algorithms,SMBO)---AccSMBO算法.AccSMBO使用了具有良好抗噪能力的基于梯度的多核高斯过程回归方法,利用元学习数据集的meta-acquisition函数.AccSMBO自然对应的并行算法则使用了基于元学习数据集的并行算法资源调度方案.基于梯度的多核高斯过程回归可以避免超参梯度噪音对拟合高斯过程的影响,加快构建较好超参-效果模型的速度.meta-acquisition函数通过读取元学习数据集,总结最佳超参高概率范围,加快最优超参搜索.在AccSMBO自然对应的并行算法中,并行资源调度方法使更多的并行计算资源用于计算最佳超参高概率范围中的超参,更快探索最佳超参高概率范围.上述3个技术充分利用超参梯度和最佳超参高概率范围加速SMBO算法.在实验中,相比于基于传统的SMBO算法实现的SMAC(sequential model-based algorithm configuration)算法、基于梯度下降的HOAG(hyperparameter optimization with approximate gradient)算法和常用的随机搜索算法,AccSMBO使用最少的资源找到了效果最好的超参. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/37930]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.苏黎世理工大学 3.智铀科技有限公司 4.中国科学院大学 |
| 推荐引用方式 GB/T 7714 | 程大宁,张汉平,夏粉,等. AccSMBO:一种基于超参梯度和元学习的SMBO加速算法[J]. 计算机研究与发展,2020,57(12):2596. |
| APA | 程大宁,张汉平,夏粉,李士刚,袁良,&张云泉.(2020).AccSMBO:一种基于超参梯度和元学习的SMBO加速算法.计算机研究与发展,57(12),2596. |
| MLA | 程大宁,et al."AccSMBO:一种基于超参梯度和元学习的SMBO加速算法".计算机研究与发展 57.12(2020):2596. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。