基于差异合并的分布式随机梯度下降算法
文献类型：期刊论文
| 作者 | 陈振宏; 兰艳艳; 郭嘉丰; 程学旗 |
| 刊名 | 计算机学报
 |
| 出版日期 | 2015 |
| 卷号 | 38.0期号:010页码:2054 |
| 关键词 | 分布式 随机梯度下降 规范化 模型合并 社交网络 社会计算 |
| ISSN号 | 0254-4164 |
| 英文摘要 | 大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型合并是一种比较常用的策略.目前,基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并,虽然取得了不错的效果,但是,这种方式忽略了参与合并的模型的内在差异性,最终导致算法收敛速度慢,模型的性能及稳定性较差.针对上述问题,该文在分布式场景下,提出了基于模型差异进行合并的策略,差异性主要体现在两方面,各模型在其训练数据上错误率的差异和训练不同阶段模型合并策略的差异.此外,该文对合并后的模型采用规范化技术,将其投射到与合并前模型Frobenius范数相同的球体上,提高了模型的收敛性能.作者在Epsilon、RCV1-v2和URL 3个数据集上,验证了提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/35589]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 陈振宏,兰艳艳,郭嘉丰,等. 基于差异合并的分布式随机梯度下降算法[J]. 计算机学报,2015,38.0(010):2054. |
| APA | 陈振宏,兰艳艳,郭嘉丰,&程学旗.(2015).基于差异合并的分布式随机梯度下降算法.计算机学报,38.0(010),2054. |
| MLA | 陈振宏,et al."基于差异合并的分布式随机梯度下降算法".计算机学报 38.0.010(2015):2054. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。