异构大数据编程环境Hadoop+
文献类型:期刊论文
作者 | 何文婷; 崔慧敏; 冯晓兵 |
刊名 | 集成技术
![]() |
出版日期 | 2016 |
卷号 | 000期号:003页码:60 |
关键词 | 异构 数据中心 Hadoop+ MapReduce |
ISSN号 | 2095-3135 |
英文摘要 | 互联网和物联网技术的飞速发展开启了"大数据"时代。目前,硬件的高速发展催生了许多异构芯片,它们越来越多地出现在大规模数据中心里,支持不同的应用程序,在提升性能的同时降低整体功耗。文章重点介绍了基于Map Reduce编程模型的Hadoop+框架的设计与实现,它允许用户在单个任务中调用CUDA/Open CL的并行实现,并能通过异构任务模型帮助用户。在我们的实验平台上,五种常见机器学习算法使用Hadoop+框架相对于Hadoop能达到1.4×~16.1×的加速比,在Hadoop+框架中使用异构任务模型指导其资源分配策略,对单个应用负载上最高达到36.0%的性能提升;对多应用的混合负载,最多能减少36.9%,平均17.6%的应用执行时间。 |
语种 | 英语 |
源URL | [http://119.78.100.204/handle/2XEOYT63/35161] ![]() |
专题 | 中国科学院计算技术研究所期刊论文_中文 |
作者单位 | 中国科学院计算技术研究所 |
推荐引用方式 GB/T 7714 | 何文婷,崔慧敏,冯晓兵. 异构大数据编程环境Hadoop+[J]. 集成技术,2016,000(003):60. |
APA | 何文婷,崔慧敏,&冯晓兵.(2016).异构大数据编程环境Hadoop+.集成技术,000(003),60. |
MLA | 何文婷,et al."异构大数据编程环境Hadoop+".集成技术 000.003(2016):60. |
入库方式: OAI收割
来源:计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。