MALK：一种高效处理大规模键值的MapReduce框架
文献类型：期刊论文
| 作者 | 郑亚松; 王达; 叶笑春; 崔慧敏; 徐远超 ; 范东睿
|
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2014 |
| 卷号 | 51.0期号:012页码:2711 |
| 关键词 | MapReduce 面向具有大规模键值应用的MapReduce 大规模键值 共享存储多核系统 内存申请 |
| ISSN号 | 1000-1239 |
| 英文摘要 | 内存申请是引发共享存储系统上MapReduce性能下降的主要瓶颈之一,特别是对于需要处理大量键值的应用尤为严重.为了解决此问题,提出了一种内存开销低、能高效处理大规模键值的MapReduce并行计算框架——MALK（high-efficient MapReduce for applications having large amount of keys）.MALK对于离散的大规模键值采用连续的存储管理方法,避免了大量小块内存的申请;通过更细粒度地处理Map阶段的任务和流水化Reduce阶段的任务,来减少系统运行过程中同时活跃的数据量,从而将应用程序对内存的需求控制在一个较小的范围内;并提出一种Hash表的复用机制,通过复用Hash表的存储空间来避免流水过程中Hash表内存的重复申请;MALK还综合考虑了任务的粒度和数量对任务管理开销和整体性能的影响,把Reduce阶段的任务数量设成对系统性能最优的值.实验结果表明：相对于Phoenix＋＋,MALK的性能最高可提升3.8倍（平均2.8倍）;在Map和Reduce阶段,MALK最多可节省95.2%和87.8%的存储空间;MALK在Reduce阶段还取得了更好的负载均衡,降低了L2和LLC Cache的缺失率. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/29950]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 郑亚松,王达,叶笑春,等. MALK：一种高效处理大规模键值的MapReduce框架[J]. 计算机研究与发展,2014,51.0(012):2711. |
| APA | 郑亚松,王达,叶笑春,崔慧敏,徐远超,&范东睿.(2014).MALK：一种高效处理大规模键值的MapReduce框架.计算机研究与发展,51.0(012),2711. |
| MLA | 郑亚松,et al."MALK：一种高效处理大规模键值的MapReduce框架".计算机研究与发展 51.0.012(2014):2711. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。