面向大数据处理的基于Spark的异质内存编程框架
文献类型：期刊论文
| 作者 | 王晨曦2; 吕方; 崔慧敏; 曹婷; John Zigman; 庄良吉; 冯晓兵 |
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2018 |
| 卷号 | 55.0期号:002页码:246 |
| 关键词 | 内存计算 Spark 异质内存 非易失性内存 编程框架 |
| ISSN号 | 1000-1239 |
| 英文摘要 | 随着大数据应用的发展,需要处理的数据量急剧增长,企业为了保证数据的及时处理并快速响应客户,正在广泛部署以Apache Spark为代表的内存计算系统.然而TB级别的内存不但造成了服务器成本的上升,也促进了功耗的增长.由于DRAM的功耗、容量密度受限于工艺瓶颈,无法满足内存计算快速增长的内存需求,因此研发人员将目光逐渐移向了新型的非易失性内存(non-volatile memory,NVM).由DRAM和NVM共同构成的异质内存,具有低成本、低功耗、高容量密度等特点,但由于NVM读写性能较差,如何合理布局数据到异质内存是一个关键的研究问题.系统分析了Spark应用的访存特征,并结合OpenJDK的内存使用特点,提出了一套管理数据在DRAM和NVM之间布局的编程框架.应用开发者通过对本文提供接口的简单调用,便可将数据合理布局在异质内存之中.仅需20%~25%的DRAM和大量的NVM,便可以达到使用等量的DRAM时90%左右的性能.该框架可以通过有效利用异质内存来满足内存计算不断增长的计算规模.同时,“性能价格”比仅用DRAM时提高了数倍 |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/26500]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.大连大学 2.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 王晨曦,吕方,崔慧敏,等. 面向大数据处理的基于Spark的异质内存编程框架[J]. 计算机研究与发展,2018,55.0(002):246. |
| APA | 王晨曦.,吕方.,崔慧敏.,曹婷.,John Zigman.,...&冯晓兵.(2018).面向大数据处理的基于Spark的异质内存编程框架.计算机研究与发展,55.0(002),246. |
| MLA | 王晨曦,et al."面向大数据处理的基于Spark的异质内存编程框架".计算机研究与发展 55.0.002(2018):246. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。