一种正交分解大数据处理系统设计方法及实现
文献类型：期刊论文
| 作者 | 向小佳2; 赵晓芳2; 刘洋2; 龚关俊2; 张晗1 |
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2017 |
| 卷号 | 54.0期号:005页码:1097 |
| 关键词 | 大数据处理系统 计算框架 本地化 锁无关 超级优化 执行引擎 |
| ISSN号 | 1000-1239 |
| 英文摘要 | MapReduce等计算框架的出现开启了大数据处理新纪元,以Hadoop,Spark为代表的大数据处理系统具有大吞吐率、跨平台、高可扩展的优势,并得到广泛应用.然而,为避免与具体的操作系统、硬件平台绑定,这些系统的设计与优化集中在计算模型、调度算法等方面,无法充分利用底层平台的优势.提出了一种基于正交分解的大数据处理系统设计与优化方法,将系统分解为松耦合的多个功能正交的模块,使存储、处理功能分离出来,交给能够利用底层平台操作系统甚至硬件资源的存储、执行引擎,原大数据系统退化为调度平台;进而,提出基于锁无关机制的存储底层优化策略和基于指令超级优化的执行引擎底层优化策略.以此为指导,以Hadoop作为兼容和改进的对象,实现了原型大数据处理系统Arion.Arion既能保持Hadoop的跨平台、高可扩展的优势,又能消除任务执行的瓶颈,其本地化的设计与优化手段对非Hadoop平台同样有效.通过在原型系统上的实验证明,Arion能够提升大数据处理任务的执行效率,最高达7.7%. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/37205]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.北方工业大学 2.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 向小佳,赵晓芳,刘洋,等. 一种正交分解大数据处理系统设计方法及实现[J]. 计算机研究与发展,2017,54.0(005):1097. |
| APA | 向小佳,赵晓芳,刘洋,龚关俊,&张晗.(2017).一种正交分解大数据处理系统设计方法及实现.计算机研究与发展,54.0(005),1097. |
| MLA | 向小佳,et al."一种正交分解大数据处理系统设计方法及实现".计算机研究与发展 54.0.005(2017):1097. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。