面向MapReduce的数据处理流程开发方法
文献类型：期刊论文
| 作者 | 易小华 ; 刘杰 ; 叶丹 |
| 刊名 | 计算机科学与探索
 |
| 出版日期 | 2011 |
| 期号 | 2页码:161-169 |
| 关键词 | MapReduce 数据处理流程 模型驱动 Hadoop平台 |
| 中文摘要 | 数据处理流程在信息爆炸的今天被广泛应用并呈现出海量和并行的特点,MapReduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理,但是MapReduce不支持多数据源的数据处理,不能直接应用于具有多个处理操作、多个数据流分支的数据处理流程。提出一种模型驱动的面向MapReduce计算模型的数据处理流程快速开发方法,定义数据处理流程的逻辑模型、物理模型和组件模型,使用模型转换算法和代码生成算法将逻辑模型转化为物理模型,再转换为能直接在Hadoop平台上运行的MapReduce程序,基于该方法实现了一个开发工具CloudDataFlow。实验表明该方法可以有效提高数据流程的处理效率。 |
| 公开日期 | 2011-10-10 |
| 源URL | [http://124.16.136.157/handle/311060/13839]  |
| 专题 | 软件研究所_软件工程技术研究开发中心 _期刊论文 |
| 推荐引用方式 GB/T 7714 | 易小华,刘杰,叶丹. 面向MapReduce的数据处理流程开发方法[J]. 计算机科学与探索,2011(2):161-169. |
| APA | 易小华,刘杰,&叶丹.(2011).面向MapReduce的数据处理流程开发方法.计算机科学与探索(2),161-169. |
| MLA | 易小华,et al."面向MapReduce的数据处理流程开发方法".计算机科学与探索 .2(2011):161-169. |
入库方式： OAI收割
来源：软件研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。