面向大规模感知数据的实时数据流处理方法及关键技术
文献类型：期刊论文
| 作者 | 亓开元2; 韩燕波2; 赵卓峰2; 马强1 |
| 刊名 | 计算机集成制造系统
 |
| 出版日期 | 2013 |
| 卷号 | 19期号:3页码:641 |
| 关键词 | 数据流处理 大规模数据处理 MapReduce方法 适应性架构 负载均衡 |
| ISSN号 | 1006-5911 |
| 英文摘要 | 为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度。实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。 |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/37619]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.北方工业大学 |
| 推荐引用方式 GB/T 7714 | 亓开元,韩燕波,赵卓峰,等. 面向大规模感知数据的实时数据流处理方法及关键技术[J]. 计算机集成制造系统,2013,19(3):641. |
| APA | 亓开元,韩燕波,赵卓峰,&马强.(2013).面向大规模感知数据的实时数据流处理方法及关键技术.计算机集成制造系统,19(3),641. |
| MLA | 亓开元,et al."面向大规模感知数据的实时数据流处理方法及关键技术".计算机集成制造系统 19.3(2013):641. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。