流水行云:支持可扩展的并行分布式流处理系统
文献类型：期刊论文
| 作者 | 张鹏; 刘庆云; 谭建龙 ; 李焱; 杜华明
|
| 刊名 | 电子学报
 |
| 出版日期 | 2015 |
| 卷号 | 43.0期号:004页码:639 |
| 关键词 | 流处理系统 可扩展 有状态算子 负载均衡 重配置 |
| ISSN号 | 0372-2112 |
| 英文摘要 | 数据流处理系统,无论是集中式还是分布式,都需要克服单点瓶颈问题.不仅如此,如果数据流处理系统是静态配置的,那么还会出现处理节点供给不足或者过剩的情况,为此本文提出了一种支持可扩展的并行分布式数据流处理系统—流水行云,该系统根据有状态算子将查询拓扑划分为并行处理的子查询,并且通过有状态算子的分发器和收集器实现了数据流的保序,同时最大化减少并行处理的通信开销,不仅如此,结合负载均衡和重配置的可扩展技术使得该系统能够根据输入负载动态调整处理节点的负载和个数.60个节点组成的集群的实验证明了该系统的可扩展能力. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/30577]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院信息工程研究所 3.国家计算机网络应急技术处理协调中心 |
| 推荐引用方式 GB/T 7714 | 张鹏,刘庆云,谭建龙,等. 流水行云:支持可扩展的并行分布式流处理系统[J]. 电子学报,2015,43.0(004):639. |
| APA | 张鹏,刘庆云,谭建龙,李焱,&杜华明.(2015).流水行云:支持可扩展的并行分布式流处理系统.电子学报,43.0(004),639. |
| MLA | 张鹏,et al."流水行云:支持可扩展的并行分布式流处理系统".电子学报 43.0.004(2015):639. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。