支持Unikernel的流式计算引擎:Hummer
文献类型：期刊论文
| 作者 | 李冰1; 张志斌1; 钟巧灵1; 程学旗1 |
| 刊名 | 计算机学报
 |
| 出版日期 | 2019 |
| 卷号 | 42.0期号:008页码:1755 |
| 关键词 | 大数据 数据流 分布式计算 流处理系统 微内核操作系统 |
| ISSN号 | 0254-4164 |
| 英文摘要 | 社会计算中,社会公共安全、企业商务智能和舆情计算等众多领域均对实时计算的性能提出了越来越高的要求.流式计算引擎作为大数据计算研究领域的研究热点之一,致力于提供高吞吐量和低延迟的实时计算能力.流式处理任务对处理延迟非常敏感,数据价值随着处理时长的增长而快速递减.传统流式计算引擎设计中,操作系统、JVM等占用大量计算资源,如何提升计算资源利用率成为目前亟待解决的问题.为此,本文提出了一种基于C++语言实现的支持Unikernel的高性能实时数据分析计算引擎Hummer.首先,通过引入Unikernel机制,Hummer可绕过传统操作系统,直接运行于裸机或虚拟化层,减少传统操作系统无关组件带来的性能开销,支持分布式环境下的快速部署与启动,为高性能大数据计算引擎设计提出新的思路.其次,通过使用Unikernel对计算引擎进行封装,解决了C++应用需本地化编译、难以在集群中部署的问题.最后,系统使用灵活的网络通信方案,支持异构网络部署及网络资源隔离.实验表明,Hummer端到端处理延迟低于30ms,较Flink系统低2倍,较Spark Streaming低15.8倍,且吞吐量达到Flink的2倍.使用Unikernel封装的Hummer系统镜像仅为100MB,启动时间约为2s. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/32149]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国科学院 |
| 推荐引用方式 GB/T 7714 | 李冰,张志斌,钟巧灵,等. 支持Unikernel的流式计算引擎:Hummer[J]. 计算机学报,2019,42.0(008):1755. |
| APA | 李冰,张志斌,钟巧灵,&程学旗.(2019).支持Unikernel的流式计算引擎:Hummer.计算机学报,42.0(008),1755. |
| MLA | 李冰,et al."支持Unikernel的流式计算引擎:Hummer".计算机学报 42.0.008(2019):1755. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。