易变数据流的系统资源配置方法
文献类型：期刊论文
| 作者 | 王春凯; 庄福振; 史忠植 |
| 刊名 | 智能系统学报
 |
| 出版日期 | 2019 |
| 卷号 | 14.0期号:006页码:1278 |
| 关键词 | 大规模数据流管理系统 易变数据流 增量学习 模型预测 参数配置 微批处理 系统性能 异常检测 |
| ISSN号 | 1673-4785 |
| 英文摘要 | 大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。 |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/32784]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.中国再保险(集团股份有限公司博士后科研工作站 |
| 推荐引用方式 GB/T 7714 | 王春凯,庄福振,史忠植. 易变数据流的系统资源配置方法[J]. 智能系统学报,2019,14.0(006):1278. |
| APA | 王春凯,庄福振,&史忠植.(2019).易变数据流的系统资源配置方法.智能系统学报,14.0(006),1278. |
| MLA | 王春凯,et al."易变数据流的系统资源配置方法".智能系统学报 14.0.006(2019):1278. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。