基于流式计算的空间科学卫星数据实时处理
文献类型：期刊论文
| 作者 | 孙小涓; 石涛; 胡玉新; 佟继周; 李冰; 宋峣 |
| 刊名 | 计算机应用
 |
| 出版日期 | 2019 |
| 卷号 | 39期号:6页码:1563-1568 |
| ISSN号 | 1001-9081 |
| 关键词 | 流式计算 数据流 空间科学卫星 数据处理 |
| 其他题名 | Real-time processing of space science satellite data based on stream computing |
| 英文摘要 | 针对空间科学卫星探测数据的实时处理要求越来越高的问题,提出一种基于流计算框架的空间科学卫星数据实时处理方法。首先,根据空间科学卫星数据处理特点对数据流进行抽象分析;然后,对各处理单元的输入输出数据结构进行重新定义;最后,基于流计算框架Storm设计数据流处理并行结构,以适应大规模数据并行处理和分布式计算的要求。对应用该方法开发的空间科学卫星数据处理系统进行测试分析,测试结果显示,在相同条件下数据处理时间比原有系统缩短了一半;数据局部性策略比轮询策略具有更高的吞吐率,数据元组吞吐率平均提高29%。可见采用流式计算框架能够大幅缩短数据处理延迟,提高空间科学卫星数据处理系统的实时性。 |
| 语种 | 中文 |
| CSCD记录号 | CSCD:6514379 |
| 源URL | [http://ir.nssc.ac.cn/handle/122/7229]  |
| 专题 | 国家空间科学中心_空间技术部 |
| 推荐引用方式 GB/T 7714 | 孙小涓,石涛,胡玉新,等. 基于流式计算的空间科学卫星数据实时处理[J]. 计算机应用,2019,39(6):1563-1568. |
| APA | 孙小涓,石涛,胡玉新,佟继周,李冰,&宋峣.(2019).基于流式计算的空间科学卫星数据实时处理.计算机应用,39(6),1563-1568. |
| MLA | 孙小涓,et al."基于流式计算的空间科学卫星数据实时处理".计算机应用 39.6(2019):1563-1568. |
入库方式： OAI收割
来源：国家空间科学中心
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。