天文大数据挑战与实时处理技术
文献类型：期刊论文
| 作者 | 杨晨3; 翁祖建3; 孟小峰3; 任玮3; 忻日辉3; 王春凯3; 都志辉2; 万萌1 ; 魏建彦1
|
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2017 |
| 卷号 | 054期号:002页码:248 |
| ISSN号 | 1000-1239 |
| 英文摘要 | 超大型天文观测技术的出现不仅能够让研究人员观测到新的天文现象,更能用于验证已有物理模型的正确性.这些最新天文成果的发现是建立在海量天文数据的近乎实时产生、管理与分析的基础上,因此给目前的数据管理系统带来了新的挑战.以我国自主研发的地基广角相机阵（the ground-based wide-angle camera array,GWAC）天文望远镜为例,15s的采样和处理周期都处于短时标观测领域的世界前列,但却对数据管理系统提出了很多问题,包括多镜头并行输出数据管理、实时瞬变源发现、当前观测夜数据的秒级查询、数据持久化和快速离线查询等.基于上述问题,设计了分布式GWAC数据模拟生成器用于模拟真实GWAC数据产生场景,并基于产生的数据特性,提出一种两级缓存架构,使用本地内存解决多镜头并行输出、实时瞬变源发现,使用分布式共享内存实现秒级查询.为了平衡持久化和查询效率,设计一种星表簇结构将整个星表数据划分后聚集存储.根据天文需求特点,设计基于索引表的查询引擎能从缓存和星表簇以较小的代价对星表数据查询.通过实验验证,当前方案能够满足GWAC的需求. |
| 语种 | 英语 |
| 源URL | [http://ir.bao.ac.cn/handle/114a11/42320]  |
| 专题 | 中国科学院国家天文台 |
| 作者单位 | 1.中国科学院国家天文台 2.清华大学 3.中国人民大学 |
| 推荐引用方式 GB/T 7714 | 杨晨,翁祖建,孟小峰,等. 天文大数据挑战与实时处理技术[J]. 计算机研究与发展,2017,054(002):248. |
| APA | 杨晨.,翁祖建.,孟小峰.,任玮.,忻日辉.,...&魏建彦.(2017).天文大数据挑战与实时处理技术.计算机研究与发展,054(002),248. |
| MLA | 杨晨,et al."天文大数据挑战与实时处理技术".计算机研究与发展 054.002(2017):248. |
入库方式： OAI收割
来源：国家天文台
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。