ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究
文献类型：期刊论文
| 作者 | 陈亚杰1; 王锋1,2 ; 邓辉1; 刘应波1
|
| 刊名 | 天文学报(Acta Astronomica Sinica)
 |
| 出版日期 | 2016-03 |
| 卷号 | 57期号:2页码:241-251 |
| 关键词 | 方法 数值 解析 天文数据库 其他诸多方面 |
| ISSN号 | 0001-5245 |
| 其他题名 | The Application of ElasticSearch in the Massive Astronomical Data Retrieval |
| 产权排序 | 第2完成单位 |
| 中文摘要 | 天文观测数据是天文研究的基础,但传统的集中式数据检索方法已难以满足日益增长的海量天文数据的高性能检索和查询需求.提出了一种基于Elastic Search分布式搜索引擎,通过River机制对现有的海量FITS(Flexible Image Transport System)数据进行索引构建,从而实现海量FITS数据高效检索的方法,并讨论了其中的近实时检索和查询的关键技术.实测结果表明,在百万到千万级的天文数据量下,该方法可获得极高的检索性能,并能够很方便地集成到现有的天文数据归档系统中,完全可以满足当前国内各类望远镜系统天文数据的归档要求. |
| 英文摘要 | Astronomical observational data are the fundamental element for modern astronomical researches. However, with the rapid increase of astronomical data, the traditional centralized retrieval methods are hard to meet the requirements of highperformance data retrieval. In the study, we present a novel method which is based on the Elastic Search distributed retrieval engine and River mechanism to create data indexes, and provide high performance data retrieval for massive FITS（Flexible Image Transport System） data. We discuss the key technologies of the nearly real-time retrieval and query. The experimental results show that the method is capable of obtaining high retrieval performance especially for the cases in which the number of the FITS data exceeds millions or even tens of millions. Meanwhile, the method can be easily integrated into the current astronomical data archiving systems, and completely meet the archive requirements of all kinds of astronomical telescope systems. |
| 学科主题 | 天文学 |
| 分类号 | P112 |
| 收录类别 | CSCD ; 核心 |
| 语种 | 中文 |
| CSCD记录号 | CSCD:5663007 |
| 源URL | [http://ir.ynao.ac.cn/handle/114a53/9813]  |
| 专题 | 云南天文台_其他 |
| 作者单位 | 1.昆明理工大学云南省计算机技术应用重点实验室 2.中国科学院云南天文台 |
| 推荐引用方式 GB/T 7714 | 陈亚杰,王锋,邓辉,等. ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究[J]. 天文学报(Acta Astronomica Sinica),2016,57(2):241-251. |
| APA | 陈亚杰,王锋,邓辉,&刘应波.(2016).ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究.天文学报(Acta Astronomica Sinica),57(2),241-251. |
| MLA | 陈亚杰,et al."ElasticSearch分布式搜索引擎在天文大数据检索中的应用研究".天文学报(Acta Astronomica Sinica) 57.2(2016):241-251. |
入库方式： OAI收割
来源：云南天文台
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。