基于集群系统的空间数据并行处理策略研究
文献类型：期刊论文
| 作者 | 刘旭辉; 韩冀中; 贺劲; 韩承德 |
| 刊名 | 高技术通讯
 |
| 出版日期 | 2009 |
| 卷号 | 19.0期号:010页码:991 |
| 关键词 | 网络地理信息系统（WebGIS） 集群 分布式文件系统（DFS） MapReduce 小文 件优化 |
| ISSN号 | 1002-0470 |
| 英文摘要 | 为了解决单节点的WebGIS系统存储能力和计算能力受限的问题，提出了一种利用分布式文件系统（DFS）和MapReduce分布式计算框架在集群环境中并行处理空间数据的方法。还特别针对分布式文件系统，结合WebGIS的应用模式，提出了小文件优化策略。该策略的核心思想是通过将小文件合并为大文件来有效降低文件的数目。试验结果表明，在使用了小文件优化策略后，分布式文件系统中的节点平均内存占用率从55．78％降至18．36％，文件的存储和读取性能分别提高了63．3倍和2．0倍。其次，基于经过优化后的分布式文件系统和MapReduce计算框架，设计并且实现了HDWebGIS原型系统，试验结果表明，使用了小文件优化策略后，HDWebGIS系统性能比优化前提升了78．11％。 |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/35367]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 刘旭辉,韩冀中,贺劲,等. 基于集群系统的空间数据并行处理策略研究[J]. 高技术通讯,2009,19.0(010):991. |
| APA | 刘旭辉,韩冀中,贺劲,&韩承德.(2009).基于集群系统的空间数据并行处理策略研究.高技术通讯,19.0(010),991. |
| MLA | 刘旭辉,et al."基于集群系统的空间数据并行处理策略研究".高技术通讯 19.0.010(2009):991. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。