遥感数据并行处理系统中并行文件系统的研究与实验
文献类型：学位论文
| 作者 | 朱耀飞 |
| 学位类别 | 硕士 |
| 答辩日期 | 2002 |
| 授予单位 | 中国科学院中国遥感卫星地面站 |
| 授予地点 | 中国科学院中国遥感卫星地面站 |
| 导师 | 刘定生 |
| 关键词 | 并行I／O 机群 并行文件系统 元数据 遥感大数据 量并行处理 |
| 中文摘要 | 针对遥感图像并行处理系统研究中进一步提高并行处理能力与速度的需求，本文在研究了目前并行文件系统发展状况的基础上，围绕基于机群的并行1/0和分布式存储两个方面展开研究，尝试在Linux现有文件系统上，建立一个针对遥感图像数据存取特征及需求的并行文件系统Pipfsl实现对大数据量遥感图像数据的分布式存储、访问和管理，以期进一步完善基于微机的大型遥感图像并行处理系统的处理能力。在本文研究工作中，结合通常文件系统中元数据概念和遥感图像所具有的元数据概念，提出并定义了一套面向分布式存储的遥感图像数据的元数据格式；建立了相应的元数据管理与服务方式，形成元数据集中管理、图像数据分布式存储的文件系统结构。同时，结合遥感图像数据处理中数据存取的特征，采用节点间和节点内部两级数据分布存储方式，建立了针对图像存取需求的多种数据访问模式，既克服了操作系统最大文件尺寸的限制，又具有快速存取图像数据的能力。结合上述技术研究，在Pipfs中提供了一系列与Linux系统调用完全兼容的文件系统接口函数，设计了相关的数据访问操作功能，提高了处理算法的运行速度与应用软件的开发效率。实验表明，Pipfs具有完备的文件系统功能，可以很好地支持遥感图像数据的分布存储和并行处理，适合于分布式计算模式（机群并 行处理）和遥感海量数据处理。测试发现，Pipfs的读写数据速度可达到10.14 MByte/s和9.37MByte/s，与通用并行文件系统PVFS相比，Pipfs的读、写性能约分别提高了20%和100%。进一步在遥感图像并行处理系统的实验中，基于Pipfs的典型遥感图像处理算法与基于传统Linux文件系统的相同算法相比，处理速度大约提高了46％，有效地提高了遥感图像并行处理算法运行效率。 |
| 语种 | 中文 |
| 公开日期 | 2014-12-08 |
| 页码 | 105 |
| 源URL | [http://ir.ceode.ac.cn/handle/183411/31920]  |
| 专题 | 遥感与数字地球研究所_学位论文_学位论文 |
| 推荐引用方式 GB/T 7714 | 朱耀飞. 遥感数据并行处理系统中并行文件系统的研究与实验[D]. 中国科学院中国遥感卫星地面站. 中国科学院中国遥感卫星地面站. 2002. |
入库方式： OAI收割
来源：遥感与数字地球研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。