面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法
文献类型:期刊论文
作者 | 严林; 邢晶; 霍志刚; 马捷![]() |
刊名 | 计算机工程与科学
![]() |
出版日期 | 2013 |
卷号 | 35.0期号:005页码:20 |
关键词 | 机群文件系统 海量存储 Erasure-Code 数据放置 编码缓存 一致性 |
ISSN号 | 1007-130X |
英文摘要 | 随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向Erasure Code过渡。Erasure Code存储能够以更低的存储开销提供更高的可靠性。然而,由于Erasure Code存储需要通过编码生成编码数据,在存储原始数据和编码数据过程中更容易产生磁盘争用和不均衡负载,从而影响整个存储系统的I/O性能;同时,Erasure Code存储写回编码数据时,数据一致性和数据缓存之间存在冲突,传统处理数据的无缓存方式和全缓存方式在机群文件系统中都存在很大的局限性。针对这两个问题,提出了一种包括均衡负载的数据放置策略和编码缓存的一致性维护策略的Erasure Code机群文件系统I/O优化方法。通过在开发的Erasure Code分布式文件系统ECFS的实验测试表明,使用这种优化方法后机群文件系统的聚合带宽能够提高95.53%。 |
语种 | 英语 |
源URL | [http://119.78.100.204/handle/2XEOYT63/36265] ![]() |
专题 | 中国科学院计算技术研究所期刊论文_中文 |
作者单位 | 中国科学院计算技术研究所 |
推荐引用方式 GB/T 7714 | 严林,邢晶,霍志刚,等. 面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法[J]. 计算机工程与科学,2013,35.0(005):20. |
APA | 严林,邢晶,霍志刚,&马捷.(2013).面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法.计算机工程与科学,35.0(005),20. |
MLA | 严林,et al."面向海量数据存储的Erasure-Code分布式文件系统I/O优化方法".计算机工程与科学 35.0.005(2013):20. |
入库方式: OAI收割
来源:计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。