一种面向HDFS的数据随机访问方法
文献类型：期刊论文
| 作者 | 李强 ; 孙震宇; 孙功星
|
| 刊名 | Computer Engineering and Application计算机工程与应用
 |
| 出版日期 | 2017 |
| 卷号 | 53期号:10页码:1-7 |
| 关键词 | Hadoop分布式文件系统 随机访问 权限管理 |
| ISSN号 | 1002-8331 |
| 其他题名 | Data random access method oriented to HDFS |
| 文献子类 | Article |
| 英文摘要 | 为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法。其设计思想是为Datanode添加本地数据访问接口,用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录。文件的首副本由用户程序直接产生,其余副本在首副本写入完成之后采用数据复制的方式生成。此外,为数据块添加了权限管理功能,Datanode上的文件副本属于用户所有。若名字空间中文件权限发生变化,文件对应的数据块权限也会改变。测试表明,数据读取性能提升了约10%,数据写入性能提升了20%以上,在高并发下写入性能最大可提升2.5倍。 |
| WOS研究方向 | Computer Science (provided by Clarivate Analytics) |
| 语种 | 中文 |
| CSCD记录号 | CSCD:5982238 |
| 源URL | [http://ir.ihep.ac.cn/handle/311005/285029]  |
| 专题 | 高能物理研究所_计算中心 |
| 作者单位 | 中国科学院高能物理研究所 |
| 推荐引用方式 GB/T 7714 | 李强,孙震宇,孙功星. 一种面向HDFS的数据随机访问方法[J]. Computer Engineering and Application计算机工程与应用,2017,53(10):1-7. |
| APA | 李强,孙震宇,&孙功星.(2017).一种面向HDFS的数据随机访问方法.Computer Engineering and Application计算机工程与应用,53(10),1-7. |
| MLA | 李强,et al."一种面向HDFS的数据随机访问方法".Computer Engineering and Application计算机工程与应用 53.10(2017):1-7. |
入库方式： OAI收割
来源：高能物理研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。