单机下Hadoop小文件处理性能分析
文献类型：期刊论文
| 刊名 | 计算机工程与应用
 |
| 出版日期 | 2013 |
| 卷号 | 049 |
| 关键词 | Hadoop Hadoop的分布式文件系统（HDFS） MapReduce 小文件处理 文件输入格式 |
| ISSN号 | 1002-8331 |
| 其他题名 | Performance analysis of Hadoop for handling small files in single node |
| 英文摘要 | Hadoop主要是针对大量数据进行分布式处理的软件框架,即适合于处理大文件,但它们是否也适合处理小文件值得商榷。以词频统计为例,通过在单机环境下一些典型文件测试集的实验,对比了不同文件输入格式对Hadoop处理小文件性能的差异。从Hadoop的工作流程和原理上解释了出现此性能差异的原因。通过分析得出多个小文件整合为一个数据片split有助于改善Hadoop处理小文件性能。 |
| 语种 | 中文 |
| CSCD记录号 | CSCD:4754273 |
| 源URL | [http://ir.hfcas.ac.cn:8080/handle/334002/67211]  |
| 专题 | 中国科学院合肥物质科学研究院 |
| 推荐引用方式 GB/T 7714 | . 单机下Hadoop小文件处理性能分析[J]. 计算机工程与应用,2013,049. |
| APA | (2013).单机下Hadoop小文件处理性能分析.计算机工程与应用,049. |
| MLA | "单机下Hadoop小文件处理性能分析".计算机工程与应用 049(2013). |
入库方式： OAI收割
来源：合肥物质科学研究院
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。