基于Hadoop的高效连接查询处理算法CHMJ
文献类型:期刊论文
作者 | 赵彦荣1; 王伟平1; 孟丹1; 张书彬2; 李均2 |
刊名 | 软件学报
![]() |
出版日期 | 2012 |
卷号 | 23.0期号:008页码:2032 |
关键词 | 大数据 Hadoop 连接查询处理 HashMapJoin |
ISSN号 | 1000-9825 |
英文摘要 | 提出了一种并行连接查询处理算法CoLocationHashMapJoin(CHMJ).首先,设计了多副本一致性哈希算法,将具有连接关系的表根据其连接属性的哈希值在机群中进行分布,在提升了连接查询处理中数据本地性的同时,保证了数据的可用性;其次,基于多副本一致性哈希数据分布,提出了HashMapJoin并行连接查询处理算法,有效地提高了连接查询的处理效率.CHMJ算法在腾讯公司的教据仓库系统中进行了应用,结果表明,CHMJ连接查询的处理效率比Hive系统提高了近5倍. |
语种 | 英语 |
源URL | [http://119.78.100.204/handle/2XEOYT63/36463] ![]() |
专题 | 中国科学院计算技术研究所期刊论文_中文 |
作者单位 | 1.中国科学院计算技术研究所 2.腾讯公司数据平台部 |
推荐引用方式 GB/T 7714 | 赵彦荣,王伟平,孟丹,等. 基于Hadoop的高效连接查询处理算法CHMJ[J]. 软件学报,2012,23.0(008):2032. |
APA | 赵彦荣,王伟平,孟丹,张书彬,&李均.(2012).基于Hadoop的高效连接查询处理算法CHMJ.软件学报,23.0(008),2032. |
MLA | 赵彦荣,et al."基于Hadoop的高效连接查询处理算法CHMJ".软件学报 23.0.008(2012):2032. |
入库方式: OAI收割
来源:计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。