基于代价估计的Hive多维索引分割策略选择算法
文献类型：期刊论文
| 作者 | 刘越2; 李锦涛2; 虎嵩林1 |
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2016 |
| 卷号 | 53.0期号:004页码:798 |
| 关键词 | Hive MapReduce 多维索引 代价模型 模拟退火 |
| ISSN号 | 1000-1239 |
| 英文摘要 | 在能源互联网、智慧城市等新兴领域,智能终端采集的庞大数据往往需要多维分析,传统企业寻求借助互联网技术（如Hadoop和Hive）应对大数据问题.但是Hive当前的多维索引能力较弱,无法满足传统企业的需求.针对这一问题,提出了一种基于分布式网格文件的多维索引技术——DGFIndex,来提升Hive的多维查询处理能力.但是在创建DGFIndex时,需要用户指定各个索引维度的分割粒度,而分割粒度的大小与查询性能息息相关.在用户对数据与查询特征不熟悉时,很难选择较优的分割策略.为了解决这一问题,通过建立新的MapReduce代价模型,并使用两阶段模拟退火算法为DGFIndex搜索较优的分割策略,从而提升查询性能,减少查询集合的总耗时.实验结果表明：DGFIndex可以提升Hive多维查询性能50%～114%,对于固定的查询集合,与人工选定分割策略比较,基于代价估计的分割策略选择算法可以为DGFIndex快速选定较优的分割策略,并可以使整个查询集合的处理时间比人工方法最多减少30%. |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/37383]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院信息工程研究所 2.中国科学院计算技术研究所 |
| 推荐引用方式 GB/T 7714 | 刘越,李锦涛,虎嵩林. 基于代价估计的Hive多维索引分割策略选择算法[J]. 计算机研究与发展,2016,53.0(004):798. |
| APA | 刘越,李锦涛,&虎嵩林.(2016).基于代价估计的Hive多维索引分割策略选择算法.计算机研究与发展,53.0(004),798. |
| MLA | 刘越,et al."基于代价估计的Hive多维索引分割策略选择算法".计算机研究与发展 53.0.004(2016):798. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。