大规模数据密集型系统中的去重查询优化
文献类型：期刊论文
| 作者 | 宋怀明1; 安明远1; 王洋1; 袁春阳2; 孙凝晖1
|
| 刊名 | 计算机研究与发展
 |
| 出版日期 | 2010 |
| 卷号 | 000期号:004页码:581 |
| 关键词 | 去重查询 数据划分 大规模数据密集型系统 异步查询 并行查询引擎 |
| ISSN号 | 1000-1239 |
| 英文摘要 | 针对shared—nothing结构下大规模数据密集型系统去重查询的挑战，提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化：即自适应的散列和直方图相结合的数据分布策略，以及异步式并行查询中间件．前者在数据写入时保证数据均衡，并在数据量发生倾斜时自动调整数据的分布；后者充分发掘了去重查询处理中的粗粒度流水级并行，并消除了多节点同步等待的开销，尽早地返回结果．在生产系统DBroker上的测试表明，数据分布策略极大地改善相关属性的去重查询性能，而异步式并行查询引擎能够充分发掘并行性，对不相关属性的去重查询具有显著的性能提升． |
| 语种 | 英语 |
| 源URL | [http://119.78.100.204/handle/2XEOYT63/36685]  |
| 专题 | 中国科学院计算技术研究所期刊论文_中文 |
| 作者单位 | 1.中国科学院计算技术研究所 2.国家计算机网络应急技术处理协调中心 |
| 推荐引用方式 GB/T 7714 | 宋怀明,安明远,王洋,等. 大规模数据密集型系统中的去重查询优化[J]. 计算机研究与发展,2010,000(004):581. |
| APA | 宋怀明,安明远,王洋,袁春阳,&孙凝晖.(2010).大规模数据密集型系统中的去重查询优化.计算机研究与发展,000(004),581. |
| MLA | 宋怀明,et al."大规模数据密集型系统中的去重查询优化".计算机研究与发展 000.004(2010):581. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。