基于Hadoop云平台的并行数据挖掘方法
文献类型:期刊论文
作者 | 杨来; 史忠植; 梁帆; 齐保元 |
刊名 | 系统仿真学报
![]() |
出版日期 | 2013 |
卷号 | 25期号:5页码:936 |
关键词 | 并行数据挖掘 决策树算法 KD树算法 云计算 |
ISSN号 | 1004-731X |
英文摘要 | 业界已经开始运用云平台来处理海量高维数据,将各种异构系统仿真为一个系统,其中在Hadoop环境进行数据挖掘会遇到数据模型的全局性、HDFS的文件随机写操作、数据生命周期短等问题。为解决这些问题,在Hadoop上实现高效海量数据挖掘,提出了在Hadoop上一种高效数据挖掘框架,利用数据库来模拟链表结构,管理挖掘出来的知识,提供了树形结构、图模型的分布式计算方法;在此基础上实现一个统计算法--Yscore分箱算法,以及决策树和KD树0的建树算法;并利用Vega云对Hadoop集群进行仿真。实验数据表明该框架和算法实用可行,且可能拓展与数据挖掘之外的其他领域。 |
语种 | 英语 |
源URL | [http://119.78.100.204/handle/2XEOYT63/37393] ![]() |
专题 | 中国科学院计算技术研究所期刊论文_中文 |
作者单位 | 中国科学院计算技术研究所 |
推荐引用方式 GB/T 7714 | 杨来,史忠植,梁帆,等. 基于Hadoop云平台的并行数据挖掘方法[J]. 系统仿真学报,2013,25(5):936. |
APA | 杨来,史忠植,梁帆,&齐保元.(2013).基于Hadoop云平台的并行数据挖掘方法.系统仿真学报,25(5),936. |
MLA | 杨来,et al."基于Hadoop云平台的并行数据挖掘方法".系统仿真学报 25.5(2013):936. |
入库方式: OAI收割
来源:计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。