基于Spark平台的XP-EHH算法的分布式处理实现方法
文献类型：专利
| 作者 | 周维; 谢海兵; 刘长春; 罗静; 张亚平 |
| 发表日期 | 2016-11-07 |
| 专利国别 | 中国 |
| 专利号 | CN106503225A |
| 专利类型 | 发明 |
| 权利人 | 云南大学 |
| 中文摘要 | 本发明公开了一种基于Spark平台的XP‑EHH算法的分布式处理实现方法，首先采集染色体数据，存储至HDFS文件系统，然后对染色体数据进行预处理，将预处理后的染色体数据缓存至Spark平台的RDD缓存中，将需要使用的数据广播到参与XP‑EHH算法分布式处理的Spark工作节点中；将ped文件RDD拆分成不同的片段，发放给各个Spark工作节点，各个Spark工作节点并行化地执行XP‑EHH计算的各个步骤，从而实现分布式处理。采用本发明可以因为XP‑EHH算法的并行化执行，使得在大数据环境下基于Spark平台的XP‑EHH算法能够保持良好的扩展性，进而能够克服现有实现方式无法支持大数据的问题。 |
| 公开日期 | 2017-03-15 |
| 申请日期 | 2016-11-07 |
| 语种 | 中文 |
| 专利申请号 | 201610972593.7 |
| 源URL | [http://159.226.149.26:8080/handle/152453/11631]  |
| 专题 | 昆明动物研究所_分子进化基因组学 |
| 作者单位 | 1.云南大学 2.中国科学院昆明动物研究所 |
| 推荐引用方式 GB/T 7714 | 周维,谢海兵,刘长春,等. 基于Spark平台的XP-EHH算法的分布式处理实现方法. CN106503225A. 2016-11-07. |
入库方式： OAI收割
来源：昆明动物研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。