博士论文-多应用跨平台数据密集型作业管理系统
文献类型：学位论文
| 作者 | 石京燕
|
| 学位类别 | 博士 |
| 答辩日期 | 2009 |
| 授予单位 | 中国科学院研究生院 |
| 授予地点 | 北京 |
| 导师 | 孙功星 |
| 关键词 | 数据密集型计算 中间层 作业拆分 |
| 学位专业 | 计算机应用技术 |
| 中文摘要 | 数据密集型计算是科学计算重要分支，用于分析处理现代大型科学实验和研究中的海量数据，涉及包括高能物理、生物科学、医学、气象等很多研究的领域。数据密集型计算与传统的超级计算不同，主要针对高吞吐量海量数据分析处理。海量数据的分析处理常常可以分割成独立的小作业，适合在松耦合的计算机群上运行。; 当前大部分高性能计算环境都支持数据密集型计算，但各网格及集群系统之间缺乏资源的有效整合，资源管理软件无法跨平台地提交作业。随着数据密集型计算任务分析处理的数据量越来越大，用户经常提交成千上万的作业。如何高效地提交作业，有效地对大规模作业进行监视与管理，是计算用户迫切需要解决的问题。本文研究开发了针对数据密集型计算的多应用跨平台作业管理系统。在计算应用与计算资源之间搭建一个中间层，帮助应用屏蔽计算环境各种因素对其的影响。系统可以整合多个计算资源所支持的不同数据密集型应用，为用户建立一个界面风格统一，操作方法一致的用户接口，帮助用户完成大作业拆分，实现作业统一管理与记账。; 系统采用分层方法，模块化设计，利用web service松耦合地连接的各个部分，把对计算环境的支持与计算应用的支持分开处理，具有良好的可扩展性。该系统解决了作业在本地的高性能计算环境和以网格为基础的不同中间件平台上统一提交和管理的问题。通过此系统，不同的数据密集型计算用户可以进行大规模作业提交，实现跨平台的作业监视与管理。文中选取高能物理BESIII实验作为系统的一个应用，详细阐述了对数据密集型计算作业的拆分方法和作业管理功能的实现过程。; 目前，本系统作为BESIII离线作业管理系统已经部分提供使用，产生了大批模拟数据、处理和分析了大量真实物理数据，取得了较好的效果。 |
| 学科主题 | 计算机应用技术 |
| 语种 | 中文 |
| 公开日期 | 2016-02-25 |
| 源URL | [http://ir.ihep.ac.cn/handle/311005/209993]  |
| 专题 | 计算中心_学位论文和出站报告 |
| 作者单位 | 中国科学院高能物理研究所 |
| 推荐引用方式 GB/T 7714 | 石京燕. 博士论文-多应用跨平台数据密集型作业管理系统[D]. 北京. 中国科学院研究生院. 2009. |
入库方式： OAI收割
来源：高能物理研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。