硕士论文-大型分布式Peta级别数据传输监测以及错误分析
文献类型：学位论文
| 作者 | 柳丝 |
| 学位类别 | 硕士 |
| 答辩日期 | 2013 |
| 授予单位 | 中国科学院大学 |
| 授予地点 | 北京 |
| 导师 | 孙功星 |
| 关键词 | CMS 数据传输 传输错误 网络监测 PerfSONAR |
| 学位专业 | 计算机技术 |
| 中文摘要 | 位于瑞士日内瓦LHC(Large Hadron Collider）的CMS（Compact Muon Solenoid）实验主要记录质子碰撞产生的数据。这些数据的处理和分析很大程度上要依赖分布式计算站点点之间PetaByte级别数据的高效传输。随着CMS探测器产生的数据量的增加，CMS的各个站点之间数据的传输量也在增加。因此，CMS需要越来越多的人力和时间来确保数据传输的成功。然而，传输过程中出现问题是不可避免的。存储问题或者网络问题都有可能影响传输的质量，甚至导致传输失败。目前，CMS需要使用大量的人力资源来实时的监控所有的数据传输。因此，实现自动化的传输监测及错误发现，以便改善数据传输质量很有意义。本篇论文首先通过参与日常的数据传输工作来研究传输的具体内容和流程。在对传输流程，以及传输错误，理解的基础上，通过使用CMS数据传输管理系统PhEDEx提供的 DATA service API，开发了自动预警传输错误的小工具，初步实现了传输错误的自动监测。项目第二部分主要是进行传输优化。针对传输中的网络问题，向CMS引进了一种面向服务的网络监测工具，PerfSONAR（Performance focused Service Oriented Network monitoring ARchitecture）。本项目中，部署PerfSONAR到CMS的所有站点，并且在各个站点之间建立网络测试，测试结果表明，作为监测传输过程中网络错误的一个专属工具，PerfSONAR可以及时的发现传输中的网络问题，有助于CMS海量数据传输问题的解决。此外，该项目还参与设计和开发了监测PerfSONAR测试结果的自动预警系统（Dashboard），主要负责该系统GUI模块的开发，该模块目前已经实现了要求的基本功能，并且与其它模块功能测试成功。 |
| 学科主题 | 计算机技术 |
| 语种 | 中文 |
| 公开日期 | 2016-02-25 |
| 源URL | [http://ir.ihep.ac.cn/handle/311005/209991]  |
| 专题 | 计算中心_学位论文和出站报告 |
| 作者单位 | 中国科学院高能物理研究所 |
| 推荐引用方式 GB/T 7714 | 柳丝. 硕士论文-大型分布式Peta级别数据传输监测以及错误分析[D]. 北京. 中国科学院大学. 2013. |
入库方式： OAI收割
来源：高能物理研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。