博士论文-广域网数据访问技术研究
文献类型:学位论文
作者 | 刘爱贵 |
学位类别 | 博士 |
答辩日期 | 2008 |
授予单位 | 中国科学院研究生院 |
授予地点 | 北京 |
导师 | 陈刚 |
关键词 | 广域网存储 数据互操作 数据访问模式 事件驱动 数据语义 |
学位专业 | 核技术及应用 |
中文摘要 | 新一代高能物理实验的规模和复杂性不断增加,对计算环境提出了更高的需求,计算特点主要表现为高性能计算、海量存储和高速网络。高能物理是数据密集型计算,计算是围绕着以海量的实验数据为中心进行的。面对物理上广域分布的异构并且复杂的计算设施,如何高效、快速、方便地获得自己想要的数据,成为了高能物理学家用户最关心的问题。本文针对高能物理应用的特点,以实际部署应用的海量存储系统和网格计算平台为基础,对广域网数据访问技术进行了深入研究,解决实际中面临的应用问题。本文的工作和主要贡献包括:; (1)提出了基于WEB服务的广域网文件I/O,实现异构存储系统间的数据互操作。对WSIO性能进行了优化,提供了GSI安全支持和本地文件系统接口。提出了通用文件访问接口GFAI,解决WSIO对不同存储系统的扩展和支持。; (2)提出了GridFTP数据存储接口框架,快速实现对不同存储系统的支持,提供一种基于GridFTP的存储系统互操作途径。; (3)提出了基于信息熵的会话识别模型,可识别更自然的会话边界。实验数据显示,这种算法不仅比时间阈值、最大向前引用等会话识别模型的识别精确度高,且具有良好的通用性,从而提高训练数据的质量。; (4)提出了ULNS文件预测模型和GFPM文件预测模型,挖掘用户的使用模式和数据的内在关联,据此进行文件访问预测和预取,对Cache进行管理。实验表明,这两种模型可以有效提高Cache命中率,减少数据访问延迟。; (5)提出了主动数据服务,有效解决了存储系统中数据事件处理的效率问题。这种模式可以应用于高能物理实验数据的分发,实现物理实验数据及时、快速地在地理上分布的各个合作机构之间共享。; (6)提出了基于语义的数据访问方式,利用本体来描述数据语义,根据语义描述来查询和访问数据。与传统的数据访问方式相比,该方式符合人们的思维模式,大大提高了数据查询效率。 |
学科主题 | 核技术及应用 |
语种 | 中文 |
公开日期 | 2016-02-25 |
源URL | [http://ir.ihep.ac.cn/handle/311005/209323] ![]() |
专题 | 计算中心_学位论文和出站报告 |
作者单位 | 中国科学院高能物理研究所 |
推荐引用方式 GB/T 7714 | 刘爱贵. 博士论文-广域网数据访问技术研究[D]. 北京. 中国科学院研究生院. 2008. |
入库方式: OAI收割
来源:高能物理研究所
浏览0
下载0
收藏0
其他版本
除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。