网络存储系统中的协作式缓存关键技术研究
文献类型：学位论文
| 作者 | 石刘 |
| 答辩日期 | 2013-05-29 |
| 文献子类 | 博士 |
| 授予单位 | 中国科学院大学 |
| 授予地点 | 北京 |
| 导师 | 许鲁 |
| 关键词 | 网络存储系统 协作式缓存 分层模式 扩展性 视频点播 全局缓存管理 协作式数据分片 协作式数据预取 负载再平衡 |
| 学位专业 | 其它专业 |
| 英文摘要 | 网络集中存储系统是数据处理集群存储和共享数据的一种重要方式，它有着高密度，易共享，高可靠，易管理等优点。随着数据存储和处理需求的爆炸性增长，以及计算能力的快速发展，传统网络集中存储系统的性能和可扩展性越来越不能满足需求。以视频为代表的多媒体数据是一种非常重要的数据类型，在三网融合的趋势下，视频点播也成为网络存储系统的一种重要的数据访问模式。客户端缓存是提高网络集中存储系统性能和可扩展性的重要手段。协作式缓存通过客户端之间缓存内容的相互共享，避免了所有客户端缺失数据都从集中存储服务去获取，有效地降低了全局的缺失率，减少了集中存储服务需要处理的负载，增强了网络存储系统的扩展性。然而，现有的协作式缓存在扩展性以及针对视频的全局缓存管理方法等方面都存在一定的问题。本文的主要工作及贡献如下： 基于分层模式的可扩展协作式缓存系统框架：提出了一种基于分层模式的可扩展协作式缓存系统框架BWCC。其优点在于：通过协作式缓存功能抽象和协作层接口定义，达到协作层和缓存层分层设计，以降低系统耦合度和设计复杂性，复用已有的优秀本地缓存软件；采用协作式逻辑分片技术，共享大文件的数据分片，降低全局缓存缺失率，增强系统扩展性。测试结果表明，跟文件级共享相比，全局缓存缺失率下降73.7%，集中存储负载降低77.5%。 针对视频点播服务的全局缓存管理方法：提出了一种基于协作式分片和协作式预取相结合的针对视频点播服务的全局缓存管理方法CPCP。由于不同视频文件的访问次数不一致，该方法通过协作式分片技术把每个文件的访问量由整个集群分摊，从而消除视频点播的热点问题，增强了系统的扩展性；并通过协作式预取技术消除由于协作式数据分片而导致的视频点播的抖动问题。测试表明，使用CPCP技术之后，存储系统支持的并发访问流数理论值可以增加445%，考虑到节点台数为整数，实际增加300%，视频访问的抖动率下降98%。 视频点播集群的负载再平衡机制：提出了一种负载再平衡机制TNF。由于最热的N个视频个数较少，但占到的请求比例较大，该机制通过把最热的N个文件复制为全副本的方式，进一步平衡基于CPCP方法的视频点播集群的负载，降低点播集群的请求拒绝率。测试结果表明，在复制数量N从10~50变化时，请求拒绝率平均降低60%。 协作式缓存原型系统：实现了协作式缓存原型系统LSCC。该原型系统采用FS-Cache管理本地磁盘缓存，模块化设计，对应用透明。除了实现BWCC系统框架外，还集成了CPCP方法。测试表明，LSCC通过了正确性和有效性的验证，系统开销约为2.5%。 |
| 学科主题 | 计算机系统结构 |
| 语种 | 中文 |
| 公开日期 | 2013-06-26 |
| 源URL | [http://ictir.ict.ac.cn/handle/311040/1668]  |
| 专题 | 中国科学院计算技术研究所学位论文_2013博士 |
| 推荐引用方式 GB/T 7714 | 石刘. 网络存储系统中的协作式缓存关键技术研究[D]. 北京. 中国科学院大学. 2013. |
入库方式： OAI收割
来源：计算技术研究所
浏览0
下载0
收藏0
其他版本
除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。