迅雷離線下載分布式文件系統(tǒng)的設計與實現(xiàn).pdf

1、隨著計算機網(wǎng)絡在社會生活中的廣泛使用，分布式應用逐漸成為主流。傳統(tǒng)的集中式服務器系統(tǒng)因其固有的，諸如單一故障點、可擴展性差等缺點，越來越制約著網(wǎng)絡業(yè)務向多元化方向發(fā)展，為了滿足眾多應用服務對高性能、高可伸縮性，高可靠性以及高可用性的分布式服務器系統(tǒng)的需求，人們也慢慢地轉向分布式服務器系統(tǒng)。
　　本文基于Linux內核開發(fā)了分布式并行文件系統(tǒng)，即迅雷離線下載分布式文件系統(tǒng)(Xunlei Offline-Download Distri

2、buted File System,簡稱XLFS)。該文件系統(tǒng)運行在普通的Linux機器上，集容錯性、安全性、可擴展性于一身，能夠同時為大量的客戶機提供高性能的服務。
　　本文首先設計了分布式文件系統(tǒng)的整體架構，并針對迅雷離線下載項目的具體需求，采用了不同于以往文件系統(tǒng)的設計方案。首先，單一主服務器和多個塊服務器的方案，既簡化了文件系統(tǒng)的設計，又滿足了文件系統(tǒng)的可擴展性。其次，針對離線下載數(shù)據(jù)追加多修改少的特點，文件系統(tǒng)特別提供了

3、原子性的追加操作。再次，服務器間采用租約的形式交互，在數(shù)據(jù)塊級別上保證數(shù)據(jù)的一致性，而不保證數(shù)據(jù)在字節(jié)級別上的一致性。最后，不同于以往大多數(shù)文件系統(tǒng)，該系統(tǒng)采用校驗和的方式，在工程上提供數(shù)據(jù)的容錯性。
　　本文的研究成果主要有以下幾個方面：首先，掌握了分布式文件系統(tǒng)的相關技術，模擬實現(xiàn)了原子性追加、垃圾回收、租約等機制。其次，設計并實現(xiàn)了一個完整的分布式文件系統(tǒng)，包括主服務器、塊服務器和客戶端接口。最后，針對應用程序調用的問題，模