網格環(huán)境下分布式文件系統(tǒng)的設計與實現.pdf

1、今時今日,網格技術已經不再把自己局限在高性能計算的范疇中,而是通過向網絡服務靠攏,建立起一套面向服務的體系架構。相應于此,網格中的數據模塊也不再是一個提供資源的底層支持模塊,而逐漸向一個功能獨立的,相對自治的分布式文件系統(tǒng)發(fā)展。本文的目的在于構造一種網格環(huán)境下的分布式文件系統(tǒng)。在結構上它相當于中國教育科研網格底層支撐平臺的數據模塊部分,為CGSP其他功能模塊提供持久的數據存儲功能以及穩(wěn)定而高效的數據傳輸服務。另一方面,這個系統(tǒng)也可以獨立

2、運行,網格終端用戶可以通過它建立自己的數據空間。傳統(tǒng)的分布式文件系統(tǒng)往往是緊耦合的、基于文件級別應用副本策略的。這些系統(tǒng)雖然性能出眾、但往往是應對專門系統(tǒng)設計,通用性不強。而過去基于Web的分布式文件系統(tǒng)往往性能低下、存儲能力弱、傳輸效率低。為了滿足網格環(huán)境下海量數據密集型應用的需求以及面向服務的框架,我們設計并實現了一個基于分片的、松耦合的分布式文件系統(tǒng),它包括底層存儲資源集合、存儲資源管理模塊、元數據管理模塊、副本管理模塊、數據傳輸

3、管理模塊、信息監(jiān)控模塊、策略分析模塊以及虛擬文件視圖終端等部件。本文設計并實現的系統(tǒng)具有以下的特點和優(yōu)勢:穩(wěn)定性:通過副本管理模塊調整系統(tǒng)中文件合理的冗余度,對”零副本危機”進行預測并予以避免。策略分析模塊會在存儲資源選擇時挑選健壯性最佳的數據節(jié)點進行存儲;高效性:在傳輸中使用GridFTP帶狀并行傳輸,同時提高服務器端和客戶端的帶寬利用率。策略分析模塊會在構造傳輸計劃時挑選最近、當前可用帶寬最大的節(jié)點進行傳輸;通用性:通過使用網絡服務