分布式文件系統(tǒng)名字空間管理.pdf

1、隨著互聯(lián)網(wǎng)的普及以及移動互聯(lián)網(wǎng)的快速發(fā)展,人類每年產生的數(shù)據(jù)越來越多,據(jù)統(tǒng)計全球數(shù)據(jù)信息每年的增長率到達了每年30％以上?，F(xiàn)在,人類每天產生的數(shù)據(jù)要以PB來計算,數(shù)據(jù)類型從微博、照片、博客、日志等各式各樣。近幾年增長的數(shù)據(jù)要更快,這些新增的數(shù)據(jù)有相當一部分需要被持久化存儲到硬盤上。單機文件系統(tǒng)如ext3、ext4以及網(wǎng)絡文件系統(tǒng)文件系統(tǒng)(NFS),遠遠不能滿足實際存儲需求。這個時候分布式文件系統(tǒng)應運而生,可以存儲幾十到幾百PB的數(shù)據(jù)。分

2、布式文件系統(tǒng)基本上采用的都是典型的三方架構,即由元數(shù)據(jù)服務器(name server),數(shù)據(jù)服務器(data server)和客戶端(client)組成。元數(shù)據(jù)服務器存儲著整個系統(tǒng)的元數(shù)據(jù)信息,是最關鍵和復雜的部分,面臨C10K、C100K問題。如何設計一個高效穩(wěn)定的元數(shù)據(jù)服務器對于一個分布式文件系統(tǒng)來說至關重要。
　　本課題設計并實現(xiàn)了分布式文件系統(tǒng)RaccoonFS的元數(shù)據(jù)服務器,研究并解決了分布式文件系統(tǒng)名字空間的由于鎖競爭

3、帶來響應速度低下的問題,提出了一種新的名字空間管理方法:元數(shù)據(jù)服務器在處理數(shù)以萬計的客戶端連接時,往往出現(xiàn)效率低下甚至完全癱瘓,怎么提升元數(shù)據(jù)服務器在高并發(fā)讀寫下的性能成為了一個非常重要的設計內容。RaccoonFS采用了B+樹的方式來管理名字空間,并且在B+樹上實現(xiàn)了寫時拷貝(Copy on Write)和多版本并發(fā)控制(Multi Version Concurrency Control),從而達到讀寫分離、寫寫并發(fā),極大的提高了讀寫

4、的性能,規(guī)避了對B+樹讀寫操作上鎖帶來的性能開銷。
　　在測試部分,論文選取了三組測試對象:HDFS(Hadoop Distribute File System)名字空間管理方法、實現(xiàn)了COW的B+樹名字空間管理方法、實現(xiàn)了COW和MVCC的B+樹名字空間管理方法。實驗結果表明實現(xiàn)了COW的B+樹管理方法在讀寫的響應速度方面較HDFS名字空間管理方法有了30%以上的提高,實現(xiàn)了COW和MVCC的B+樹名字空間管理方法在寫響應速度方