基于Hadoop的分布式文件系統(tǒng)技術分析及應用.pdf

1、隨著互聯(lián)網(wǎng)（主要為移動互聯(lián)網(wǎng)）和新興物聯(lián)網(wǎng)的高速發(fā)展，我們生活在一個數(shù)據(jù)大爆炸時代。根據(jù)IDC估計，2011年，全球產(chǎn)生和創(chuàng)建的數(shù)據(jù)總量為1.8ZB，且全球的信息總量每過兩年就會增長一倍。產(chǎn)生這么多的數(shù)據(jù)，自然而然就會給我們在數(shù)據(jù)存儲和管理上帶來巨大的挑戰(zhàn)。IDC的研究報告還指出，全球數(shù)據(jù)存儲容量的增長速度已遠遠跟不上的數(shù)據(jù)的增長速度了。
　　 這么多的數(shù)據(jù)存儲在一個設備上在當今的存儲技術下是很難辦到的，并且存儲在一個設備上，會

2、對以后數(shù)據(jù)的分析帶來很大的困難。把數(shù)據(jù)存儲在多個設備上，是我們現(xiàn)今存儲海量數(shù)據(jù)的首選。既然存儲在多個存儲設備上，那么就需要我們有相應的分布式文件系統(tǒng)來管理這些存儲設備，使它們能夠協(xié)同工作，并可以向用戶提供更好的數(shù)據(jù)訪問性能。
　　 Hadoop分布式文件系統(tǒng)(HDFS)，一個類似Google的分布式文件系統(tǒng)(GFS)的出現(xiàn)是可以解決海量數(shù)據(jù)存儲需求的一個很好應用。首先它是一個開源免費的應用并且在很多節(jié)點上已經(jīng)部署，具有不凡的表現(xiàn)

3、。其次，HDFS擁有高容錯性、高可靠性、高擴展性和高吞吐率等特征，這些特征都為海量數(shù)據(jù)提供了安全存儲的環(huán)境和對超大數(shù)據(jù)集(Large Data Set)的應用處理帶來了很大便利。它還可以與MapReduce編程模型很好的結合，并且能夠為應用程序提供高吞吐量的數(shù)據(jù)訪問。
　　 在本論文中，首先以時間為軸，介紹了每個時代典型的分布式文件系統(tǒng)及其特點，然后對HDFS的體系架構和運行原理進行了詳細分析。通過對HDFS高可用性的研究，結合

4、了BackupNode和AvatarNode這兩種方案的優(yōu)點設計出了一個高可用的分布式文件系統(tǒng)，我們稱之為HADFS。該文件系統(tǒng)不僅實現(xiàn)了NameNode的熱備節(jié)點，還可以在當NameNode節(jié)點發(fā)生故障時，能夠自動切換到備用節(jié)點，而用戶卻察覺不到節(jié)點的切換。最后，我們以HDFS為基礎存儲層設計出了一個可以實現(xiàn)文件上傳、下載、新建文件夾和刪除文件等功能的云盤系統(tǒng)。該系統(tǒng)采用了SSH框架設計，并在與HDFS傳輸數(shù)據(jù)的時候采用了webdav