基于HDFS的云存儲系統(tǒng)研究——分布式架構(gòu)REPERA設(shè)計與實現(xiàn).pdf

1、云計算基于網(wǎng)絡(luò)，是網(wǎng)格計算、并行計算和分布式計算的進一步發(fā)展。它采用了網(wǎng)絡(luò)存儲、虛擬化和負載均衡等技術(shù)，將用戶任務(wù)合理轉(zhuǎn)移到位于網(wǎng)絡(luò)的大型計算中心來完成，實現(xiàn)了計算機軟硬件資源的充分整合和共享。云存儲是在云計算的概念上延伸和發(fā)展出來的。它通過將網(wǎng)絡(luò)中各種不同類型的存儲設(shè)備集合起來協(xié)同工作，對外提供數(shù)據(jù)存儲和訪問服務(wù)。在眾多的開源云計算平臺中，由自由軟件基金會Apache基于Google云計算的設(shè)計理念實現(xiàn)的Hadoop Project引

2、起了廣泛關(guān)注。其中的Hadoop分布式文件系統(tǒng)（HDFS，Hadoop Distributed File System）研究云存儲相關(guān)技術(shù)，實現(xiàn)了海量數(shù)據(jù)的存儲管理。HDFS具有擴展性強、可靠性高、成本低等優(yōu)勢，有利于大型和小型的學(xué)術(shù)團體進行實驗環(huán)境的搭建。完善的文件管理方法和類似于流式的數(shù)據(jù)讀取機制，使HDFS成為云存儲研究的熱點之一。
　　云存儲必須關(guān)注的是如何高效地保證存儲數(shù)據(jù)的有效性、完整性、可用性以及存儲的持久性。目前，

3、文件存儲所采用的技術(shù)主要有兩種：數(shù)據(jù)的完全備份和糾刪碼方法，這兩種方法各有優(yōu)劣。數(shù)據(jù)的完全備份可以降低用戶的訪問延遲，但卻需要構(gòu)建地理位置不同的數(shù)據(jù)中心，同時消耗更多的存儲空間和傳輸帶寬；糾刪碼方法可以增強數(shù)據(jù)的持久化存儲能力，占用空間相對較少，但會因解碼操作消耗更多的系統(tǒng)資源，延長用戶的訪問延遲。如何集二者之長優(yōu)勢互補？在占用存儲空間較少的同時不增加用戶的訪問延遲，并能保證數(shù)據(jù)的有效性、完整性和可用性，增強數(shù)據(jù)的持久化存儲能力，就成為

4、本文的研究課題。
　　本文采用了數(shù)據(jù)的完全備份和糾刪碼相結(jié)合的方法，基于HDFS設(shè)計并實現(xiàn)了分布式架構(gòu) REPERA。作為云存儲架構(gòu)的一種形式, REPERA除了具有HDFS的擴展性高、可靠性強、支持大規(guī)模數(shù)據(jù)集管理和類似于流式的快速數(shù)據(jù)存取特點外，還具有兩種數(shù)據(jù)存儲方法的優(yōu)點，平衡了數(shù)據(jù)的訪問延遲和持久化存儲之間的矛盾,，節(jié)省了較多的存儲空間。此外，REPERA系統(tǒng)的實現(xiàn)給用戶預(yù)留了配置參數(shù)，用戶可以根據(jù)自身需要對存儲策略進行配