大規(guī)模分布式存儲技術(shù)研究.pdf

1、電子科技大學博士學位論文摘要隨著Internet和網(wǎng)絡(luò)應(yīng)用的普及和飛速發(fā)展，分布式存儲技術(shù)取得了長足的進步，同時也面臨巨大的挑戰(zhàn):日益增加的用戶數(shù)量，數(shù)據(jù)分布的地域空間更加廣闊，數(shù)據(jù)存儲量爆炸性增長，越來越高的數(shù)據(jù)可靠性要求以及訪問數(shù)據(jù)的設(shè)備種類日益增多等。如何構(gòu)建大規(guī)模、高效率、易于擴展、高可靠的存儲系統(tǒng)，是分布式存儲技術(shù)迫切需要解決的問題。本文從如何提供大規(guī)模、高可用、高效率分布式存儲服務(wù)的角度出發(fā)，在對分布式存儲領(lǐng)域的最新研究成果

2、進行了系統(tǒng)、全面的學習和總結(jié)的基礎(chǔ)上，對分布式協(xié)作存儲、Internet范圍內(nèi)的大規(guī)模分布式存儲兩個方面進行了深入細致地研究，取得了若干創(chuàng)新和成果。本文的主要創(chuàng)新點包括:1、提出了一種分布式協(xié)作存儲機制一CoStore.CoStore將各節(jié)點的空閑磁盤空間組織成一個統(tǒng)一的存儲池，通過節(jié)點之間的相互協(xié)作實現(xiàn)數(shù)據(jù)的容錯和共享。CoStore以P2P完全圖拓撲結(jié)構(gòu)組織節(jié)點，采用多目錄樹名字空間、分片冗余以及并行傳輸?shù)葯C制為用戶提供高效、可靠的

3、存儲服務(wù)。2、提出了一種基于P2P的海量存儲機制一GStore.GStore采用具有高擴展性的P2P體系結(jié)構(gòu)，將大量分散的節(jié)點組織成一個邏輯網(wǎng)絡(luò)，以此構(gòu)建面向Internet的大規(guī)模分布式存儲系統(tǒng)。GStore采用動態(tài)P2P路由機制、優(yōu)化的數(shù)據(jù)分布策略、自適應(yīng)的副本管理以及并行傳輸機制為用戶提供高效、可靠的存儲服務(wù)。3、提出了一種P2P動態(tài)路由機制一DynRouteoDynRoutettl一對常用P2P路由算法依賴顯式的靜態(tài)IP地址的問

4、題，解藕全局節(jié)點號與IP地址，引入分布式地址映射服務(wù)，保證動態(tài)地址環(huán)境中的正確路由和對象定位。地址映射服務(wù)及時檢測節(jié)點IP地址的變化，完成節(jié)點全局標識號NID到節(jié)點當前IP地址的映射，并為地址映射引入安全認證機制，防御IP欺騙。電子科技大學博士學位論文AbstractAlongwiththerapiddevelopmentofInternetandnetworkapplicationthedistributedstoragetechno

5、logyhasmadegreatprogress.Howeveritisconfrontedwithgreatchallengessuchastheincrementalnumberofuserthebroaderareasofdatadistributionthesharpincreaseintheamountofdatastoragethemorecriticalrequirementofavailabilityandtherapi

6、dexpansioninthetypesoftheequipmentsandsoon.Howtoconstructadistributedstoragesystemwithlargescaleefficiencyextensibilityandreliabilityisasubjectthatneedstoberesolvedurgently.Thisdissertationexploresthetechnologyofdistribu

7、teddatastoragetoprovidehighavailabilityandhighperformancedistributedstorageservice.Basedonthesystematicsummarizationoftherelevantworkondistributeddatastoragethisdissertationnotonlycarryaresearchonthedistributedcooperativ

8、estorageandtheInternetorientedlargescaledistributedstoragebutalsomakesseveralinnovationsandachievementswhichwillbeillustratedindetailasfollowsThebreakthroughofthisdissertationcouldbeembodiedinthefollowingseveralrespects:

9、1、Thisdissertationpresentsadistributedcooperativestoragemechanism:CoStore.CoStoreconsolidatesdiskspaceofindividualnodeintoasinglestoragespoolandimplementsfilesharingandfaulttolerancethroughthecooperationofthenodesinwhich

10、anodeprovidesaswellassharesservice.CoStoreprovidesuserswithhighpoweredreliablestorageservicebynamespaceofmultipledirectorytreeandmechanismofredundantfragmentandparallelfiletransfer.2、ThisdissertationpresentsaP2Pbasedmass

11、ivestoragemechanism:GStore.GStoreconsolidateslargenumbersofnodesdistributedontheInternetintoasinglelogicnetworkandconstructsanInternetorienteddistributedmassivestoragesystemusinghighlyscalableP2Parchitecture.GStoreprovid