分布式數(shù)據(jù)存儲關鍵技術研究.pdf

1、近些年來，隨著Internet的高速發(fā)展，互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)以指數(shù)方式增長，高速的數(shù)據(jù)增長速度和海量的數(shù)據(jù)對存儲系統(tǒng)提出了非?？量痰囊?。例如，存儲能力的增長速度遠遠趕不上數(shù)據(jù)的增長速度，而存儲設備的性能往往與其存儲容量的大小成反比。就目前現(xiàn)存的分布式存儲系統(tǒng)來看，或多或少都存在一些缺點與不足，不能有效滿足大數(shù)據(jù)時代數(shù)據(jù)的存儲需求。一些分布式存儲系統(tǒng)性能較高，但造價昂貴，現(xiàn)階段不可能大規(guī)模使用（如存儲域網(wǎng)絡 SAN），一些分布式存儲系統(tǒng)性

2、能優(yōu)良且價格低廉，但只適合搭建在局域網(wǎng)中（如集群文件系統(tǒng)），一些分布式存儲系統(tǒng)可以在廣域網(wǎng)環(huán)境中搭建，但沒有認真考慮系統(tǒng)中數(shù)據(jù)的存儲位置、副本個數(shù)、資源查找算法等，造成系統(tǒng)的性能低下（如分布式文件系統(tǒng)Coda）。
　　就目前來看，隨著社交網(wǎng)絡、傳感器等各種新技術的涌現(xiàn)和大規(guī)模應用，各種類型的數(shù)據(jù)迅速增長。如何對這些增長的數(shù)據(jù)進行存儲、如何對數(shù)據(jù)資源進行迅速定位、如何在可接受的時間范圍內(nèi)對數(shù)據(jù)進行分析，發(fā)掘數(shù)據(jù)中含有的重大價值，是數(shù)

3、據(jù)存儲系統(tǒng)必須要考慮解決的問題。在這種情況下，設計合理的分布式存儲系統(tǒng)來解決海量數(shù)據(jù)對當前存儲方式所帶來的挑戰(zhàn)成為大數(shù)據(jù)時代存儲系統(tǒng)的關鍵。
　　本論文的主要研究工作包括以下三個方面：1、查閱相關資料，對當前環(huán)境下數(shù)據(jù)的存儲方式做了解比較，掌握其不足之處。2針對目前分布式存儲系統(tǒng)的不足，以發(fā)展相對比較成熟的P2P技術作為存儲結構體系，對數(shù)據(jù)冗余容錯技術、副本管理機制、資源的搜索算法做了詳細的探索與研究。3、搭建分布式存儲系統(tǒng)，對所