大規(guī)模分布式存儲系統副本管理研究與實現.pdf

1、隨著互聯網迅速的發(fā)展，數據量呈指數增長，用戶對海量數據的存儲和處理需求加大，傳統的數據庫集中存儲已經不能滿足需求，利用網絡進行分布式存儲成為趨勢。如何在復雜的網絡環(huán)境中搭建可用和可靠的分布式存儲系統，已經成為熱點問題。P2P技術的出現和發(fā)展推動了網絡存儲技術的發(fā)展。如今，國際互聯網公司又提出“云存儲”的概念，向用戶提供可靠方便的服務。
　　現有的許多分布式存儲系統，采用集中式管理，沒有充分考慮和利用客戶端之間的通信帶寬提供更高效的

2、服務。本文首先對分布式存儲和P2P技術進行分析，結合當前國內外研究現狀和發(fā)展態(tài)勢，設計出高效的基于P2P的分布式海量數據存儲系統，由端系統以及服務器系統構成覆蓋網絡，并且向終端存儲演進。
　　本文的主要工作有以下幾點：
　　第一，通過對現有 P2P技術和分布式存儲技術的研究與分析，設計了出了一個基于 P2P的分布式存儲系統，不再由中心節(jié)點對元數據進行集中管理，而是將元數據的存儲和管理分散到系統的各個節(jié)點上。實現存儲系統的基本

3、功能，包括文件的發(fā)布、更新、刪除和下載。
　　第二，副本管理模塊的設計和實現。在復雜的網絡環(huán)境中，節(jié)點間存在傳輸速率和帶寬的區(qū)別，也有節(jié)點失效的風險，副本管理模塊依據客戶端所發(fā)送二次請求頻率對副本的冗余度進行管理，在保證數據的可靠性的前提下又不占用過多存儲空間。副本管理模塊還對副本的一致性進行管理，保證用戶的下載和更新等操作都對統一的版本進行，但是多個副本的一致性更新操作將占用較大網絡帶寬，本模塊實行可延后機制，在網絡空閑或用戶需