分布式小數(shù)據(jù)存儲系統(tǒng)的設計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展與全球網(wǎng)民數(shù)的激增，網(wǎng)絡服務的數(shù)據(jù)量以指數(shù)增長。如何提高對海量數(shù)據(jù)的存儲管理與訪問能力，成為了業(yè)界研究的一個熱點問題。在海量數(shù)據(jù)面前，傳統(tǒng)的關系型數(shù)據(jù)庫模型因缺乏系統(tǒng)的高可擴展性，而逐漸被放棄。繼而涌現(xiàn)出了許多非關系型的分布式數(shù)據(jù)存儲系統(tǒng)。這些系統(tǒng)更多的是從分布式架構上出發(fā)提高系統(tǒng)可擴展性以及數(shù)據(jù)存儲和訪問能力，而忽略了數(shù)據(jù)的底層數(shù)據(jù)存儲結構在提高數(shù)據(jù)IO效率上的作用，也忽略了小數(shù)據(jù)讀寫可能引發(fā)的磁盤磁頭頻繁移動的問

2、題。
　　本文首先介紹了研究動機，然后對當前主流的分布式存儲系統(tǒng)與P2P系統(tǒng)進行了分析與學習，并結合小數(shù)據(jù)存儲的特點，設計了一個具備高可靠性、高可擴展性的分布式小數(shù)據(jù)鍵值存儲系統(tǒng)MSDSS。本文的主要工作與創(chuàng)新點有以下幾點：
　　第一借助改進型的一致性哈希算法與虛節(jié)點技術構建了一個具備高可擴展性的鍵值存儲系統(tǒng)架構。這種架構保證了數(shù)據(jù)在系統(tǒng)中的分散存儲，并解決了存儲節(jié)點的異構性問題。
　　第二使用定位表的方法，實現(xiàn)同一集

3、合中數(shù)據(jù)在物理上分段聚集存儲，為該集合中數(shù)據(jù)提供了高速的數(shù)據(jù)瀏覽支持。
　　第三使用數(shù)據(jù)混寫技術，在存儲服務器上，采用寫緩存策略，將緩存的小數(shù)據(jù)集中混寫到一個臨時文件，以提高整個系統(tǒng)的服務能力。
　　第四使用chubby技術，監(jiān)控系統(tǒng)中服務器的在線情況。當系統(tǒng)中服務器上下線時，其他服務器可以較快獲得通知，提高了系統(tǒng)的可擴展性。
　　第五使用了merkle tree技術，高效檢測系統(tǒng)中副本數(shù)據(jù)的一致性，降低了網(wǎng)絡中系統(tǒng)控