分布式小數(shù)據(jù)存儲(chǔ)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展與全球網(wǎng)民數(shù)的激增，網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)量以指數(shù)增長(zhǎng)。如何提高對(duì)海量數(shù)據(jù)的存儲(chǔ)管理與訪(fǎng)問(wèn)能力，成為了業(yè)界研究的一個(gè)熱點(diǎn)問(wèn)題。在海量數(shù)據(jù)面前，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)模型因缺乏系統(tǒng)的高可擴(kuò)展性，而逐漸被放棄。繼而涌現(xiàn)出了許多非關(guān)系型的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。這些系統(tǒng)更多的是從分布式架構(gòu)上出發(fā)提高系統(tǒng)可擴(kuò)展性以及數(shù)據(jù)存儲(chǔ)和訪(fǎng)問(wèn)能力，而忽略了數(shù)據(jù)的底層數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)在提高數(shù)據(jù)IO效率上的作用，也忽略了小數(shù)據(jù)讀寫(xiě)可能引發(fā)的磁盤(pán)磁頭頻繁移動(dòng)的問(wèn)

2、題。
　　本文首先介紹了研究動(dòng)機(jī)，然后對(duì)當(dāng)前主流的分布式存儲(chǔ)系統(tǒng)與P2P系統(tǒng)進(jìn)行了分析與學(xué)習(xí)，并結(jié)合小數(shù)據(jù)存儲(chǔ)的特點(diǎn)，設(shè)計(jì)了一個(gè)具備高可靠性、高可擴(kuò)展性的分布式小數(shù)據(jù)鍵值存儲(chǔ)系統(tǒng)MSDSS。本文的主要工作與創(chuàng)新點(diǎn)有以下幾點(diǎn)：
　　第一借助改進(jìn)型的一致性哈希算法與虛節(jié)點(diǎn)技術(shù)構(gòu)建了一個(gè)具備高可擴(kuò)展性的鍵值存儲(chǔ)系統(tǒng)架構(gòu)。這種架構(gòu)保證了數(shù)據(jù)在系統(tǒng)中的分散存儲(chǔ)，并解決了存儲(chǔ)節(jié)點(diǎn)的異構(gòu)性問(wèn)題。
　　第二使用定位表的方法，實(shí)現(xiàn)同一集

3、合中數(shù)據(jù)在物理上分段聚集存儲(chǔ)，為該集合中數(shù)據(jù)提供了高速的數(shù)據(jù)瀏覽支持。
　　第三使用數(shù)據(jù)混寫(xiě)技術(shù)，在存儲(chǔ)服務(wù)器上，采用寫(xiě)緩存策略，將緩存的小數(shù)據(jù)集中混寫(xiě)到一個(gè)臨時(shí)文件，以提高整個(gè)系統(tǒng)的服務(wù)能力。
　　第四使用chubby技術(shù)，監(jiān)控系統(tǒng)中服務(wù)器的在線(xiàn)情況。當(dāng)系統(tǒng)中服務(wù)器上下線(xiàn)時(shí)，其他服務(wù)器可以較快獲得通知，提高了系統(tǒng)的可擴(kuò)展性。
　　第五使用了merkle tree技術(shù)，高效檢測(cè)系統(tǒng)中副本數(shù)據(jù)的一致性，降低了網(wǎng)絡(luò)中系統(tǒng)控