分布式鍵值存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)高速發(fā)展，移動互聯(lián)網(wǎng)浪潮的興起，人們的生活越來越離不開互聯(lián)網(wǎng)，人們在使用互聯(lián)網(wǎng)進行互聯(lián)的同時創(chuàng)造的數(shù)據(jù)量也是呈指數(shù)級增長，提高對海量數(shù)據(jù)的存儲和快速訪問的需求變得越來越迫切。海量數(shù)據(jù)對傳統(tǒng)的單機文件存儲系統(tǒng)提出了巨大挑戰(zhàn)，傳統(tǒng)的存儲系統(tǒng)不能為應(yīng)用提供靈活的可擴展性，難以做到線性擴展。移動互聯(lián)網(wǎng)浪潮下創(chuàng)建一種新型的對非結(jié)構(gòu)化數(shù)據(jù)存儲、具有高擴展性的鍵值存儲系統(tǒng)開始變得尤為迫切。本文提出一種分布式鍵值存儲系統(tǒng)，該系統(tǒng)在架構(gòu)上考慮到

2、高擴展性，系統(tǒng)接入層統(tǒng)一進行接入，通過哈希算法來提高數(shù)據(jù)的尋址效率，為了提高系統(tǒng)的數(shù)據(jù)訪問效率，系統(tǒng)在數(shù)據(jù)存儲層上構(gòu)建了緩存層，通過路由協(xié)議讓系統(tǒng)具備良好的伸縮性，對數(shù)據(jù)進行遷移的過程中不影響分布式存儲對外提供服務(wù)，存儲節(jié)點的變化對用戶使用系統(tǒng)透明。本文對現(xiàn)有成熟并且已經(jīng)運用于生產(chǎn)環(huán)境中的分布式存儲技術(shù)進行了全面系統(tǒng)的分析，在分析不同存儲系統(tǒng)優(yōu)劣勢的基礎(chǔ)上提出了本文的分布式鍵值存儲系統(tǒng)。
　　本研究主要內(nèi)容包括：⑴基于哈希算法和路

3、由協(xié)議來解決數(shù)據(jù)和存儲節(jié)點之間的映射關(guān)系，構(gòu)建滿足如今移動互聯(lián)網(wǎng)海量碎片化數(shù)據(jù)的分布式鍵值存儲系統(tǒng)，依據(jù)這樣的映射策略系統(tǒng)能夠非常方便的進行透明的動態(tài)擴縮容操作，具備良好的可擴展性。⑵存儲系統(tǒng)對數(shù)據(jù)透明存儲，存儲系統(tǒng)和數(shù)據(jù)進行了徹底的解耦，提高了存儲系統(tǒng)的通用性，從用戶的角度看到其所用的存儲系統(tǒng)就是一個海量的數(shù)據(jù)存儲中心?；贙V鍵值對的形式來設(shè)計數(shù)據(jù)存儲結(jié)構(gòu)，所有的數(shù)據(jù)都以二進制非結(jié)構(gòu)化的形式進行存儲，與傳統(tǒng)的關(guān)系型數(shù)據(jù)存儲系統(tǒng)對比，