面向非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化的存儲系統(tǒng).pdf

1、為了解決非結(jié)構(gòu)化數(shù)據(jù)的存儲與訪問問題，向上層應(yīng)用提供數(shù)據(jù)存儲基礎(chǔ)性架構(gòu)，加快應(yīng)用開發(fā)進(jìn)度，設(shè)計并實現(xiàn)了面向非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化的存儲系統(tǒng)，提供統(tǒng)一、簡單、透明、安全的數(shù)據(jù)訪問接口和查詢方式，有效組織、管理非結(jié)構(gòu)化數(shù)據(jù)，保證低延遲、高吞吐量的數(shù)據(jù)服務(wù)及系統(tǒng)的高可用性。
　　 面向非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化的存儲系統(tǒng)的主要思想是借鑒Bigtable的數(shù)據(jù)模型和架構(gòu)思路并做出改進(jìn)，采用鍵值對的形式提取非結(jié)構(gòu)化數(shù)據(jù)的元數(shù)據(jù)信息、建立索引，并將

2、索引信息及非結(jié)構(gòu)化數(shù)據(jù)持久化存儲到文檔數(shù)據(jù)庫，同時，系統(tǒng)接口采用REST架構(gòu)，提供系統(tǒng)平臺、語言無關(guān)的數(shù)據(jù)訪問方式，解決了Bigtable 將復(fù)雜的數(shù)據(jù)處理和控制交由用戶實現(xiàn)的問題，工作主要集中在以下幾個方面：（1）根據(jù)NWR模型在數(shù)據(jù)一致性與可用性之間做出權(quán)衡，大量使用層次化的緩存結(jié)構(gòu)，并根據(jù)數(shù)據(jù)的相關(guān)性建立了預(yù)緩存機(jī)制；（2）采用基于消息隊列的數(shù)據(jù)同步機(jī)制同步緩存與持久化存儲，使數(shù)據(jù)達(dá)到最終一致，同時還進(jìn)行節(jié)點(diǎn)之間數(shù)據(jù)同步、備份，以

3、保證有限數(shù)量節(jié)點(diǎn)失效時系統(tǒng)始終可用；（3）采用基于URL 數(shù)字簽名的方式保證數(shù)據(jù)訪問的安全性，最后，提供復(fù)雜查詢功能以滿足不同層次的用戶需求，通過將鍵值對形式的查詢語法翻譯為類似于SQL的查詢語句進(jìn)行實現(xiàn)。
　　 在充分挖掘系統(tǒng)需求和特點(diǎn)的前提下實現(xiàn)了上述系統(tǒng)，實驗表明，在高負(fù)載情況下該系統(tǒng)也能穩(wěn)定提供數(shù)據(jù)存儲服務(wù)。相比于以文件形式存于文件系統(tǒng)和以BLOB類型存于關(guān)系數(shù)據(jù)庫這兩種方式，面向非結(jié)構(gòu)化數(shù)據(jù)查詢優(yōu)化的存儲系統(tǒng)在吞吐量和