內(nèi)存索引的壓縮存儲及優(yōu)化研究.pdf

1、隨著計算機(jī)和數(shù)據(jù)庫技術(shù)的迅猛發(fā)展，人類已進(jìn)入信息時代，需要存儲的數(shù)據(jù)大大增長，已遠(yuǎn)遠(yuǎn)超出單臺服務(wù)器的承受范圍。為了滿足數(shù)據(jù)的檢索需要，大型索引系統(tǒng)往往建立在分布式系統(tǒng)之上，但在某些需要高響應(yīng)低延遲與處理靈活性的場景下，分布式系統(tǒng)具有其本質(zhì)性的困難。因此提升單機(jī)的存儲及處理能力，特別是對于高配置服務(wù)器來說有不可替代的意義。
　　針對現(xiàn)代服務(wù)器的硬件架構(gòu)與內(nèi)存資源的稀缺性，本文提出了一種內(nèi)存索引數(shù)據(jù)結(jié)構(gòu)LC-Tree。針對CPU高速緩

2、存、分支預(yù)測、多核下內(nèi)存?zhèn)喂蚕淼扔布卣髡{(diào)整優(yōu)化LC-Tree數(shù)據(jù)結(jié)構(gòu)實現(xiàn)與內(nèi)存布局。通過構(gòu)造一個邏輯上的256叉樹作為上層結(jié)構(gòu)，分支節(jié)點結(jié)構(gòu)利用位圖索引、直接索引等方式迅速定位到底層節(jié)點。底層葉子節(jié)點在內(nèi)存中連續(xù)排放有利于使用數(shù)據(jù)壓縮算法節(jié)省有限的內(nèi)存資源。
　　LC-Tree數(shù)據(jù)結(jié)構(gòu)在實現(xiàn)上，結(jié)合計算機(jī)硬件特性與壓縮算法，有效地在壓縮率、解壓時間和動態(tài)性能之間達(dá)到平衡，通過實現(xiàn)索引動態(tài)更新來支持?jǐn)?shù)據(jù)實時更新。針對無法放入單機(jī)的