KStore數(shù)據(jù)庫索引技術(shù)的優(yōu)化.pdf

1、在當(dāng)今這個信息技術(shù)無處不在的時代，數(shù)據(jù)每時每刻會由各種源頭產(chǎn)生，日積月累，幾百TB甚至PB級別的數(shù)據(jù)量是一種很常見的現(xiàn)象。因此如何以較小的代價存儲這些海量數(shù)據(jù)，并從中快速查詢到想要的信息成為一個很普遍的需求。
　　對于海量數(shù)據(jù)的存儲，管理與查詢，使用傳統(tǒng)數(shù)據(jù)庫的存儲結(jié)構(gòu)和索引技術(shù)已經(jīng)不能滿足人們對處理性能和存儲空間的高要求，所以當(dāng)前迫切需要一套新的針對海量數(shù)據(jù)的技術(shù)解決方案。而其中的索引技術(shù)是解決這些問題的關(guān)鍵，因此對索引技術(shù)的研

2、究具有非常重大的意義。
　　KStore是一個為解決海量數(shù)據(jù)存儲、管理與查詢問題的數(shù)據(jù)庫平臺。隨著爆炸式的數(shù)據(jù)量增長，其索引技術(shù)已經(jīng)不能滿足查詢性能的要求，因此當(dāng)前迫切需要對其索引進(jìn)行優(yōu)化。
　　目前KStore的索引架構(gòu)是基于分片索引機(jī)制，該機(jī)制雖然能夠保證高效的插入性能，但是其最大的不足是索引過濾性能會隨著數(shù)據(jù)量的增長而衰落。此外KStore中三種索引（元數(shù)據(jù)基本索引、分段哈希索引、子串索引）的設(shè)計中各自都有各自的不足點

3、，本文正是針對它們的問題進(jìn)行優(yōu)化升級。針對元數(shù)據(jù)基本索引的不足，我們將索引信息分開存放以處理不同類型的查詢，同時提出了通過物化位圖的方法米達(dá)到分段的效果。針對分段哈希索引的不足，我們采用了反向哈希索引技術(shù)，通過直接讀取哈希值對應(yīng)的查詢結(jié)果來大大減少查詢過濾時的I/O。針對子串索引的不足，我們提出了將分詞操作抽象為一個用戶可以自定義的接口，從而大大減少了沖突率，提高了索引的過濾率。理論分析和實驗結(jié)果表明:優(yōu)化后這三種索引的大小與原先相比只