KStore數(shù)據(jù)庫(kù)索引技術(shù)的優(yōu)化.pdf

1、在當(dāng)今這個(gè)信息技術(shù)無(wú)處不在的時(shí)代，數(shù)據(jù)每時(shí)每刻會(huì)由各種源頭產(chǎn)生，日積月累，幾百TB甚至PB級(jí)別的數(shù)據(jù)量是一種很常見(jiàn)的現(xiàn)象。因此如何以較小的代價(jià)存儲(chǔ)這些海量數(shù)據(jù)，并從中快速查詢到想要的信息成為一個(gè)很普遍的需求。
　　對(duì)于海量數(shù)據(jù)的存儲(chǔ)，管理與查詢，使用傳統(tǒng)數(shù)據(jù)庫(kù)的存儲(chǔ)結(jié)構(gòu)和索引技術(shù)已經(jīng)不能滿足人們對(duì)處理性能和存儲(chǔ)空間的高要求，所以當(dāng)前迫切需要一套新的針對(duì)海量數(shù)據(jù)的技術(shù)解決方案。而其中的索引技術(shù)是解決這些問(wèn)題的關(guān)鍵，因此對(duì)索引技術(shù)的研

2、究具有非常重大的意義。
　　KStore是一個(gè)為解決海量數(shù)據(jù)存儲(chǔ)、管理與查詢問(wèn)題的數(shù)據(jù)庫(kù)平臺(tái)。隨著爆炸式的數(shù)據(jù)量增長(zhǎng)，其索引技術(shù)已經(jīng)不能滿足查詢性能的要求，因此當(dāng)前迫切需要對(duì)其索引進(jìn)行優(yōu)化。
　　目前KStore的索引架構(gòu)是基于分片索引機(jī)制，該機(jī)制雖然能夠保證高效的插入性能，但是其最大的不足是索引過(guò)濾性能會(huì)隨著數(shù)據(jù)量的增長(zhǎng)而衰落。此外KStore中三種索引（元數(shù)據(jù)基本索引、分段哈希索引、子串索引）的設(shè)計(jì)中各自都有各自的不足點(diǎn)

3、，本文正是針對(duì)它們的問(wèn)題進(jìn)行優(yōu)化升級(jí)。針對(duì)元數(shù)據(jù)基本索引的不足，我們將索引信息分開(kāi)存放以處理不同類型的查詢，同時(shí)提出了通過(guò)物化位圖的方法米達(dá)到分段的效果。針對(duì)分段哈希索引的不足，我們采用了反向哈希索引技術(shù)，通過(guò)直接讀取哈希值對(duì)應(yīng)的查詢結(jié)果來(lái)大大減少查詢過(guò)濾時(shí)的I/O。針對(duì)子串索引的不足，我們提出了將分詞操作抽象為一個(gè)用戶可以自定義的接口，從而大大減少了沖突率，提高了索引的過(guò)濾率。理論分析和實(shí)驗(yàn)結(jié)果表明:優(yōu)化后這三種索引的大小與原先相比只