DWMS中列存儲(chǔ)索引技術(shù)的研究與改進(jìn).pdf

1、數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉庫中的數(shù)據(jù)量非常大，并且在逐年增大。因此提高查詢速度是數(shù)據(jù)倉庫必須要實(shí)現(xiàn)的一個(gè)功能。
　　 數(shù)據(jù)倉庫中索引建立的好壞直接影響數(shù)據(jù)倉庫的查詢速度，索引的類型有很多，創(chuàng)建索引能提高查詢的執(zhí)行效率，但是創(chuàng)建過多索引而會(huì)帶來額外的索引維護(hù)和管理開銷。如何為合適的字段建立合適的索引，提高列存儲(chǔ)多維數(shù)據(jù)倉庫中各種分析查詢的性能，是一個(gè)機(jī)會(huì)，也是一個(gè)

2、挑戰(zhàn)。
　　 本文針對(duì)列存儲(chǔ)數(shù)據(jù)倉庫管理系統(tǒng)中的索引技術(shù)展開了研究與分析，具體的工作如下：
　　 (1)研究當(dāng)前主流列存儲(chǔ)數(shù)據(jù)倉庫管理系統(tǒng)(如Sybase IQ、C-Store、MonetDB、Infobright)中索引技術(shù)，分析達(dá)夢(mèng)數(shù)據(jù)庫實(shí)驗(yàn)室中列存儲(chǔ)數(shù)據(jù)倉庫管理系統(tǒng)D3WMS(Donghua Dameng DWMS)的體系、特點(diǎn)及SSB數(shù)據(jù)集結(jié)構(gòu)，以及典型的SQL查詢語句中涉及到的索引類型。
　　 (2)分

3、析研究D3WMS中己存在的RB+樹索引，驗(yàn)證其空間和查詢速度性能。改進(jìn)其葉子結(jié)點(diǎn)結(jié)構(gòu)，進(jìn)一步提高索引的空間利用率。
　　 (3)針對(duì)低基數(shù)數(shù)據(jù)，設(shè)計(jì)實(shí)現(xiàn)位圖索引，并提出了基于壓縮位圖的直接計(jì)算方法CBT(Compressed Bitmap Index Execute Technology)，優(yōu)化了位圖索引的查詢算法。RB+樹索引將數(shù)據(jù)源區(qū)分為定長(zhǎng)和變長(zhǎng)數(shù)據(jù)兩類，統(tǒng)一創(chuàng)建行號(hào)索引和列值索引。這種分類方式?jīng)]有考慮數(shù)據(jù)列基數(shù)高低的特性

4、，造成了極大的空間冗余。位圖索引能夠有效地改善低基數(shù)數(shù)據(jù)的冗余情況，極大地提高空間利用率和查詢效率。
　　 (4)針對(duì)高基數(shù)、具有層次關(guān)系的列數(shù)據(jù)，提出并設(shè)計(jì)了層次編碼位圖索引，極大地減少了列數(shù)據(jù)及維表上需要建立的位圖、位向量個(gè)數(shù)，降低了索引存儲(chǔ)空間，提高了查詢效率。
　　 本文實(shí)驗(yàn)以D3WMS為平臺(tái)，以數(shù)據(jù)倉庫基準(zhǔn)數(shù)據(jù)集SSB為測(cè)試對(duì)象，進(jìn)行了以下六方面的實(shí)驗(yàn)：1)RB+樹索引和傳統(tǒng)B+樹索引的對(duì)比；2)RB+樹與改進(jìn)