壓縮的列存儲(chǔ)數(shù)據(jù)的查詢優(yōu)化研究與實(shí)現(xiàn).pdf

1、傳統(tǒng)的寫優(yōu)化數(shù)據(jù)庫管理系統(tǒng)多數(shù)采用按行存儲(chǔ)的方式，而對讀優(yōu)化的數(shù)據(jù)倉庫管理系統(tǒng)而言，列存儲(chǔ)表現(xiàn)出比行存儲(chǔ)更加顯著的性能。這是由于列存儲(chǔ)技術(shù)是將數(shù)據(jù)表以列為單位進(jìn)行存儲(chǔ)，在查詢中能有效避免讀取無關(guān)的列，從而獲得較高的查詢效率。由于數(shù)據(jù)倉庫中存儲(chǔ)的信息量非常龐大，如何對這些龐大的數(shù)據(jù)進(jìn)行有效的管理對數(shù)據(jù)倉庫管理系統(tǒng)來說是一個(gè)巨大的挑戰(zhàn)。解決這個(gè)問題的一個(gè)有效的方式就是采用數(shù)據(jù)壓縮技術(shù)。因此，如何對壓縮的列存儲(chǔ)數(shù)據(jù)進(jìn)行查詢及優(yōu)化的研究變得十分

2、有意義。
　　 本文以東華-達(dá)夢數(shù)據(jù)庫技術(shù)聯(lián)合實(shí)驗(yàn)室“DWMS原型系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)”項(xiàng)目為背景，主要工作包括:
　　 1)對目前存在的一個(gè)基于字典的保留順序的字符串壓縮方法進(jìn)行研究，在繼續(xù)延用原方法中共用葉子的索引結(jié)構(gòu)的同時(shí)，對原壓縮方法進(jìn)行了改進(jìn)，提出了一個(gè)新的基于概率的字符串壓縮方法，能快速的將字符串屬性進(jìn)行壓縮和解壓，降低了系統(tǒng)對壓縮數(shù)據(jù)的查詢時(shí)間。
　　 2)在列存儲(chǔ)的數(shù)據(jù)經(jīng)過壓縮之后，對壓縮數(shù)據(jù)上的查詢策

3、略進(jìn)行了研究。首先將傳統(tǒng)的代價(jià)模型進(jìn)行修改，為了使其是基于壓縮的，新增了數(shù)據(jù)壓縮和解壓的代價(jià)。然后針對必須要求解壓的數(shù)據(jù)，研究如何合理的選擇解壓時(shí)機(jī)來進(jìn)一步降低CPU消耗。最后給出了在壓縮的數(shù)據(jù)上進(jìn)行查詢操作的一些具體算法，包括壓縮數(shù)據(jù)的選擇、連接和聚集操作。
　　 3)根據(jù)壓縮的列存儲(chǔ)數(shù)據(jù)的特點(diǎn)，并結(jié)合現(xiàn)有的數(shù)據(jù)庫查詢優(yōu)化方法，提出了對壓縮的數(shù)據(jù)進(jìn)行查詢的一些優(yōu)化策略。為了便于對數(shù)據(jù)的快速檢索和提高查詢的速度，研究了索引結(jié)構(gòu)和

4、臨時(shí)表的合理選擇。然后對查詢中經(jīng)常存在的謂詞和子查詢進(jìn)行了優(yōu)化重寫策略，最后給出了壓縮數(shù)據(jù)上的選擇和聚集操作的優(yōu)化算法。
　　 4)采用本文提出的基于概率的保留順序的字符串壓縮方法對DWMS中的字符串屬性進(jìn)行壓縮，對字符串的壓縮效率進(jìn)行了實(shí)驗(yàn)比較。然后將本文提出的一些查詢優(yōu)化策略應(yīng)用于DWMS中經(jīng)過壓縮的數(shù)據(jù)，并對經(jīng)過各種優(yōu)化策略優(yōu)化后的查詢的執(zhí)行時(shí)間進(jìn)行了一系列實(shí)驗(yàn)測試。
　　 本文提出的基于概率的字符串壓縮方法能快速