列存儲(chǔ)DWMS中查詢執(zhí)行的研究與實(shí)現(xiàn).pdf

1、數(shù)據(jù)倉庫作為信息技術(shù)領(lǐng)域一個(gè)重要的研究方向，越來越受到人們的重視。早期的數(shù)據(jù)倉庫，其構(gòu)建和研究工作都是建立在關(guān)系型數(shù)據(jù)庫管理系統(tǒng)( RDBMS)的基礎(chǔ)之上。隨著數(shù)據(jù)規(guī)模的不斷擴(kuò)大，數(shù)據(jù)倉庫應(yīng)用要求更高的數(shù)據(jù)處理性能與之匹配，而基于RDBMS方式構(gòu)建的數(shù)據(jù)倉庫不能滿足當(dāng)前的這種要求。因此實(shí)現(xiàn)一個(gè)獨(dú)立的數(shù)據(jù)倉庫管理系統(tǒng)(DWMS)已成為數(shù)據(jù)倉庫技術(shù)研究和應(yīng)用的強(qiáng)烈需求。
　　 在數(shù)據(jù)倉庫環(huán)境下，相對(duì)于行存儲(chǔ)，列存儲(chǔ)具有非常明顯的優(yōu)勢(shì)

2、，能夠減少非相關(guān)列的讀入，利于數(shù)據(jù)壓縮和壓縮執(zhí)行，從而提高查詢性能。列存儲(chǔ)DWMS將對(duì)數(shù)據(jù)存儲(chǔ)和查詢帶來一種全新的改變，而基于行存儲(chǔ)的查詢執(zhí)行引擎無法適應(yīng)底層的列存儲(chǔ)，因此研究和實(shí)現(xiàn)基于列存儲(chǔ)的查詢執(zhí)行引擎是必要的，而且能夠更好的挖掘列存儲(chǔ)的性能，進(jìn)一步提高DWMS的查詢效率。
　　 本文結(jié)合實(shí)際項(xiàng)目，研究了列存儲(chǔ)查詢執(zhí)行的相關(guān)技術(shù)，并對(duì)其中的某些技術(shù)做了相應(yīng)的優(yōu)化和改進(jìn)。針對(duì)基于rowid的元組重構(gòu)方法存在組合代價(jià)大的缺陷，提

3、出了基于地址映射索引的元組重構(gòu)，簡稱AMI。通過在數(shù)據(jù)索引葉子塊中存儲(chǔ)查詢相關(guān)的多個(gè)列，建立針對(duì)數(shù)據(jù)索引非查找鍵列的地址映射索引，在查詢執(zhí)行時(shí)，結(jié)合數(shù)據(jù)索引和地址映射索引返回的地址范圍就可以得到滿足查詢條件的地址集，根據(jù)地址集從數(shù)據(jù)索引中取得相應(yīng)的數(shù)據(jù)塊，從而減少了元組重構(gòu)的開銷，極大程度提高了多列查詢的執(zhí)行效率。針對(duì)早期物化存在構(gòu)造大量不必要的元組以及延遲物化可能導(dǎo)致同一屬性列的某些數(shù)據(jù)塊被重復(fù)抽取的缺陷，提出了帶值路徑物化策略，簡稱

4、VPMS。VPMS使用一個(gè)新的中間結(jié)果結(jié)構(gòu)傳遞塊，用于將重構(gòu)的位置信息與實(shí)際列值相分離，并根據(jù)帶值路徑將路徑起點(diǎn)引用列滿足謂詞條件的位置信息和列值存儲(chǔ)在傳遞塊中，從而避免了同一列的列值被重復(fù)抽取。VPMS的物化時(shí)機(jī)是盡量在中間結(jié)果不含無關(guān)列值的時(shí)候進(jìn)行元組重構(gòu)，也即是在WHERE子句中各列經(jīng)過過濾之后進(jìn)行元組重構(gòu)，從而減少了無關(guān)元組的構(gòu)造量。以塊迭代方式代替?zhèn)鹘y(tǒng)的元組迭代來實(shí)現(xiàn)物理操作符，減少了執(zhí)行中遞歸的次數(shù)和迭代的深度，并提出了執(zhí)行