基于三級(jí)存儲(chǔ)器的數(shù)據(jù)庫查詢處理技術(shù)研究.pdf

1、日益加劇的競(jìng)爭(zhēng)迫使企業(yè)必須構(gòu)建能夠迅速、準(zhǔn)確地分析和挖掘行業(yè)信息的數(shù)據(jù)倉庫系統(tǒng)，目前的磁盤存儲(chǔ)器卻無法滿足企業(yè)日益增長(zhǎng)的海量信息管理需要，由主存、磁盤和聯(lián)機(jī)使用的第三級(jí)存儲(chǔ)器構(gòu)成的三級(jí)存儲(chǔ)器系統(tǒng)為海量數(shù)據(jù)的管理提供了一種廉價(jià)可行的解決方案。然而三級(jí)存儲(chǔ)器與磁盤系統(tǒng)的物理特性差異很大，為磁盤存儲(chǔ)器設(shè)計(jì)的存儲(chǔ)結(jié)構(gòu)和操作算法無法直接移植到三級(jí)存儲(chǔ)器中，需要針對(duì)三級(jí)存儲(chǔ)器的特點(diǎn)設(shè)計(jì)優(yōu)化的存儲(chǔ)結(jié)構(gòu)與高效的關(guān)系操作算法。本文結(jié)合三級(jí)存儲(chǔ)器的物理特征

2、與聯(lián)機(jī)分析處理應(yīng)用的特點(diǎn)，設(shè)計(jì)出了適合管理三級(jí)存儲(chǔ)器上海量數(shù)據(jù)的讀優(yōu)化的存儲(chǔ)結(jié)構(gòu)、關(guān)系操作算法和查詢優(yōu)化方法。主要研究成果如下：
　　在三級(jí)存儲(chǔ)器上的數(shù)據(jù)組織方面，提出了三級(jí)存儲(chǔ)器各存儲(chǔ)層次間的數(shù)據(jù)分布方法、第三級(jí)存儲(chǔ)器上針對(duì)讀操作優(yōu)化的數(shù)據(jù)組織結(jié)構(gòu)和將數(shù)據(jù)遷移到第三級(jí)存儲(chǔ)器時(shí)的數(shù)據(jù)預(yù)處理方法。由于三級(jí)存儲(chǔ)器各個(gè)存儲(chǔ)層次的物理特性存在差異，并且不同數(shù)據(jù)的訪問頻率不同，合理地在三級(jí)存儲(chǔ)器上分布數(shù)據(jù)會(huì)顯著提高三級(jí)存儲(chǔ)器的訪問性能。第三

3、級(jí)存儲(chǔ)器中的數(shù)據(jù)主要面向分析型應(yīng)用，針對(duì)分析型應(yīng)用的特點(diǎn)提出了數(shù)據(jù)緊縮、聚簇、按列方式的數(shù)據(jù)存儲(chǔ)、引入多個(gè)關(guān)系副本等一系列方法，每種方法針對(duì)不同類型的查詢。通過選擇合適的數(shù)據(jù)組織方法，可以顯著提高從第三級(jí)存儲(chǔ)器訪問數(shù)據(jù)的效率。數(shù)據(jù)從磁盤遷移到第三級(jí)存儲(chǔ)器之前，通過預(yù)排序、代理信息抽取、聚集的預(yù)計(jì)算等一系列方法，顯著地提高查詢執(zhí)行效率。通過在磁盤中保存必要的代理信息，使一部分查詢可以在磁盤上直接得到回答。
　　在基于三級(jí)存儲(chǔ)器的關(guān)系

4、操作算法方面，重點(diǎn)研究了三級(jí)存儲(chǔ)器上的非阻塞連接算法和基于屬性分離的連接算法。設(shè)計(jì)與實(shí)現(xiàn)了兩種盡早產(chǎn)生連接結(jié)果的非阻塞式連接算法CDT-PH和CDT-Merge。傳統(tǒng)的連接操作是阻塞式操作，需要對(duì)磁盤中的數(shù)據(jù)進(jìn)行預(yù)處理，然后才能產(chǎn)生第一個(gè)連接結(jié)果。阻塞式連接不適用于數(shù)據(jù)可視化等應(yīng)用。非阻塞式連接算法不僅在連接開始的時(shí)候就能產(chǎn)生結(jié)果，而且整體性能與目前最高效 CDT-GH性能很相近， CDT-Merge算法的性能甚至高于CDT-GH算法。

5、設(shè)計(jì)與實(shí)現(xiàn)了基于屬性分離的磁帶-磁帶連接算法ASJ。針對(duì)通常磁帶上連接操作具有的數(shù)據(jù)多遍掃描問題和冗余 I/O問題，ASJ算法利用屬性分離技術(shù)、連接索引技術(shù)有效地避免了以上問題。ASJ算法比目前最好的磁帶-磁帶連接算法CTT-GH性能提高很多。該算法最大的優(yōu)點(diǎn)是能夠?qū)⒋艓?磁帶連接算法轉(zhuǎn)變?yōu)榇疟P上的連接算法與磁帶數(shù)據(jù)的一遍掃描操作。
　　在基于三級(jí)存儲(chǔ)器的查詢優(yōu)化方面，提出了適用于三級(jí)存儲(chǔ)器的代價(jià)模型和能夠處理多關(guān)系副本的查詢優(yōu)化

6、算法。傳統(tǒng)的關(guān)系代價(jià)模型都是針對(duì)磁盤上的關(guān)系操作，不能夠直接用于估算第三級(jí)存儲(chǔ)器上的操作代價(jià)。提出的代價(jià)模型不僅能夠估算第三級(jí)存儲(chǔ)器上關(guān)系操作的代價(jià)，而且能夠比較磁盤上關(guān)系操作與第三級(jí)存儲(chǔ)器上相同關(guān)系操作的代價(jià)。提出的查詢優(yōu)化方法不僅能夠?yàn)椴樵冎械年P(guān)系操作選擇優(yōu)化的執(zhí)行算法，而且能夠?yàn)閰⑴c查詢的關(guān)系選擇最優(yōu)數(shù)據(jù)組織方式的關(guān)系副本，從而顯著地提高查詢效率。
　　最后基于上述研究成果，設(shè)計(jì)與實(shí)現(xiàn)了一個(gè)數(shù)據(jù)庫原型系統(tǒng) TERMS。TER