基于三級(jí)存儲(chǔ)系統(tǒng)的海量數(shù)據(jù)查詢(xún)處理方法的研究.pdf

1、隨著信息技術(shù)的發(fā)展，數(shù)據(jù)量超過(guò)1012的海量數(shù)據(jù)已經(jīng)隨處可見(jiàn)并且數(shù)據(jù)量還在不斷增長(zhǎng)。從成本和存儲(chǔ)容量等因素綜合考慮，目前人們大都采用將磁帶庫(kù)、光盤(pán)庫(kù)等第三級(jí)存儲(chǔ)設(shè)備作為海量數(shù)據(jù)的主要存儲(chǔ)介質(zhì)，并與主存、磁盤(pán)一起構(gòu)成一個(gè)三級(jí)的存儲(chǔ)系統(tǒng)作海量數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)。為了充分利用三級(jí)存儲(chǔ)系統(tǒng)中海量數(shù)據(jù)提供的信息，需要開(kāi)發(fā)出真正的基于三級(jí)存儲(chǔ)系統(tǒng)的海量信息管理系統(tǒng)。
　　由于三級(jí)存儲(chǔ)系統(tǒng)各存儲(chǔ)層次在數(shù)據(jù)存取性能方面存在巨大差異，為了使三級(jí)存儲(chǔ)系統(tǒng)

2、各存儲(chǔ)層次“無(wú)縫”地連接在一起并很好地融入到數(shù)據(jù)庫(kù)系統(tǒng)中，就必須研究設(shè)計(jì)出符合三級(jí)存儲(chǔ)系統(tǒng)硬件特點(diǎn)的高效的查詢(xún)處理方法。查詢(xún)處理技術(shù)的研究是基于三級(jí)存儲(chǔ)系統(tǒng)的海量數(shù)據(jù)管理系統(tǒng)研究中的一個(gè)重點(diǎn)和難點(diǎn)。查詢(xún)處理問(wèn)題的解決將極大地提高基于三級(jí)存儲(chǔ)系統(tǒng)中海量信息的管理和應(yīng)用水平。
　　本文以三級(jí)存儲(chǔ)系統(tǒng)中的海量數(shù)據(jù)為研究對(duì)象，研究了基于三級(jí)存儲(chǔ)系統(tǒng)的海量數(shù)據(jù)的查詢(xún)處理方法。根據(jù)需要訪問(wèn)的數(shù)據(jù)存儲(chǔ)位置的不同（磁盤(pán)上還是第三級(jí)存儲(chǔ)器上），將三

3、級(jí)存儲(chǔ)系統(tǒng)中海量數(shù)據(jù)的查詢(xún)分為D-Query、T-Query和TD-Query三類(lèi)。由于D-Query訪問(wèn)的數(shù)據(jù)存儲(chǔ)在磁盤(pán)上，可以采用傳統(tǒng)數(shù)據(jù)庫(kù)處理查詢(xún)的方法對(duì)其進(jìn)行處理，因此本文隨后重點(diǎn)研究了第三級(jí)存儲(chǔ)器查詢(xún)（T-Query和TD-Query）的處理方法。
　　在分析了已有的查詢(xún)處理方法后，提出了基于兩次分解的第三級(jí)存儲(chǔ)器查詢(xún)處理方法。該方法將第三級(jí)存儲(chǔ)器上的查詢(xún)分為第三級(jí)存儲(chǔ)器執(zhí)行部分和磁盤(pán)查詢(xún)計(jì)劃兩部分，并分別在第三級(jí)存儲(chǔ)器