基于數(shù)據(jù)塊采樣的PostgreSQL統(tǒng)計(jì)信息估算方法的研究.pdf

1、隨著計(jì)算機(jī)硬件、軟件技術(shù)的飛速發(fā)展和計(jì)算機(jī)系統(tǒng)在各行各業(yè)的廣泛應(yīng)用,數(shù)據(jù)已經(jīng)成為各種機(jī)構(gòu)的寶貴資源,數(shù)據(jù)庫(kù)系統(tǒng)對(duì)于當(dāng)今科研部門(mén)、政府機(jī)關(guān)、企事業(yè)單位等來(lái)說(shuō)都是至關(guān)重要的。隨著時(shí)間的推移,數(shù)據(jù)庫(kù)中的數(shù)據(jù)量日益增長(zhǎng),而數(shù)據(jù)庫(kù)管理系統(tǒng)的一個(gè)重要功能就是將建立于其上的信息系統(tǒng)的性能維持在一個(gè)可接受的水平上,查詢優(yōu)化器就是實(shí)現(xiàn)這一功能的重要的數(shù)據(jù)庫(kù)系統(tǒng)組件。
　　 查詢優(yōu)化器分為基于代價(jià)和基于規(guī)則的優(yōu)化器。當(dāng)今通用的商業(yè)數(shù)據(jù)庫(kù)的查詢優(yōu)化器

2、多為基于代價(jià)的優(yōu)化器?；诖鷥r(jià)的優(yōu)化器相對(duì)基于規(guī)則的優(yōu)化器的優(yōu)勢(shì)就在于它能根據(jù)數(shù)據(jù)庫(kù)對(duì)象各自特定的信息估算查詢代價(jià),以此來(lái)選擇最優(yōu)的查詢執(zhí)行路徑,而這些數(shù)據(jù)庫(kù)對(duì)象信息就是數(shù)據(jù)庫(kù)管理系統(tǒng)收集的統(tǒng)計(jì)信息。因此,數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息估算的準(zhǔn)確度對(duì)查詢代價(jià)估算的結(jié)果有著顯著的影響,也對(duì)優(yōu)化器的質(zhì)量有著實(shí)質(zhì)性的影響。收集統(tǒng)計(jì)信息可以通過(guò)精確計(jì)算和采樣估算兩種方式,前者收集的統(tǒng)計(jì)信息準(zhǔn)確度高,但計(jì)算代價(jià)大,特別是分析大對(duì)象時(shí)容易給系統(tǒng)造成負(fù)擔(dān)；后者收集的

3、統(tǒng)計(jì)信息準(zhǔn)確度相對(duì)前者較低,但計(jì)算代價(jià)小,系統(tǒng)負(fù)擔(dān)小,即使分析的是大對(duì)象。
　　 本文主要基于開(kāi)源數(shù)據(jù)庫(kù)管理系統(tǒng)PostgreSQL,分析其收集數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息與查詢優(yōu)化器相關(guān)源代碼,重點(diǎn)討論直方圖與Distinct值這兩種對(duì)估算查詢代價(jià)極其重要的統(tǒng)計(jì)信息的收集,提出在PostgreSQL中使用計(jì)算與估算兩種方法收集統(tǒng)計(jì)信息。在采樣估算中使用基于數(shù)據(jù)塊的采樣,并且采用基于直方圖的交叉驗(yàn)證算法將數(shù)據(jù)塊采樣樣本的數(shù)據(jù)偏差縮小至預(yù)定閾值

4、范圍之內(nèi),然后在此樣本上建立等高直方圖或基于值的直方圖,存儲(chǔ)于系統(tǒng)表中,供查詢優(yōu)化器使用。在估算Distinct值時(shí),由于數(shù)據(jù)分布偏差容易造成數(shù)據(jù)塊樣本的偏差,因此引入混合式估算法解決由于f1值(樣本中只出現(xiàn)一次的值的個(gè)數(shù))損失造成的估算誤差。
　　 最后在Linux AS3和PostgreSQL8.1環(huán)境下通過(guò)實(shí)驗(yàn)證明,本文提出的方案適合于PostgreSQL數(shù)據(jù)庫(kù),并且在保證估算準(zhǔn)確度的基礎(chǔ)上提高了統(tǒng)計(jì)信息收集的效率。