DWMS中列存儲的研究與實現(xiàn).pdf

1、數(shù)據(jù)倉庫作為一種分析型的數(shù)據(jù)環(huán)境，越來越受到人們的重視。數(shù)據(jù)倉庫與操作型數(shù)據(jù)庫環(huán)境相分離。相對于操作型環(huán)境而言，分析型環(huán)境對數(shù)據(jù)查詢的速度提出了更高的要求。相對于行存儲，列存儲在讀優(yōu)先的分析型環(huán)境中具有明顯的優(yōu)勢。為此早在一年多之前，作者所在實驗室就開始基于列存儲的數(shù)據(jù)倉庫管理系統(tǒng)的研發(fā)工作。
　　 本文結(jié)合實際項目的研發(fā)，研究了數(shù)據(jù)庫和數(shù)據(jù)倉庫的數(shù)據(jù)存儲技術(shù)、現(xiàn)有關(guān)系數(shù)據(jù)庫管理系統(tǒng)和數(shù)據(jù)倉庫管理系統(tǒng)的相關(guān)技術(shù)，特別是列存儲技術(shù)

2、，設(shè)計并實現(xiàn)了列存儲數(shù)據(jù)倉庫的存儲結(jié)構(gòu)和管理功能，包括外部存儲和緩存。在緩存管理方面提出了一種基于雙管理鏈的自適應(yīng)頁面置換算法——HA算法（Hybrid Adaptive Algorithm）。
　　 首先，本文研究了傳統(tǒng)RDBMS和行存儲DWMS的數(shù)據(jù)存儲，較詳細(xì)地研究了行存儲和列存儲的DB實現(xiàn)方式，特別分析和總結(jié)了兩種開源數(shù)據(jù)庫PostgreSQL和C-Store的數(shù)據(jù)存儲技術(shù)。
　　 在分析已有關(guān)系數(shù)據(jù)庫存儲的基礎(chǔ)

3、上，對基于列存儲的數(shù)據(jù)倉庫的數(shù)據(jù)存儲進(jìn)行了深入的研究，概要地設(shè)計了DWMS中列存儲的整體結(jié)構(gòu)和功能模塊，詳細(xì)闡述了DWMS中的文件管理器、緩沖區(qū)管理器和訪問方法管理三個部分的設(shè)計與實現(xiàn)。DWMS中的數(shù)據(jù)存儲分為兩個方面：邏輯層次結(jié)構(gòu)和物理層次結(jié)構(gòu)。文件管理器使用分層管理的思想將其分為操作系統(tǒng)文件管理、虛擬文件管理和DWMS文件管理三個部分。虛擬文件管理采用LRU算法淘汰文件句柄、哈希算法查找文件。緩沖區(qū)管理器是整個系統(tǒng)的核心和數(shù)據(jù)流樞紐

4、。
　　 本文在通用的緩沖區(qū)管理算法的基礎(chǔ)上提出了一種基于雙管理鏈的自適應(yīng)頁面置換算法——HA算法，該算法是對DMC(2c)算法的改進(jìn)，它引入動態(tài)置換點，同時，根據(jù)缺頁失敗數(shù)確定算法的工作鏈，并根據(jù)頁面訪問序列的局部特征選擇效率較高的頁面置換策略。實驗結(jié)果表明，該算法的缺頁率較改進(jìn)前可降低近30％。B+樹索引是訪問方法管理的一種重要的索引方式。本文主要介紹了該索引的結(jié)構(gòu)、創(chuàng)建、查找和更新操作。
　　 最后，本文分析了DW

5、MS存儲管理器的性能，并提出了它的代價評估模型。結(jié)合該代價評估模型和系統(tǒng)的具體實現(xiàn)，從數(shù)據(jù)存儲的角度提出了兩個方面的優(yōu)化：存儲結(jié)構(gòu)的優(yōu)化和數(shù)據(jù)緩沖區(qū)管理的優(yōu)化。具體優(yōu)化的方法有：將數(shù)據(jù)項中的ROWID存儲在數(shù)據(jù)塊的頭部信息中，節(jié)省存儲空間；贓塊的設(shè)置操作包含在塊管理中，避免數(shù)據(jù)丟失；將段內(nèi)包含的區(qū)信息保存在段控制塊中，有利于段內(nèi)數(shù)據(jù)掃描；哈希鏈采用雙向鏈表的結(jié)構(gòu)，節(jié)省哈希查找時間和便于更新操作；將數(shù)據(jù)緩沖區(qū)進(jìn)行狀態(tài)設(shè)置，減少批量數(shù)據(jù)導(dǎo)入