DWMS中元數(shù)據(jù)以及緩沖區(qū)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、近年來，隨著ERP、電子商務(wù)的迅速發(fā)展，越來越多的企業(yè)開始重視數(shù)據(jù)倉庫的建設(shè)，以從大量數(shù)據(jù)中獲得有用的信息，為企業(yè)帶來經(jīng)濟(jì)效益。相對(duì)于數(shù)據(jù)庫管理系統(tǒng)，數(shù)據(jù)倉庫系統(tǒng)具有面向主題、集成的、不可更新的特點(diǎn)，是一種支持對(duì)大量數(shù)據(jù)進(jìn)行分析的決策性系統(tǒng)。在數(shù)據(jù)倉庫上進(jìn)行數(shù)據(jù)分析時(shí)，常常要求進(jìn)行ad-hoc查詢操作，這就會(huì)在短時(shí)間內(nèi)讀取大量新數(shù)據(jù)。因此，與數(shù)據(jù)庫管理系統(tǒng)相比較，數(shù)據(jù)倉庫系統(tǒng)更偏重于讀操作的性能。列存儲(chǔ)是一種保證高效讀性能的新型存儲(chǔ)技術(shù)

2、。在列存儲(chǔ)中，數(shù)據(jù)以列的形式存儲(chǔ)在磁盤塊中，在查詢時(shí)，只需讀取與查詢相關(guān)的列數(shù)據(jù)，從而減少磁盤I/O，提高了讀操作的效率，所以列存儲(chǔ)已成為目前數(shù)據(jù)倉庫的主流存儲(chǔ)架構(gòu)。
　　 元數(shù)據(jù)和緩沖區(qū)是數(shù)據(jù)倉庫的重要組成部分，元數(shù)據(jù)和緩沖區(qū)的設(shè)計(jì)和實(shí)現(xiàn)關(guān)系到數(shù)據(jù)倉庫的運(yùn)行效率和穩(wěn)定性，元數(shù)據(jù)保存了數(shù)據(jù)字典中各項(xiàng)基本數(shù)據(jù)，是數(shù)據(jù)倉庫數(shù)據(jù)的數(shù)據(jù)，而緩沖區(qū)是為了減少磁盤I/O而產(chǎn)生的內(nèi)存管理結(jié)構(gòu)，因此元數(shù)據(jù)和緩沖區(qū)的設(shè)計(jì)好壞直接關(guān)系到數(shù)據(jù)倉庫的性

3、能。
　　 對(duì)于數(shù)據(jù)倉庫，其數(shù)據(jù)較少更新。但是對(duì)于元數(shù)據(jù)來說，系統(tǒng)需要頻繁的對(duì)其進(jìn)行更新、刪除操作，由于列存儲(chǔ)的局限性，無法很好的支持?jǐn)?shù)據(jù)更新.這也給系統(tǒng)實(shí)現(xiàn)帶來了很大的麻煩。本文作者的研究目標(biāo)是如何設(shè)計(jì)出數(shù)據(jù)倉庫中元數(shù)據(jù)的邏輯結(jié)構(gòu)以及存儲(chǔ)結(jié)構(gòu)，并根據(jù)其存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)出與其相對(duì)應(yīng)的緩沖區(qū)。
　　 本文的研究內(nèi)容主要包括：
　　 1.根據(jù)數(shù)據(jù)倉庫的定義，分析了數(shù)據(jù)存儲(chǔ)底層管理和實(shí)現(xiàn)機(jī)制，并對(duì)其實(shí)現(xiàn)機(jī)制，設(shè)計(jì)出了適合數(shù)

4、據(jù)倉庫底層存儲(chǔ)的物理存儲(chǔ)結(jié)構(gòu)；
　　 2.由于元數(shù)據(jù)具有廣泛性，因此本文只采用了一種元數(shù)據(jù)即--數(shù)據(jù)字典作為研究重點(diǎn)，并對(duì)數(shù)據(jù)字典進(jìn)行了詳細(xì)的設(shè)計(jì)，以符合數(shù)據(jù)倉庫上層模塊的需求；
　　 3.針對(duì)數(shù)據(jù)倉庫列存儲(chǔ)更新效率上的缺點(diǎn)以及數(shù)據(jù)倉庫對(duì)數(shù)據(jù)字典的高效定值查找、更新的需求，本文設(shè)計(jì)出了適合數(shù)據(jù)倉庫數(shù)據(jù)字典的存儲(chǔ)結(jié)構(gòu)--Hash B+樹索引存儲(chǔ)結(jié)構(gòu)，該索引結(jié)構(gòu)可很好地滿足了數(shù)據(jù)倉庫的定值查找和數(shù)據(jù)更新；
　　 4.