面向OLAP的分布式鍵值存儲(chǔ)引擎.pdf

1、現(xiàn)如今，企業(yè)信息系統(tǒng)產(chǎn)生的數(shù)據(jù)量急劇增加，用于企業(yè)數(shù)據(jù)管理的聯(lián)機(jī)事務(wù)處理系統(tǒng)的分析處理能力差強(qiáng)人意。在此應(yīng)用背景下，數(shù)據(jù)倉庫技術(shù)獲得了長足的發(fā)展，數(shù)據(jù)倉庫技術(shù)于20世紀(jì)80年代提出，20世紀(jì)90年代從最初的探索階段進(jìn)入了實(shí)質(zhì)的使用階段。聯(lián)機(jī)分析處理系統(tǒng)，即 OLAP系統(tǒng)，是數(shù)據(jù)倉庫技術(shù)中最主要的應(yīng)用之一，尤其是隨著大數(shù)據(jù)時(shí)代的到來，OLAP系統(tǒng)得到了越來越廣泛的應(yīng)用。OLAP系統(tǒng)擅長針對(duì)大數(shù)據(jù)量進(jìn)行復(fù)雜的多維查詢處理，將分析處理所獲得的

2、潛在的價(jià)值信息以一種直觀而易懂的形式展示給相關(guān)的決策和分析人員，方便他們了解對(duì)象的需求，制定切實(shí)可行的方案。在 OLAP系統(tǒng)中，數(shù)據(jù)存儲(chǔ)系統(tǒng)扮演著極其重要的角色。存儲(chǔ)系統(tǒng)作為其底層基礎(chǔ)系統(tǒng)，它的吞吐量，訪問延遲，可用性和可伸縮性如何將直接影響 OLAP系統(tǒng)的數(shù)據(jù)規(guī)模，性能；而這也將進(jìn)一步影響數(shù)據(jù)查詢處理所得結(jié)果的實(shí)時(shí)性和有效性。
　　本文以自行設(shè)計(jì)和研發(fā)的面向 OLAP應(yīng)用場(chǎng)景的分布式鍵值存儲(chǔ)引擎 T-IMDB為背景，詳細(xì)闡述了其

3、設(shè)計(jì)思想，關(guān)鍵技術(shù)和實(shí)現(xiàn)方法。T-IMDB系統(tǒng)將內(nèi)存作為其永久性存儲(chǔ)介質(zhì)，磁盤等二級(jí)存儲(chǔ)設(shè)備僅用于存儲(chǔ)備份數(shù)據(jù)。它首先通過采用基于日志結(jié)構(gòu)的內(nèi)存管理機(jī)制和兩階段日志清理與資源回收方案，有效地減少了內(nèi)存碎片，提高了內(nèi)存的使用效率，使得系統(tǒng)在內(nèi)存利用率較高的情況下仍能保持較高的吞吐量和較低的訪問延遲。其次，T-IMDB引入一套可伸縮的分布式索引方案，該方案在 Key-Value數(shù)據(jù)模型基礎(chǔ)上支持范圍查詢，同時(shí)保證索引和被索引的數(shù)據(jù)在客戶端角