HBase內(nèi)存索引系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)和數(shù)據(jù)庫(kù)技術(shù)的快速發(fā)展，人類需要儲(chǔ)存的數(shù)據(jù)量極大的增長(zhǎng)，傳統(tǒng)的儲(chǔ)存、處理數(shù)據(jù)的理念已經(jīng)不能適用于海量數(shù)據(jù)的環(huán)境。為了滿足當(dāng)前數(shù)據(jù)存儲(chǔ)和處理的需求，現(xiàn)在的數(shù)據(jù)系統(tǒng)是建立在分布式系統(tǒng)之上的。HBase是目前最受歡迎開源分布式數(shù)據(jù)庫(kù)軟件之一。HBase的設(shè)計(jì)主要目的是穩(wěn)定的存儲(chǔ)海量的數(shù)據(jù)，在其它方面 HBase的性能并沒有我們期望的高。HBase讀取時(shí)對(duì)數(shù)據(jù)的行?。╮owkey）有著很大的依賴性，這點(diǎn)尤其限制 HBase在復(fù)雜條

2、件下的查詢性能。
　　在傳統(tǒng)的數(shù)據(jù)庫(kù)中索引技術(shù)的使用可以極大的提高數(shù)據(jù)庫(kù)的查詢效率，以此為鑒本文嘗試建立HBase非rowkey列的索引來提高HBase在復(fù)雜條件下的查詢性能。本文中索引樹采用了重慶大學(xué)提出的HT樹索引，為了優(yōu)化索引樹的空間利用率對(duì)HT樹的插入和刪除算法進(jìn)行了一些優(yōu)化。本文中將索引樹存儲(chǔ)在Spark分布式內(nèi)存計(jì)算系統(tǒng)中，Spark是一個(gè)效率極高的分布式內(nèi)存計(jì)算軟件，將索引樹存儲(chǔ)在Spark之上能快速的提高索引的處理

3、效率。在索引系統(tǒng)的實(shí)現(xiàn)時(shí)采用了二級(jí)索引的設(shè)計(jì)架構(gòu)，在這種設(shè)計(jì)下每個(gè)查詢都是由兩部分組成的。查詢時(shí)我們可以先在索引系統(tǒng)中獲取到rowkey，拿到rowkey之后在從HBase讀取數(shù)據(jù)。這種分段查詢的思想雖然在查詢條件里有rowkey的情況下性能比HBase稍低，但極大的提高了查詢條件里沒有rowkey時(shí)HBase的查詢效率，使得HBase在復(fù)雜查詢條件下的適用性提高。
　　本文同時(shí)也實(shí)現(xiàn)了一個(gè)較為精簡(jiǎn)的索引系統(tǒng)。索引系統(tǒng)由索引中間件