基于HBase的SQL轉(zhuǎn)化引擎研究.pdf

1、互聯(lián)網(wǎng)和移動(dòng)通信的出現(xiàn),是信息化高速發(fā)展的結(jié)果。互聯(lián)網(wǎng)和移動(dòng)通信逐漸成為人們最主要的交流溝通工具。信息化的世界需要大數(shù)據(jù)的支持,大數(shù)據(jù)的出現(xiàn)又使得關(guān)系型數(shù)據(jù)庫暴露出了種種的不足,這使得關(guān)系型數(shù)據(jù)庫的統(tǒng)治地位岌岌可危。在此背景下,NoSQL數(shù)據(jù)庫孕育而生,NoSQL數(shù)據(jù)庫產(chǎn)品猶如雨后春筍般蓬勃發(fā)展。這些數(shù)據(jù)庫的最大特點(diǎn)就是能夠進(jìn)行GB級(jí)別到TB級(jí)別的數(shù)據(jù)處理。其中,HBase備受關(guān)注。然而,為了使得數(shù)據(jù)庫能夠支持大數(shù)據(jù)的處理和非結(jié)構(gòu)化數(shù)據(jù)

2、,NoSQL數(shù)據(jù)庫放棄了關(guān)系型數(shù)據(jù)庫強(qiáng)制的事務(wù)完整性,二級(jí)索引機(jī)制和SQL語句作為輸入的查詢操作。隨著HBase的流行,人們開始著手為HBase實(shí)現(xiàn)一個(gè)支持SQL的轉(zhuǎn)化層,以降低對(duì)HBase使用的學(xué)習(xí)難度。
　　本文開篇對(duì)本論文撰寫的研究背景和意義進(jìn)行了闡述,說明了設(shè)計(jì)和實(shí)現(xiàn)一個(gè)基于HBase的SQL轉(zhuǎn)化引擎的重要性。然后,用一章的內(nèi)容對(duì)SQL轉(zhuǎn)化引擎相關(guān)的背景知識(shí)進(jìn)行了介紹,主要包括對(duì)Hadoop的概念和架構(gòu)的介紹;對(duì)HBase

3、整體設(shè)計(jì)介紹和 HBase與傳統(tǒng)關(guān)系型數(shù)據(jù)庫對(duì)比分析;以及對(duì) ANTLR這個(gè)解析工具的工作流程和作用進(jìn)行了詳細(xì)的說明介紹。接下來,是對(duì)SQL轉(zhuǎn)化引擎系統(tǒng)設(shè)計(jì)架構(gòu)的介紹,分層介紹了SQL解析層、SQL分析層、SQL-HBase轉(zhuǎn)化層以及HBase API調(diào)用層。接著,是對(duì)SQL轉(zhuǎn)化引擎的系統(tǒng)實(shí)現(xiàn)進(jìn)行了充分的討論,說明了各個(gè)部分實(shí)現(xiàn)的原理和關(guān)鍵技術(shù)。需要補(bǔ)充的是,系統(tǒng)實(shí)現(xiàn)利用了 HBase現(xiàn)有的大部分接口和協(xié)處理器框架來完成傳統(tǒng)關(guān)系型數(shù)據(jù)庫

4、的查詢和聚合。文章最后也對(duì)SQL轉(zhuǎn)化引擎的效果進(jìn)行了通過性測(cè)試和時(shí)間性能測(cè)試。
　　綜上所述,本論文提出了設(shè)計(jì)一個(gè)基于HBase的SQL轉(zhuǎn)化引擎,使得HBase能接收SQL語句作來操縱HBase的設(shè)想變?yōu)楝F(xiàn)實(shí)。通過ANTLR對(duì)SQL語句進(jìn)行解析,對(duì)解析的結(jié)果進(jìn)行對(duì)象化封裝并對(duì)參數(shù)進(jìn)行遍歷訪問求解出需要查找的列和行,再調(diào)用了經(jīng)過封裝的HBase API類方法來返回結(jié)果,實(shí)現(xiàn)了一個(gè)可用的,簡(jiǎn)單的SQL轉(zhuǎn)化引擎。本論文也是對(duì)HBase擴(kuò)