基于HDFS的結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和查詢方法研究.pdf

1、大數(shù)據(jù)的“4V”特點(diǎn):體量大、種類(lèi)多、價(jià)值大以及處理速度快，使得原有的關(guān)系型數(shù)據(jù)庫(kù)集群已難以容納海量的結(jié)構(gòu)化數(shù)據(jù)。因此，基于分布式文件系統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)成為研究熱點(diǎn)?；诜植际轿募到y(tǒng)的數(shù)據(jù)庫(kù)是指底層存儲(chǔ)采用Hadoop分布式文件系統(tǒng)HDFS，上層采用以大規(guī)模并行處理MPP架構(gòu)作為調(diào)度引擎的數(shù)據(jù)庫(kù)。HDFS分布式文件系統(tǒng)部署于由多個(gè)獨(dú)立基礎(chǔ)設(shè)施并通過(guò)網(wǎng)絡(luò)連接的節(jié)點(diǎn)組成的集群上，其中一個(gè)節(jié)點(diǎn)用于存儲(chǔ)文件系統(tǒng)的元數(shù)據(jù)信息，其他節(jié)點(diǎn)用來(lái)存儲(chǔ)文

2、件數(shù)據(jù)，文件系統(tǒng)中所有的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)進(jìn)行傳輸。目前，基于HDFS的關(guān)系型數(shù)據(jù)庫(kù)在應(yīng)用中還存在以下不足:1.未實(shí)現(xiàn)跨數(shù)據(jù)中心的功能，因而難以滿足跨數(shù)據(jù)中心查詢的應(yīng)用需求;2.基于HDFS的數(shù)據(jù)庫(kù)存儲(chǔ)數(shù)據(jù)所采用的存儲(chǔ)策略，使得屬于同一表的數(shù)據(jù)集中存儲(chǔ)于負(fù)載較小的節(jié)點(diǎn)，這種存取策略將降低遍歷數(shù)據(jù)的并行效率;3.當(dāng)部署HDFS的集群中存儲(chǔ)節(jié)點(diǎn)發(fā)生變化時(shí)，為保證各個(gè)節(jié)點(diǎn)存儲(chǔ)負(fù)載的均衡性，需進(jìn)行節(jié)點(diǎn)間的數(shù)據(jù)遷移，且該過(guò)程涉及所有節(jié)點(diǎn)，遷移時(shí)間過(guò)長(zhǎng)，

3、因而對(duì)數(shù)據(jù)庫(kù)的實(shí)時(shí)查詢效率影響較大。
　　針對(duì)上述問(wèn)題，本文基于清華大學(xué)信息科學(xué)技術(shù)國(guó)家實(shí)驗(yàn)室搭建的Impala集群框架，結(jié)合242課題“面向關(guān)系型數(shù)據(jù)的云存儲(chǔ)關(guān)鍵技術(shù)研究及驗(yàn)證”，從底層分布式文件系統(tǒng)HDFS數(shù)據(jù)存儲(chǔ)角度，對(duì)結(jié)構(gòu)化數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)、查詢以及遷移方法進(jìn)行了探索性研究，并對(duì)基于HDFS的關(guān)系型數(shù)據(jù)庫(kù)跨數(shù)據(jù)中心部署方法進(jìn)行了實(shí)際應(yīng)用測(cè)試。
　　本文的主要工作包括:1.跨數(shù)據(jù)中心的分布式數(shù)據(jù)庫(kù)Impala系統(tǒng)部署。

4、將Impala系統(tǒng)進(jìn)行跨廣域網(wǎng)、跨地域的多個(gè)數(shù)據(jù)中心的部署。2.基于環(huán)形分布式哈希的數(shù)據(jù)存儲(chǔ)和查詢方法研究。將分布式哈希表和CHORD環(huán)結(jié)構(gòu)應(yīng)用于分布式文件系統(tǒng)數(shù)據(jù)的存儲(chǔ)和查詢中，將存儲(chǔ)節(jié)點(diǎn)與數(shù)據(jù)都進(jìn)行散列，并根據(jù)哈希值進(jìn)行映射存儲(chǔ)，通過(guò)對(duì)保存的元數(shù)據(jù)信息進(jìn)行二分查找來(lái)定位所需數(shù)據(jù)的存儲(chǔ)位置。3.基于環(huán)形分布式散列的數(shù)據(jù)遷移方法研究，當(dāng)部署HDFS文件系統(tǒng)的集群新增存儲(chǔ)節(jié)點(diǎn)時(shí)，其“鄰居”節(jié)點(diǎn)的部分?jǐn)?shù)據(jù)將遷移至新節(jié)點(diǎn);當(dāng)有存儲(chǔ)節(jié)點(diǎn)失效時(shí)，

5、該節(jié)點(diǎn)上存儲(chǔ)的數(shù)據(jù)依據(jù)備份恢復(fù)到“鄰居”節(jié)點(diǎn)進(jìn)行存儲(chǔ)。
　　本文的創(chuàng)新點(diǎn)為:1.實(shí)現(xiàn)Impala系統(tǒng)的跨數(shù)據(jù)中心部署，提高了Impala系統(tǒng)的應(yīng)用范圍和對(duì)跨域大數(shù)據(jù)應(yīng)用的支持;2.提出基于環(huán)形分布式哈希的數(shù)據(jù)存儲(chǔ)和查詢方法，利用基于分布式哈希以及CHORD環(huán)方法進(jìn)行數(shù)據(jù)存儲(chǔ)和查詢，使數(shù)據(jù)均勻的散列在各個(gè)節(jié)點(diǎn)上，提高了數(shù)據(jù)查詢的并行性，降低了查詢時(shí)延;3.提出基于環(huán)形分布式散列的數(shù)據(jù)遷移方法，利用該方法進(jìn)行數(shù)據(jù)遷移，減少了數(shù)據(jù)移動(dòng)所