面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)管理關(guān)鍵技術(shù)研究.pdf

1、當(dāng)代社會(huì)數(shù)據(jù)規(guī)模越來(lái)越大，且都具有海量、異構(gòu)、半結(jié)構(gòu)化或非結(jié)構(gòu)化的特點(diǎn)。通過(guò)網(wǎng)絡(luò)，基于海量數(shù)據(jù)的挖掘、分析以及處理等Web服務(wù)成為信息社會(huì)發(fā)展的趨勢(shì)。針對(duì)海量信息的數(shù)據(jù)密集型應(yīng)用作為這種新型服務(wù)的支撐技術(shù)已引起廣泛關(guān)注。面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)管理存在諸多難點(diǎn)，如海量數(shù)據(jù)的有效存儲(chǔ)，動(dòng)態(tài)、異構(gòu)數(shù)據(jù)的實(shí)時(shí)更新，索引視圖的建立和高效查詢(xún)分析等。因此，本文針對(duì)數(shù)據(jù)密集型應(yīng)用中的海量、異構(gòu)、非結(jié)構(gòu)化數(shù)據(jù)的管理問(wèn)題，研究并開(kāi)發(fā)數(shù)據(jù)存儲(chǔ)、查詢(xún)以及數(shù)

2、據(jù)服務(wù)提供等關(guān)鍵技術(shù)。
　　本文首先建立了一個(gè)可擴(kuò)展、高效的面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)管理模型(DIA-DM)，針對(duì)該模型，創(chuàng)建了節(jié)點(diǎn)架構(gòu)服務(wù)(DNN)，數(shù)據(jù)布局服務(wù)(HDL)，數(shù)據(jù)索引服務(wù)，數(shù)據(jù)壓縮服務(wù)和數(shù)據(jù)存取服務(wù)。
　　接著，設(shè)計(jì)了一種基于DIA-DM模型的查詢(xún)機(jī)制(QueryM)，它是一個(gè)將SQL查詢(xún)轉(zhuǎn)化為MapReduce作業(yè)的轉(zhuǎn)換器，運(yùn)用一系列的規(guī)則將一個(gè)復(fù)雜的SQL查詢(xún)轉(zhuǎn)換為盡量少的MapReduce作業(yè)。其核心

3、是一種針對(duì)于SQL查詢(xún)轉(zhuǎn)換為MapReduce作業(yè)的作業(yè)合并算法(MR-JM)，根據(jù)QueryM查詢(xún)機(jī)制中定義的4條合并原則對(duì)作業(yè)進(jìn)行合并。
　　最后，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)密集型典型應(yīng)用——交通數(shù)據(jù)應(yīng)用平臺(tái)，使用vSphere進(jìn)行硬件架構(gòu)，在HBase數(shù)據(jù)庫(kù)中使用HDL進(jìn)行數(shù)據(jù)布局存儲(chǔ)，使用QueryM查詢(xún)機(jī)制對(duì)數(shù)據(jù)進(jìn)行查詢(xún)。該應(yīng)用平臺(tái)主要分為三大模塊，為數(shù)據(jù)管理、信息查詢(xún)和數(shù)據(jù)統(tǒng)計(jì)，通過(guò)應(yīng)用分析來(lái)說(shuō)明該平臺(tái)的實(shí)際可用性和查詢(xún)效率