面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)管理關(guān)鍵技術(shù)研究.pdf

1、當(dāng)代社會數(shù)據(jù)規(guī)模越來越大，且都具有海量、異構(gòu)、半結(jié)構(gòu)化或非結(jié)構(gòu)化的特點(diǎn)。通過網(wǎng)絡(luò)，基于海量數(shù)據(jù)的挖掘、分析以及處理等Web服務(wù)成為信息社會發(fā)展的趨勢。針對海量信息的數(shù)據(jù)密集型應(yīng)用作為這種新型服務(wù)的支撐技術(shù)已引起廣泛關(guān)注。面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)管理存在諸多難點(diǎn)，如海量數(shù)據(jù)的有效存儲，動態(tài)、異構(gòu)數(shù)據(jù)的實(shí)時(shí)更新，索引視圖的建立和高效查詢分析等。因此，本文針對數(shù)據(jù)密集型應(yīng)用中的海量、異構(gòu)、非結(jié)構(gòu)化數(shù)據(jù)的管理問題，研究并開發(fā)數(shù)據(jù)存儲、查詢以及數(shù)

2、據(jù)服務(wù)提供等關(guān)鍵技術(shù)。
　　本文首先建立了一個可擴(kuò)展、高效的面向數(shù)據(jù)密集型應(yīng)用的數(shù)據(jù)管理模型(DIA-DM)，針對該模型，創(chuàng)建了節(jié)點(diǎn)架構(gòu)服務(wù)(DNN)，數(shù)據(jù)布局服務(wù)(HDL)，數(shù)據(jù)索引服務(wù)，數(shù)據(jù)壓縮服務(wù)和數(shù)據(jù)存取服務(wù)。
　　接著，設(shè)計(jì)了一種基于DIA-DM模型的查詢機(jī)制(QueryM)，它是一個將SQL查詢轉(zhuǎn)化為MapReduce作業(yè)的轉(zhuǎn)換器，運(yùn)用一系列的規(guī)則將一個復(fù)雜的SQL查詢轉(zhuǎn)換為盡量少的MapReduce作業(yè)。其核心

3、是一種針對于SQL查詢轉(zhuǎn)換為MapReduce作業(yè)的作業(yè)合并算法(MR-JM)，根據(jù)QueryM查詢機(jī)制中定義的4條合并原則對作業(yè)進(jìn)行合并。
　　最后，設(shè)計(jì)并實(shí)現(xiàn)了一個數(shù)據(jù)密集型典型應(yīng)用——交通數(shù)據(jù)應(yīng)用平臺，使用vSphere進(jìn)行硬件架構(gòu)，在HBase數(shù)據(jù)庫中使用HDL進(jìn)行數(shù)據(jù)布局存儲，使用QueryM查詢機(jī)制對數(shù)據(jù)進(jìn)行查詢。該應(yīng)用平臺主要分為三大模塊，為數(shù)據(jù)管理、信息查詢和數(shù)據(jù)統(tǒng)計(jì)，通過應(yīng)用分析來說明該平臺的實(shí)際可用性和查詢效率