基于MapReduce的復雜結構數(shù)據(jù)處理.pdf

1、近年以來，大數(shù)據(jù)處理的問題一直困擾著整個計算機界。尤其是World WideWeb誕生以后，互聯(lián)網(wǎng)尤其是中國互聯(lián)網(wǎng)飛速發(fā)展，各種類型的數(shù)據(jù)爆炸式增長。如今，傳統(tǒng)的集中式數(shù)據(jù)庫得到了廣泛的應用，幾乎無處不在。然而經(jīng)過學術界廣泛研究和工業(yè)界長期實踐發(fā)現(xiàn)傳統(tǒng)的集中式數(shù)據(jù)管理技術正逐漸向著少數(shù)大公司相繼建立的基于云架構的數(shù)據(jù)中心演變。在此背景之下，如何在大型的數(shù)據(jù)中心中存儲、索引和組織海量的數(shù)據(jù)已經(jīng)成為當今全世界迫切需要解決的難題。
　　

2、海量數(shù)據(jù)的管理問題已經(jīng)引起了全世界學術界和工業(yè)界的廣泛關注。計算機應用的種類不斷增加，海量數(shù)據(jù)的結構類型也隨之千變?nèi)f化，雖然當前對海量數(shù)據(jù)處理已經(jīng)有了較系統(tǒng)的研究，然而很難用一種通用的技術來解決復雜結構的海量數(shù)據(jù)的處理。面對現(xiàn)實世界中眾多各具特色的數(shù)據(jù)，迫切的需要相應的技術來支持，特別是對結構較為復雜的數(shù)據(jù)處理的支持。
　　基于以上描述，本文對復雜結構的海量數(shù)據(jù)處理做了深入研究。文中以兩種復雜結構類型的數(shù)據(jù)為代表，詳細討論了如何基

3、于MapReduce框架對各種復雜結構的海量數(shù)據(jù)進行高效的處理。重點研究了如何才能夠使用一種通用模型直接支持于復雜結構的海量數(shù)據(jù)處理。著重從以下幾點進行了研究。
　　·分析了復雜結構的海量數(shù)據(jù)處理的迫切性與可行性。MapReduce比較適宜于海量數(shù)據(jù)的離線處理，但是該模型將輸入數(shù)據(jù)作為簡單的字符流讀入。由于簡單的字符流并不能表示數(shù)據(jù)的復雜結構，因此傳統(tǒng)的MapReduce模型并不能直接用于復雜結構數(shù)據(jù)的處理。然而現(xiàn)實世界中越來越多

4、的應用均為復雜結構的數(shù)據(jù)，因此迫切的需要復雜結構的數(shù)據(jù)處理技術。
　　·實現(xiàn)了基于MapReduce的論壇圖數(shù)據(jù)的分析性查詢。論壇數(shù)據(jù)是本文研究的第一種類型的數(shù)據(jù)，同時也是最具典型性的復雜結構數(shù)據(jù)。現(xiàn)存的論壇數(shù)據(jù)分析技術大多基于數(shù)據(jù)的文本內(nèi)容，而忽視了數(shù)據(jù)本身的結構信息。本文提出了一種新的海量數(shù)據(jù)分析和查詢工具，作為CWI(Chinese WebInfrasture)的一部分，實現(xiàn)了對于論壇數(shù)據(jù)內(nèi)容和結構的綜合分析性查詢。文中實現(xiàn)

5、了在分布式的環(huán)境下對TLGM圖的處理，并在此基礎上，進一步實現(xiàn)了TLGM-QL的四個基本算子，并通過實驗證明該方法具有良好的平衡性和可擴展性。
　　·實現(xiàn)了基于MapReduce的移動對象軌跡數(shù)據(jù)的查詢處理。移動對象的軌跡數(shù)據(jù)是本文研究的另一種類型的數(shù)據(jù)，同時也是最具典型性的時序數(shù)據(jù)。如何不破壞時序數(shù)據(jù)的特殊屬性，而將其劃分為若干部分分配到各個節(jié)點中分布式管理，同時在各個節(jié)點中高度并行的執(zhí)行數(shù)據(jù)處理，是在云架構中首先需要解決的關鍵