面向大規(guī)模圖數(shù)據(jù)的挖掘分析算法研究.pdf

1、近年來(lái),隨著社交網(wǎng)絡(luò)的大力發(fā)展和圖數(shù)據(jù)表達(dá)的廣泛應(yīng)用性,圖數(shù)據(jù)的規(guī)模呈爆炸性增長(zhǎng),這對(duì)大規(guī)模圖數(shù)據(jù)挖掘分析提出了巨大挑戰(zhàn)。現(xiàn)階段都是采用大規(guī)模圖數(shù)據(jù)處理系統(tǒng)對(duì)圖數(shù)據(jù)進(jìn)行挖掘和處理。
　　然而,現(xiàn)有的大規(guī)模圖數(shù)據(jù)挖掘處理技術(shù)大部分都是離線批處理的,對(duì)高效的圖數(shù)據(jù)挖掘分析技術(shù)研究較少。本文正是以這個(gè)思路為出發(fā)點(diǎn),提出了基于Arbor的高效圖數(shù)據(jù)挖掘分析編程模型。本文研究了圖數(shù)據(jù)庫(kù)和大規(guī)模圖數(shù)據(jù)處理系統(tǒng),提出了基于Arbor的高效圖數(shù)據(jù)

2、挖掘算法編程模型,利用該編程模型和MapReduce實(shí)現(xiàn)了大規(guī)模圖數(shù)據(jù)挖掘分析中重要算法:PageRank算法、單源最短路徑算法和廣度優(yōu)先遍歷算法,最后搭建了實(shí)驗(yàn)測(cè)試環(huán)境,在數(shù)據(jù)集上對(duì)上述三個(gè)算法從運(yùn)行時(shí)間、內(nèi)存消耗上進(jìn)行了全面的性能評(píng)測(cè),并與開源系統(tǒng) Hama、迭代式處理系統(tǒng)Spark進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果證明:基于Arbor的圖算法性能明顯優(yōu)于開源系統(tǒng)Hama、Spark、Hadoop。
　　本文提出的基于Arbor的高效圖數(shù)據(jù)挖