面向大規(guī)模圖數(shù)據(jù)的挖掘分析算法研究.pdf

1、近年來,隨著社交網(wǎng)絡(luò)的大力發(fā)展和圖數(shù)據(jù)表達(dá)的廣泛應(yīng)用性,圖數(shù)據(jù)的規(guī)模呈爆炸性增長,這對大規(guī)模圖數(shù)據(jù)挖掘分析提出了巨大挑戰(zhàn)?，F(xiàn)階段都是采用大規(guī)模圖數(shù)據(jù)處理系統(tǒng)對圖數(shù)據(jù)進(jìn)行挖掘和處理。
　　然而,現(xiàn)有的大規(guī)模圖數(shù)據(jù)挖掘處理技術(shù)大部分都是離線批處理的,對高效的圖數(shù)據(jù)挖掘分析技術(shù)研究較少。本文正是以這個思路為出發(fā)點,提出了基于Arbor的高效圖數(shù)據(jù)挖掘分析編程模型。本文研究了圖數(shù)據(jù)庫和大規(guī)模圖數(shù)據(jù)處理系統(tǒng),提出了基于Arbor的高效圖數(shù)據(jù)

2、挖掘算法編程模型,利用該編程模型和MapReduce實現(xiàn)了大規(guī)模圖數(shù)據(jù)挖掘分析中重要算法:PageRank算法、單源最短路徑算法和廣度優(yōu)先遍歷算法,最后搭建了實驗測試環(huán)境,在數(shù)據(jù)集上對上述三個算法從運行時間、內(nèi)存消耗上進(jìn)行了全面的性能評測,并與開源系統(tǒng) Hama、迭代式處理系統(tǒng)Spark進(jìn)行對比。實驗結(jié)果證明:基于Arbor的圖算法性能明顯優(yōu)于開源系統(tǒng)Hama、Spark、Hadoop。
　　本文提出的基于Arbor的高效圖數(shù)據(jù)挖