基于Spark的大規(guī)模社交網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)算法設(shè)計與實(shí)現(xiàn).pdf

1、近年來，隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，加上移動終端及移動互聯(lián)網(wǎng)的逐漸普及，越來越多的人成為了社交網(wǎng)絡(luò)中的一員。社交網(wǎng)絡(luò)的不斷發(fā)展，導(dǎo)致了社交網(wǎng)絡(luò)的規(guī)模呈現(xiàn)出了爆炸式的增長。社區(qū)發(fā)現(xiàn)也面臨著數(shù)據(jù)量大、復(fù)雜性高等問題。由于傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法大多數(shù)只能適用于一些小規(guī)模的網(wǎng)絡(luò)或者實(shí)驗(yàn)生成的網(wǎng)絡(luò)，當(dāng)網(wǎng)絡(luò)中用戶數(shù)量的規(guī)模很大時，使用傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法受到了硬件及算法自身復(fù)雜度的限制，因此很難高效的來處理如此海量的數(shù)據(jù)，嚴(yán)重制約了大規(guī)模社交網(wǎng)絡(luò)中的社區(qū)發(fā)

2、現(xiàn)。
　　本文針對傳統(tǒng)社區(qū)發(fā)現(xiàn)方法難以適應(yīng)大規(guī)模的社交網(wǎng)絡(luò)場景，采用Spark大數(shù)據(jù)處理框架將傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法并行化，利用集群所具有的計算優(yōu)勢來處理海量的用戶數(shù)據(jù)，降低算法執(zhí)行所消耗的時間。選取經(jīng)典的標(biāo)簽傳播方法作為基礎(chǔ)算法，在Spark平臺上進(jìn)行并行化拓展，實(shí)現(xiàn)了一種基于Spark的并行化社區(qū)發(fā)現(xiàn)算法，同時針對算法在實(shí)驗(yàn)過程中所產(chǎn)生的問題對算法進(jìn)行了相應(yīng)的改進(jìn)。最后，通過使用Facebook、Twitter社交網(wǎng)絡(luò)數(shù)據(jù)集進(jìn)行實(shí)

3、驗(yàn)，驗(yàn)證了本文所設(shè)計的算法的高效與簡潔性。本論文的主要工作及創(chuàng)新點(diǎn)有以下幾方面:
　　(1)首先，對傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法進(jìn)行理論研究，同時對其并行化的可行性進(jìn)行分析;接著，對當(dāng)前流行的Spark等大數(shù)據(jù)處理工具作了理論與技術(shù)上的分析，為后續(xù)算法的并行化提供技術(shù)保障。
　　(2)選擇傳統(tǒng)的標(biāo)簽傳播算法作為基礎(chǔ)算法，通過將其與Spark技術(shù)相結(jié)合進(jìn)行并行化實(shí)現(xiàn)，解決了傳統(tǒng)標(biāo)簽算法難于解決大規(guī)模網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)的問題;
　　(3)