大規(guī)模復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)與社區(qū)進(jìn)化分析技術(shù)研究.pdf

1、隨著移動(dòng)互聯(lián)時(shí)代的到來，網(wǎng)絡(luò)日益得以普及，各種社交網(wǎng)絡(luò)平臺(tái)的興起，人們或多或少通過網(wǎng)絡(luò)與其他人或物發(fā)生著聯(lián)系，形成復(fù)雜的關(guān)系網(wǎng)絡(luò)，產(chǎn)生了海量的網(wǎng)絡(luò)數(shù)據(jù)。復(fù)雜網(wǎng)絡(luò)的研究對(duì)廣告投放、精準(zhǔn)營(yíng)銷、內(nèi)容推薦、用戶行為預(yù)測(cè)等具有極大的價(jià)值，而社區(qū)發(fā)現(xiàn)與社區(qū)進(jìn)化作為復(fù)雜網(wǎng)絡(luò)分析中的研究熱點(diǎn)，自提出以來，一直受到學(xué)者們的廣泛關(guān)注，提出了大量的研究成果。
　　對(duì)于社區(qū)發(fā)現(xiàn)，隨著網(wǎng)絡(luò)規(guī)模增大，傳統(tǒng)社區(qū)發(fā)現(xiàn)算法已無法有效和高效地處理大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)，本文

2、結(jié)合GraphX圖計(jì)算框架，提出了新的大規(guī)模復(fù)雜網(wǎng)絡(luò)社區(qū)并行發(fā)現(xiàn)算法。實(shí)驗(yàn)表明本文算法能夠有效的處理大規(guī)模復(fù)雜網(wǎng)絡(luò)數(shù)據(jù)，百萬級(jí)以上節(jié)點(diǎn)處理時(shí)間約為4分鐘，是Hadoop平臺(tái)下并行發(fā)現(xiàn)算法運(yùn)行時(shí)間的1/20，社區(qū)識(shí)別準(zhǔn)確率比傳統(tǒng)社區(qū)發(fā)現(xiàn)算法提高了3％。
　　對(duì)于社區(qū)進(jìn)化，隨著傳統(tǒng)事件框架限制條件越來越寬松，挖掘出的事件雖然增多，但同時(shí)也挖掘出了大量冗余事件，而且這些框架沒有考慮到事件的重疊性和伴隨性。為了克服傳統(tǒng)事件框架的問題，本文

3、基于事件框架，提出了弱事件的概念，并對(duì)傳統(tǒng)事件框架進(jìn)行了改進(jìn)，重新定義了各種事件，并給出了新的限制條件，最后提出了適用于弱事件挖掘的框架。實(shí)驗(yàn)表明本文社區(qū)演化框架發(fā)現(xiàn)事件比傳統(tǒng)框架多22.9％，事件準(zhǔn)確率提高了4％，解決了弱社區(qū)挖掘問題。本文主要工作包括:
　　(1)介紹了復(fù)雜網(wǎng)絡(luò)社區(qū)發(fā)現(xiàn)及社區(qū)進(jìn)化的研究背景與意義，并介紹了當(dāng)前社區(qū)發(fā)現(xiàn)與社區(qū)進(jìn)化方向的國(guó)內(nèi)外研究現(xiàn)狀及最新成果。
　　(2)根據(jù)模塊度思想，結(jié)合圖論、網(wǎng)絡(luò)性質(zhì)及

4、近似優(yōu)化理論，提出多社區(qū)選擇模型，并設(shè)計(jì)了新的模塊度增量更新方法，算法首先計(jì)算出所有節(jié)點(diǎn)間的模塊度增量，然后選取網(wǎng)絡(luò)中所有具有最大模塊度增量的社區(qū)進(jìn)行合并，最后利用新的模塊度增量更新方法，更新與合并社區(qū)相關(guān)的模塊度增量，再結(jié)合GraphX設(shè)計(jì)了并行處理算法。
　　(3)根據(jù)事件框架定義，提出了“弱擴(kuò)張”、“弱收縮”、“弱分裂”、“弱合并”等新的事件，以解決在一段時(shí)間內(nèi)社區(qū)結(jié)構(gòu)同時(shí)發(fā)生多種事件的情況。為了能夠準(zhǔn)確的發(fā)現(xiàn)這些事件，提出