基于復雜網(wǎng)絡的網(wǎng)絡大數(shù)據(jù)聚類研究.pdf

1、隨著通訊科技和IT技術的飛速發(fā)展，網(wǎng)絡規(guī)模不斷地擴大及結構逐漸的復雜，使得網(wǎng)絡產(chǎn)生海量信息數(shù)據(jù)，即大數(shù)據(jù)(Big Data)。大數(shù)據(jù)的出現(xiàn)使得人類社會從信息時代過渡到大數(shù)據(jù)時代。在大數(shù)據(jù)時代，網(wǎng)絡數(shù)據(jù)表現(xiàn)出復雜性、多樣性以及異質(zhì)性等特征。在真實網(wǎng)絡中，社區(qū)結構（又稱聚類特性）是復雜網(wǎng)絡大數(shù)據(jù)的重要特征，即社區(qū)內(nèi)部連接比較緊密，社區(qū)之間連接比較稀疏。社區(qū)結構是分析網(wǎng)絡大數(shù)據(jù)的關鍵與基礎，具有重要的研究價值和科學意義。目前社區(qū)發(fā)現(xiàn)已經(jīng)成為數(shù)

2、據(jù)挖掘等眾多領域最具挑戰(zhàn)性的研究課題之一。本文主要圍繞同質(zhì)網(wǎng)絡和異質(zhì)網(wǎng)絡社區(qū)發(fā)現(xiàn)算法進行研究，主要包括以下幾個方面的內(nèi)容:
　　(1)為了能夠有效地挖掘復雜網(wǎng)絡中的重疊社區(qū)結構，本文提出一種基于極大團連接相似性的重疊社區(qū)發(fā)現(xiàn)算法。該算法引入極大團思想來初始化網(wǎng)絡的社區(qū)結構，并根據(jù)團間的共享鄰居節(jié)點和團間橋接邊對社區(qū)間的連接性進行量化處理，以此為依據(jù)合并網(wǎng)絡中的社區(qū)，得到較為合理的重疊社區(qū)結構。將該算法與經(jīng)典的CPM算法在四個真實網(wǎng)

3、絡上進行對比實驗，實驗結果表明，通過本文算法得到的網(wǎng)絡社區(qū)結構在精確率、覆蓋率和模塊度等方面有所提高，證明該算法發(fā)現(xiàn)的重疊社區(qū)結構較為合理。
　　(2)針對傳統(tǒng)的同質(zhì)網(wǎng)絡社區(qū)發(fā)現(xiàn)算法無法充分利用異質(zhì)信息的問題，本文提出一種基于語義路徑的異質(zhì)網(wǎng)絡社區(qū)發(fā)現(xiàn)算法，充分考慮網(wǎng)絡中異質(zhì)節(jié)點和邊所包含的信息。該算法首先通過FindPath方法選取語義路徑;然后提取出不同語義路徑下對象的相似性矩陣;最后提取不同語義路徑下的對象特征并進行融合，采

4、用K-Means算法得到最終的社區(qū)劃分結果。并在真實數(shù)據(jù)集上進行實驗，實驗結果表明該算法的有效性。
　　(3)針對異質(zhì)網(wǎng)絡的社區(qū)發(fā)現(xiàn)算法中無法充分保留異質(zhì)網(wǎng)絡原始結構及其信息，而且較少考慮異質(zhì)節(jié)點同屬一個社區(qū)的情況，本文提出一種基于二部極大團的異質(zhì)網(wǎng)絡社區(qū)發(fā)現(xiàn)算法。該算法引入二部極大團理論:首先，以關鍵節(jié)點所屬規(guī)模最大的二部極大團作為初始社區(qū);然后，以量化的社區(qū)的鄰居節(jié)點與社區(qū)的相似性為依據(jù)對社區(qū)進行擴充;最后，劃分出合理的社區(qū)結