面向大數(shù)據(jù)集的社區(qū)發(fā)現(xiàn)算法研究.pdf

1、社區(qū)發(fā)現(xiàn)，是指在社會網(wǎng)絡(luò)中發(fā)現(xiàn)有用社區(qū)結(jié)構(gòu)的過程。隨著科技的發(fā)展，社會網(wǎng)絡(luò)以多種形式影響著現(xiàn)實世界中各個領(lǐng)域的方方面面，如朋友關(guān)系網(wǎng)絡(luò)、科學(xué)家文獻(xiàn)引用網(wǎng)絡(luò)以及信息通訊網(wǎng)絡(luò)等等。作為社會網(wǎng)絡(luò)的一個重要屬性，社區(qū)結(jié)構(gòu)的相關(guān)研究吸引了越來越多的來自社會學(xué)、生物信息學(xué)、計算機學(xué)等領(lǐng)域?qū)＜液蛯W(xué)者的密切關(guān)注。到目前為止已經(jīng)涌現(xiàn)出了GN、K-L、譜平分法等為代表的多種在社區(qū)發(fā)現(xiàn)的算法，其中的一些算法甚至已經(jīng)在現(xiàn)實中得到了應(yīng)用。
　　本文對社區(qū)發(fā)

2、現(xiàn)算法，特別是在大數(shù)據(jù)集下社會網(wǎng)絡(luò)中的社區(qū)發(fā)現(xiàn)方面做了許多改進(jìn)。主要體現(xiàn)在如下三個方面:
　　第一，提出了一種使用PageRank值和結(jié)點度評估關(guān)鍵點的算法。首先提出在社會網(wǎng)絡(luò)中，使用PageRank算法評估結(jié)點本身的重要性，然后結(jié)合Map-Reduce和空間壓縮思想對PageRank改進(jìn)，使其能夠適應(yīng)處理大數(shù)據(jù)集的情況。這樣做即保證了算法的有效性，又可在較低的時間復(fù)雜度下完成任務(wù)。
　　第二，提出了一種改進(jìn)的層次聚類算法，

3、對社區(qū)網(wǎng)絡(luò)關(guān)鍵點進(jìn)行聚類。首先利用結(jié)點的連接作為其屬性，將網(wǎng)絡(luò)映射到n維空間中，并將結(jié)點間的相似性度量轉(zhuǎn)換成經(jīng)典的距離定義來計算。然后對模塊度的計算進(jìn)行改進(jìn)，計算兩個相近過程之間的模塊度增益更能適應(yīng)擁有小社區(qū)和離群點特征的關(guān)鍵點聚類。最后，利用改進(jìn)的凝聚策略進(jìn)行聚類，在實驗中獲得了較高準(zhǔn)確性。
　　第三，在上述兩個算法的基礎(chǔ)之上，提出了一種改進(jìn)的基于k-均值的社區(qū)發(fā)現(xiàn)算法。對于使用上述兩種算法獲得的初始簇，使用壓縮技術(shù)和類B+樹格