面向大數據集的社區(qū)發(fā)現(xiàn)算法研究.pdf

1、社區(qū)發(fā)現(xiàn)，是指在社會網絡中發(fā)現(xiàn)有用社區(qū)結構的過程。隨著科技的發(fā)展，社會網絡以多種形式影響著現(xiàn)實世界中各個領域的方方面面，如朋友關系網絡、科學家文獻引用網絡以及信息通訊網絡等等。作為社會網絡的一個重要屬性，社區(qū)結構的相關研究吸引了越來越多的來自社會學、生物信息學、計算機學等領域專家和學者的密切關注。到目前為止已經涌現(xiàn)出了GN、K-L、譜平分法等為代表的多種在社區(qū)發(fā)現(xiàn)的算法，其中的一些算法甚至已經在現(xiàn)實中得到了應用。
　　本文對社區(qū)發(fā)

2、現(xiàn)算法，特別是在大數據集下社會網絡中的社區(qū)發(fā)現(xiàn)方面做了許多改進。主要體現(xiàn)在如下三個方面:
　　第一，提出了一種使用PageRank值和結點度評估關鍵點的算法。首先提出在社會網絡中，使用PageRank算法評估結點本身的重要性，然后結合Map-Reduce和空間壓縮思想對PageRank改進，使其能夠適應處理大數據集的情況。這樣做即保證了算法的有效性，又可在較低的時間復雜度下完成任務。
　　第二，提出了一種改進的層次聚類算法，

3、對社區(qū)網絡關鍵點進行聚類。首先利用結點的連接作為其屬性，將網絡映射到n維空間中，并將結點間的相似性度量轉換成經典的距離定義來計算。然后對模塊度的計算進行改進，計算兩個相近過程之間的模塊度增益更能適應擁有小社區(qū)和離群點特征的關鍵點聚類。最后，利用改進的凝聚策略進行聚類，在實驗中獲得了較高準確性。
　　第三，在上述兩個算法的基礎之上，提出了一種改進的基于k-均值的社區(qū)發(fā)現(xiàn)算法。對于使用上述兩種算法獲得的初始簇，使用壓縮技術和類B+樹格