基于Spark的社交網絡社區(qū)發(fā)現算法設計與實現.pdf

1、分類號UDC塌川大季學號蝗】曼咝至密級——YANGZHOUUNlVERSITY碩士學位論文(全El制專業(yè)學位)基于Spark的社交網絡社區(qū)發(fā)現算法設計與實現王剛指導教師姓名：墮墊型整撞：塹劌盤堂：生蒸塑劌：22QQ2鑒里＆壺絲三堡塑：主圈墊焦揚趟金金璺：婆菱揚叢：22QQ窆申請學位級別：一亟學科專業(yè)名稱：鹽差墊墊盔論文提交日期：2Q!墨生旦論文答辯曰期：2Q!墨壘旦學位授予單位：翅俎盤鱟學位授予日期：2Q!墨生魚月答辯委員會主席：奎越熬

2、援2018年6月王剛基于Spark的社交網絡社區(qū)發(fā)現算法設計與實現摘要隨著互聯(lián)網技術與智能硬件技術的高速發(fā)展，越來越多的人在社交平臺中分享生活、結交朋友以及獲取信息，構建了一個節(jié)點數目龐大、連接關系復雜的社交網絡。因此挖掘社交網絡中的社區(qū)結構具有很大的現實意義，通過挖掘用戶的社區(qū)屬性，了解用戶的興趣愛好和需求，可向用戶群體有針對性地精準推送信息，從而使社交網絡增值。社區(qū)發(fā)現是挖掘社交網絡中節(jié)點關系的重要分支，其中對重疊社區(qū)結構的研究更是

3、社區(qū)發(fā)現的重點和難點。鑒于目前的重疊社區(qū)發(fā)現算法的不足和大規(guī)模的社交網絡結構，本文改進了重疊社區(qū)發(fā)現算法COPRA(CommunityOverlapPropagationAlgorithm)，并且結合分布式計算框架Spark，進行并行化設計。本文的主要工作如下：(1)提出了一種基于邊傳播概率的改進標簽傳播算法EPPCOPRA。首先，根據節(jié)點中心性的思想，綜合考慮節(jié)點的一階鄰居與二階鄰居的度對節(jié)點傳播能力的影響，提出了一種基于信息熵的節(jié)點

4、重要性度量——熵中心。以熵中心作為節(jié)點排序依據，從而避免標簽傳播過程中不必要的標簽更新和“逆流”現象。其次，基于影響力較大的節(jié)點也有較強的標簽傳播能力，且節(jié)點具有傳播標簽和接收標簽兩種能力，用節(jié)點與鄰居的熵中心計算邊的影響力以衡量節(jié)點的標簽接收能力。最后，通過節(jié)點間的相似性，結合邊影響度量，得到節(jié)點與其鄰居之間的邊傳播概率，避免標簽傳播選擇階段的隨機性。(2)針對大規(guī)模社交網絡，利用Spark分布式計算框架在內存計算、多迭代批量處理以及