基于MapReduce模型的大規(guī)模社交網(wǎng)絡(luò)高效分析算法研究.pdf

1、自從Web2.0的興起,在線社交網(wǎng)絡(luò)吸引了許多國(guó)內(nèi)外研究者的興趣。這些社交網(wǎng)絡(luò)有許多獨(dú)特的結(jié)構(gòu)性質(zhì)如度的冪律分布、極短的網(wǎng)絡(luò)半徑和較明顯的社區(qū)聚集特性。這些結(jié)構(gòu)方面獨(dú)特的性質(zhì)直接或間接影響著網(wǎng)絡(luò)中的信息傳播以及人與人之間的交流互動(dòng),對(duì)于研究人類社會(huì)的組織架構(gòu)形式以及人際關(guān)系的演化方式有著極為重要的作用。目前主流的社交網(wǎng)絡(luò)的用戶數(shù)已達(dá)到上億規(guī)模,而用戶之間的關(guān)系則達(dá)到了幾十億甚至上百億的數(shù)量級(jí)。傳統(tǒng)的工具(如關(guān)系型數(shù)據(jù)庫(kù))以及傳統(tǒng)的算法(

2、基于單CPU的串行算法)已無(wú)法勝任。
　　針對(duì)探索在線社交網(wǎng)絡(luò)結(jié)構(gòu)的問(wèn)題,本文主要以新浪微博和Twitter為例,并參照對(duì)比了其他有向社交網(wǎng)絡(luò)的測(cè)量結(jié)果,全面探究了在線社交網(wǎng)絡(luò)的結(jié)構(gòu)特征,包括度的分布、關(guān)系的相互性、聚集性、度的相關(guān)性、路徑長(zhǎng)度和社區(qū)等。其中,新浪微博的數(shù)據(jù)集是本文通過(guò)一個(gè)分布式爬蟲(chóng),經(jīng)過(guò)3個(gè)月的時(shí)間從其網(wǎng)站爬取的結(jié)果,包含了1.35億個(gè)用戶和104億條關(guān)系。
　　針對(duì)大規(guī)模在線社交網(wǎng)絡(luò)數(shù)據(jù)的處理問(wèn)題,本文提