分布式社會網(wǎng)絡(luò)分析支撐系統(tǒng)研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展,SNS網(wǎng)站的興起,人們越來越多地通過網(wǎng)絡(luò)進(jìn)行溝通、交流以及形成人際關(guān)系,由此產(chǎn)生了大量的用戶數(shù)據(jù)。如何從海量的用戶數(shù)據(jù)中取得更深層次的有用信息,進(jìn)而挖掘其中的潛在內(nèi)容,如網(wǎng)絡(luò)輿論擴(kuò)散模型、網(wǎng)絡(luò)用戶群體屬性及商業(yè)價值等,是當(dāng)前的重要研究方向和挑戰(zhàn)。傳統(tǒng)的社會網(wǎng)絡(luò)分析工具和算法通常都是基于單機(jī)的,在處理大規(guī)模數(shù)據(jù)集的時候往往會面臨存儲和處理能力不足等的問題。而且,原始輸入數(shù)據(jù)和社會網(wǎng)絡(luò)結(jié)構(gòu)描述都是無結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)

2、,傳統(tǒng)關(guān)系數(shù)據(jù)庫并不善于處理此種類型的數(shù)據(jù),從而在利用傳統(tǒng)社會網(wǎng)絡(luò)分析工具和算法處理大規(guī)模數(shù)據(jù)集時變得更加困難。
　　 本文提出了基于HBase的分布式社會網(wǎng)絡(luò)分析支撐系統(tǒng)的解決方案,用于幫助用戶在對海量數(shù)據(jù)進(jìn)行社會網(wǎng)絡(luò)分析時,收集萃取數(shù)據(jù),構(gòu)建可分析的社會網(wǎng)絡(luò),對網(wǎng)絡(luò)內(nèi)的個體或個體間關(guān)系進(jìn)行分析,以得出這個社會網(wǎng)絡(luò)的一些特征數(shù)據(jù)。系統(tǒng)主要功能包括獲取社會網(wǎng)絡(luò)分析所需的數(shù)據(jù),從數(shù)據(jù)中抽取網(wǎng)絡(luò)關(guān)系,分布式社會網(wǎng)絡(luò)構(gòu)建,網(wǎng)絡(luò)圖存儲和

3、分布式社會網(wǎng)絡(luò)分析算法的設(shè)計(jì),完整實(shí)現(xiàn)了進(jìn)行社會網(wǎng)絡(luò)分析的過程。
　　 該解決方案通過融合HBase分布式體系結(jié)構(gòu)和社會網(wǎng)絡(luò)分析流程,建立了基于模塊的多層次體系結(jié)構(gòu)。系統(tǒng)模塊間采用松耦合設(shè)計(jì),不同模塊完成不同的功能,在不改變系統(tǒng)功能前提下對任意模塊的內(nèi)部修改不影響其他模塊的工作。在構(gòu)建社會網(wǎng)絡(luò)時,系統(tǒng)通過開源爬蟲從互聯(lián)網(wǎng),特別是社會化網(wǎng)站中獲取構(gòu)建社會網(wǎng)絡(luò)相關(guān)的數(shù)據(jù),并從非結(jié)構(gòu)或半結(jié)構(gòu)化的原始輸入數(shù)據(jù)中抽取出相關(guān)的社會網(wǎng)絡(luò)關(guān)系,

4、然后利用MapReduce分布式構(gòu)建社會網(wǎng)絡(luò),包括網(wǎng)絡(luò)合并、邊屬性計(jì)算等。在支撐系統(tǒng)的存儲層設(shè)計(jì)了基于HBase的圖存儲系統(tǒng),并針對社會網(wǎng)絡(luò)結(jié)構(gòu)的特性設(shè)計(jì)了圖存儲結(jié)構(gòu),負(fù)責(zé)存儲構(gòu)建完成的社會網(wǎng)絡(luò),向上層應(yīng)用提供各種所需圖數(shù)據(jù)。在進(jìn)行社會網(wǎng)絡(luò)分析時,通過圖表述系統(tǒng)將社會網(wǎng)絡(luò)抽象為一幅圖,然后對圖中的節(jié)點(diǎn)和邊進(jìn)行處理,圖表述系統(tǒng)向分布式社會網(wǎng)絡(luò)分析算法提供圖數(shù)據(jù)接口和預(yù)處理功能。最后,在支撐系統(tǒng)的基礎(chǔ)上,本文以節(jié)點(diǎn)度、節(jié)點(diǎn)強(qiáng)度及聚類系數(shù)分析