面向新浪微博的數(shù)據(jù)采集和社區(qū)發(fā)現(xiàn)算法研究.pdf

1、伴隨著互聯(lián)網(wǎng)和移動(dòng)通信技術(shù)的飛速發(fā)展,越來(lái)越多的人們正通過(guò)在線網(wǎng)絡(luò)進(jìn)行各種社會(huì)活動(dòng)。社會(huì)網(wǎng)絡(luò)的組構(gòu)、以及其上的信息傳遞正在突破時(shí)空和管理邊界,影響到各國(guó)網(wǎng)民和各個(gè)角落。社交網(wǎng)絡(luò)(或稱在線社會(huì)網(wǎng)絡(luò))已經(jīng)成為現(xiàn)實(shí)社會(huì)的重要組成部分之一。對(duì)在線社交網(wǎng)絡(luò)研究也隨之倍受關(guān)注,成為了現(xiàn)下科學(xué)研究領(lǐng)域的一個(gè)熱點(diǎn)問(wèn)題。
　　社交網(wǎng)絡(luò)具有規(guī)模龐大,結(jié)構(gòu)復(fù)雜以及海量信息實(shí)時(shí)傳播的特征,因此,如何對(duì)海量數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和分析成為亟需研究的問(wèn)題。面對(duì)如

2、此龐大的數(shù)據(jù),數(shù)據(jù)采集平臺(tái)使用了一種基于分布式的數(shù)據(jù)采集平臺(tái),其全局設(shè)計(jì)采用C/S架構(gòu),分布式的數(shù)據(jù)采集策略;為了減小索引服務(wù)器的性能瓶頸,在索引服務(wù)器上采用了數(shù)據(jù)切分、二級(jí)緩存隊(duì)列等技術(shù);而在爬蟲機(jī)的設(shè)計(jì)中,為了提高爬蟲機(jī)的數(shù)據(jù)采集效率,同樣利用了二級(jí)緩存技術(shù)來(lái)減小線程的耦合度,并采用線程池、賬戶輪換等技術(shù)來(lái)提高爬蟲機(jī)的并行性和突破新浪微博的訪問(wèn)限制。數(shù)據(jù)存儲(chǔ)平臺(tái)則采用Hadoop分布式文件系統(tǒng)進(jìn)行存儲(chǔ),并根據(jù)數(shù)據(jù)采集平臺(tái)采集的數(shù)據(jù)得

3、到的統(tǒng)計(jì)結(jié)果,對(duì)數(shù)據(jù)結(jié)構(gòu)進(jìn)行了改進(jìn)。
　　對(duì)于社交網(wǎng)絡(luò)的分析研究主要是提出了一個(gè)重疊社區(qū)發(fā)現(xiàn)算法。傳統(tǒng)的社區(qū)發(fā)現(xiàn)算法大多基于這樣一個(gè)前提,即每個(gè)節(jié)點(diǎn)只屬于一個(gè)社區(qū),而現(xiàn)實(shí)中恰恰相反,一個(gè)節(jié)點(diǎn)可以同時(shí)屬于不止一個(gè)社區(qū)。針對(duì)在線社交網(wǎng)絡(luò)中的用戶并不僅僅屬于一個(gè)社區(qū),存在多重性,提出了一個(gè)允許社區(qū)重疊的社區(qū)發(fā)現(xiàn)算法,針對(duì)在線社交網(wǎng)絡(luò)的龐大數(shù)據(jù)量設(shè)計(jì)基于Hadoop平臺(tái)的Mapreduce框架的并行化技術(shù),以使對(duì)于社區(qū)發(fā)現(xiàn)算法可以應(yīng)用于海