基于社交網(wǎng)絡(luò)特定用戶群體發(fā)現(xiàn)系統(tǒng).pdf

1、社交網(wǎng)絡(luò)的迅猛發(fā)展吸引了大批的用戶，使得互聯(lián)網(wǎng)成為了社會(huì)輿論的主要聚集地之一，近年來國(guó)內(nèi)外各領(lǐng)域幾乎所有的重大事件都在微博上被廣泛討論。因此，社交網(wǎng)絡(luò)上的輿情分析已經(jīng)成為一個(gè)熱門的研究課題。一些關(guān)鍵用戶在社交網(wǎng)絡(luò)輿論的形成和傳播過程中扮演著重要的角色，網(wǎng)絡(luò)輿情的發(fā)展方向已經(jīng)與他們密不可分，他們被稱為“意見領(lǐng)袖”。意見領(lǐng)袖通常具有強(qiáng)大的影響力，領(lǐng)導(dǎo)著各自領(lǐng)域熱點(diǎn)、焦點(diǎn)問題的輿論走向。在進(jìn)行網(wǎng)絡(luò)輿情分析時(shí)，若能夠發(fā)掘出社交網(wǎng)絡(luò)中的意見領(lǐng)袖，

2、并重點(diǎn)針對(duì)這些意見領(lǐng)袖采集和分析相關(guān)的數(shù)據(jù)，就可以有效地節(jié)約數(shù)據(jù)采集、存儲(chǔ)、計(jì)算的開銷，達(dá)到事半功倍的效果。
　　為了發(fā)掘出社交網(wǎng)絡(luò)中的意見領(lǐng)袖，本文開發(fā)了基于社交網(wǎng)絡(luò)上特定用戶的群體發(fā)現(xiàn)系統(tǒng)，該系統(tǒng)以初始的數(shù)個(gè)意見領(lǐng)袖作為輸入，發(fā)掘出社交網(wǎng)絡(luò)中的其他意見領(lǐng)袖群體，并能夠針對(duì)發(fā)掘出的意見領(lǐng)袖名單采集用戶的信息和用戶發(fā)表的消息。為了實(shí)現(xiàn)意見領(lǐng)袖名單的發(fā)掘功能，本系統(tǒng)實(shí)現(xiàn)了影響力分析算法和社區(qū)發(fā)現(xiàn)算法，并針對(duì)本系統(tǒng)的具體情況對(duì)社區(qū)發(fā)現(xiàn)

3、算法進(jìn)行了改進(jìn)，使得對(duì)于不完整的用戶關(guān)系圖也能夠得到較為準(zhǔn)確的劃分結(jié)果。而數(shù)據(jù)采集部分，本文搭建了分布式的社交網(wǎng)絡(luò)爬蟲作為系統(tǒng)的數(shù)據(jù)采集模塊。該爬蟲通過調(diào)用社交網(wǎng)站提供的API和模擬瀏覽器兩種方式來協(xié)同實(shí)現(xiàn)數(shù)據(jù)的采集，能夠采集的數(shù)據(jù)有用戶信息、用戶好友關(guān)系、用戶發(fā)表的歷史消息以及用戶發(fā)表的實(shí)時(shí)消息四個(gè)部分。為了提高爬取的效率，數(shù)據(jù)采集模塊采用了分布式技術(shù)，讓多臺(tái)主機(jī)協(xié)同完成數(shù)據(jù)采集工作，并且每臺(tái)主機(jī)能夠定時(shí)切換IP和賬號(hào)，以突破各社交網(wǎng)