社交網(wǎng)絡(luò)的數(shù)據(jù)采集與分析方法研究.pdf

1、社交網(wǎng)絡(luò)使得用戶之間可以隨時隨地的交流和溝通，尤其是智能手機(jī)和4G網(wǎng)絡(luò)的推廣，使其受到越來越多的用戶青睞，現(xiàn)已成為信息傳播的主要方式之一。隨著云計算、大數(shù)據(jù)技術(shù)的發(fā)展，社交大數(shù)據(jù)分析挖掘成為學(xué)術(shù)界、工業(yè)界重點關(guān)注的對象，其中數(shù)據(jù)采集是數(shù)據(jù)分析中的關(guān)鍵環(huán)節(jié)之一。為了對社交網(wǎng)絡(luò)信息傳播模型及用戶最大影響力的進(jìn)一步研究，本文通過對數(shù)據(jù)采集系統(tǒng)的分析研究，設(shè)計并實現(xiàn)了一個簡單通用的社交網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)，基于采集的數(shù)據(jù)，重點對社交網(wǎng)絡(luò)的用戶偏好進(jìn)

2、行分析。
　　本研究主要內(nèi)容包括：⑴社交網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)相關(guān)技術(shù)的介紹。本文介紹了數(shù)據(jù)采集的兩種方法：網(wǎng)絡(luò)爬蟲和開放API接口；深入研究了采集過程中OAuth授權(quán)認(rèn)證、XML和JSON頁面解析技術(shù)和非關(guān)系型數(shù)據(jù)庫等相關(guān)技術(shù)。⑵社交網(wǎng)絡(luò)數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn)。本文通過開放的API接口采用廣度優(yōu)先的搜索策略采集社交網(wǎng)絡(luò)數(shù)據(jù)；使用多賬戶復(fù)用和多線程相結(jié)合的方式控制請求的頻率來提高采集的效率；使用樸素貝葉斯方法來解決垃圾博文過濾問題；使

3、用HashMap的方法來解決用戶去重問題；使用翻頁技術(shù)解決數(shù)據(jù)完整性問題；采用MongoDB和文本文件兩種方式對采集的海量數(shù)據(jù)進(jìn)行存儲；采用數(shù)據(jù)修剪的方法對數(shù)據(jù)進(jìn)行預(yù)處理。⑶社交網(wǎng)絡(luò)中用戶偏好分析。本文使用TF-IDF（term frequency-inverse document frequency）計算特征文本中特征項的權(quán)重；采用VSM（Vector-Space Model）對用戶的偏好建模得到每個用戶及話題的特征向量；采用文本的余