基于微博數(shù)據(jù)的處理與用戶行為分析.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，社交網(wǎng)絡(luò)在人們的日常生活中扮演著越來(lái)越重要的角色，同時(shí)也在改變著信息的傳播方式，從原來(lái)的平面媒體與電視廣播相結(jié)合到現(xiàn)在多元化平臺(tái)的改變。人們獲取熱門信息和自己感興趣的信息的方式也與社交網(wǎng)絡(luò)變得越來(lái)越密不可分。伴隨而來(lái)的是通過(guò)分析大量的用戶數(shù)據(jù)對(duì)用戶的各種行為進(jìn)行深度挖掘，從而優(yōu)化信息傳遞效率，節(jié)約人們從海量信息中提取對(duì)自身有價(jià)值信息的時(shí)間，并挖掘其潛在的巨大的商業(yè)價(jià)值。國(guó)外社交網(wǎng)絡(luò)Facebook與Twitte

2、r的巨大成功也在很大程度上促進(jìn)了國(guó)內(nèi)社交網(wǎng)絡(luò)平臺(tái)的發(fā)展。
　　本文以國(guó)內(nèi)的熱門社交網(wǎng)絡(luò)平臺(tái)新浪微博的用戶信息與微博信息為研究對(duì)象，主要完成了以下四個(gè)方面的工作。
　　第一，研究了目前比較流行的網(wǎng)絡(luò)爬蟲技術(shù)。通過(guò)比較和綜合分析，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分別對(duì)微博內(nèi)容、用戶信息、用戶關(guān)系信息、微博關(guān)系信息等數(shù)據(jù)進(jìn)行采集并存儲(chǔ)，然后利用獲取到的數(shù)據(jù)按需進(jìn)行特征提取的數(shù)據(jù)采集系統(tǒng)。對(duì)于獲取到的微博數(shù)據(jù)，根據(jù)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系設(shè)計(jì)了相應(yīng)的數(shù)據(jù)

3、庫(kù)。此外，在爬取數(shù)據(jù)的過(guò)程中，不僅使用多線程技術(shù)大幅提高了爬蟲的工作效率，還設(shè)計(jì)了多APP Key復(fù)用機(jī)制，突破了新浪對(duì)API調(diào)用次數(shù)的限制，從而使爬蟲系統(tǒng)可以持續(xù)工作運(yùn)行。
　　第二，為了對(duì)用戶的轉(zhuǎn)發(fā)行為進(jìn)行預(yù)測(cè)，并找出對(duì)用戶轉(zhuǎn)發(fā)行為有重要影響的微博特征，本文通過(guò)研究新浪微博包括用戶和微博內(nèi)容在內(nèi)的13項(xiàng)特征，進(jìn)行機(jī)器學(xué)習(xí)，建立了特征分析模型，找出影響微博轉(zhuǎn)發(fā)的重要因子。首次對(duì)特征因子組合進(jìn)行研究，探求特征之間的關(guān)聯(lián)程度。同時(shí)用

4、不同的機(jī)器學(xué)習(xí)算法進(jìn)行模型訓(xùn)練比較最后的預(yù)測(cè)結(jié)果，找出預(yù)測(cè)準(zhǔn)確率最高的算法。
　　第三，針對(duì)情感預(yù)測(cè)問(wèn)題，建立了基于混合分類器的情感預(yù)測(cè)模型(HybridClassifier Sentiment Prediction Model，簡(jiǎn)稱HCSPM)。該模型針結(jié)合四種常見的機(jī)器學(xué)習(xí)分類算法，提取了四個(gè)不同分類器的預(yù)測(cè)標(biāo)簽和預(yù)測(cè)得分，通過(guò)加權(quán)計(jì)算，對(duì)微博的情感分類進(jìn)行預(yù)測(cè)。
　　第四，為了對(duì)提高研究過(guò)程中的實(shí)驗(yàn)效率和對(duì)實(shí)驗(yàn)結(jié)果更加