微博客數(shù)據(jù)的獲取與分析方法研究.pdf

1、微博客是繼博客后迅速發(fā)展起來(lái)的一種新的社交網(wǎng)絡(luò)形式，在信息傳媒領(lǐng)域形成了很大的影響力。對(duì)于傳統(tǒng)的社交網(wǎng)絡(luò)形式，數(shù)據(jù)的獲取與分析技術(shù)已日趨成熟，但對(duì)于微博網(wǎng)絡(luò)數(shù)據(jù)的獲取及微博網(wǎng)絡(luò)特性的研究，還不夠完善。本文研究了微博的特點(diǎn)及作用，微博數(shù)據(jù)獲取的兩種技術(shù)，以新浪微博為例，設(shè)計(jì)并實(shí)現(xiàn)了微博數(shù)據(jù)獲取與分析系統(tǒng)，仿真并分析了微博網(wǎng)絡(luò)的網(wǎng)絡(luò)特性。本文主要的工作目的是在獲取微博數(shù)據(jù)的基礎(chǔ)上，分析微博數(shù)據(jù)，由此得出微博網(wǎng)絡(luò)的特性。具體的工作如下：

2、>　　1、研究了使用網(wǎng)絡(luò)頁(yè)面爬蟲(chóng)獲取數(shù)據(jù)的相關(guān)技術(shù)，包括通用網(wǎng)絡(luò)爬蟲(chóng)，聚焦網(wǎng)絡(luò)爬蟲(chóng)，網(wǎng)頁(yè)預(yù)處理，文本分類(lèi)等的基本原理和工作流程。
　　2、深入研究了利用微博系統(tǒng)的SDK獲取數(shù)據(jù)的工作流程，該技術(shù)通過(guò)調(diào)用微博平臺(tái)提供的API來(lái)獲取用戶(hù)數(shù)據(jù)，調(diào)用API需通過(guò)用戶(hù)身份的鑒權(quán)，目前主要用到的是OAuth鑒權(quán)，該方法步驟簡(jiǎn)單，抓取數(shù)據(jù)的準(zhǔn)確度和效率高，本文應(yīng)用該方法獲取微博數(shù)據(jù)。
　　3、從簡(jiǎn)化認(rèn)證步驟，提高獲取效率，避免重復(fù)爬取等方