微博客數(shù)據(jù)的獲取與分析方法研究.pdf

1、微博客是繼博客后迅速發(fā)展起來的一種新的社交網(wǎng)絡(luò)形式，在信息傳媒領(lǐng)域形成了很大的影響力。對于傳統(tǒng)的社交網(wǎng)絡(luò)形式，數(shù)據(jù)的獲取與分析技術(shù)已日趨成熟，但對于微博網(wǎng)絡(luò)數(shù)據(jù)的獲取及微博網(wǎng)絡(luò)特性的研究，還不夠完善。本文研究了微博的特點及作用，微博數(shù)據(jù)獲取的兩種技術(shù)，以新浪微博為例，設(shè)計并實現(xiàn)了微博數(shù)據(jù)獲取與分析系統(tǒng)，仿真并分析了微博網(wǎng)絡(luò)的網(wǎng)絡(luò)特性。本文主要的工作目的是在獲取微博數(shù)據(jù)的基礎(chǔ)上，分析微博數(shù)據(jù)，由此得出微博網(wǎng)絡(luò)的特性。具體的工作如下：

2、>　　1、研究了使用網(wǎng)絡(luò)頁面爬蟲獲取數(shù)據(jù)的相關(guān)技術(shù)，包括通用網(wǎng)絡(luò)爬蟲，聚焦網(wǎng)絡(luò)爬蟲，網(wǎng)頁預(yù)處理，文本分類等的基本原理和工作流程。
　　2、深入研究了利用微博系統(tǒng)的SDK獲取數(shù)據(jù)的工作流程，該技術(shù)通過調(diào)用微博平臺提供的API來獲取用戶數(shù)據(jù)，調(diào)用API需通過用戶身份的鑒權(quán)，目前主要用到的是OAuth鑒權(quán)，該方法步驟簡單，抓取數(shù)據(jù)的準(zhǔn)確度和效率高，本文應(yīng)用該方法獲取微博數(shù)據(jù)。
　　3、從簡化認(rèn)證步驟，提高獲取效率，避免重復(fù)爬取等方