面向微博數(shù)據(jù)挖掘的網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、近年來,互聯(lián)網(wǎng)飛速發(fā)展,越來越多的人開始在網(wǎng)上獲取信息和資源。尤其是微博這一形式的出現(xiàn),它為人們發(fā)表意見、交換看法、交流感情提供了便利。在這個平臺上,普通人的思想觀念得到了交流。于是源自于社會各層級的信息不斷集中,慢慢形成了一個龐大的信息倉庫。
　　海量的信息,會將人們的視線籠罩在一個很小的局部中。人們迫切需要從整體的,全面的角度去了解微博平臺上的熱點(diǎn)更迭、情感變化、觀點(diǎn)碰撞等等方面的狀況,也就是了解輿情。目前已經(jīng)有不少針對微博的

2、數(shù)據(jù)挖掘工具出現(xiàn)。不過,這些工具大多都是用于收集微博用戶的相關(guān)信息,不具有對微博內(nèi)容進(jìn)行詳細(xì)分析的功能。本系統(tǒng)的主要目的,就是針對微博的內(nèi)容進(jìn)行挖掘和分析,從中分析當(dāng)下的輿情熱點(diǎn),供使用者參考。
　　本系統(tǒng)主要分為三個部分,一是信息的收集,本系統(tǒng)使用多線程廣度優(yōu)先網(wǎng)絡(luò)爬蟲訪問網(wǎng)絡(luò)收集信息,獲取微博網(wǎng)站的主要頁面,在頁面上獲取內(nèi)容。二是信息的分析,信息獲取完之后,就要利用Lucene建立索引,提取關(guān)鍵詞,并利用貝葉斯分類器在一定程度