面向微博用戶行為數據挖掘的爬蟲系統設計與實現.pdf

1、隨著互聯網的高速發(fā)展，大部分用戶逐漸習慣于網絡社交，因此社交平臺（微博）已成為信息交流和傳播的一個重要途徑。爬蟲技術能從社交平臺上爬取大量真實用戶留下的信息數據，數據挖掘技術能從這些大量的用戶數據中分析出隱藏信息。利用這兩項技術，能使企業(yè)挖掘出用戶需求和為相關機構提供監(jiān)控輿論理論基礎。
　　本文以國內用戶量龐大的社交平臺新浪微博作為研究對象，對如何構建一個搞笑的爬蟲系統做了深入研究，并使用主題模型對抓取的數據進行了簡單的數據挖掘。

2、本文開始首先介紹了用到的相關技術知識，這些知識對后續(xù)的研究實踐非常重要。之后通過詳細的需求分析將爬蟲模塊解耦為幾個模塊，每個模塊獨立運行，這樣也方便部署在任何網絡聯通的環(huán)境下運行，通過使用這種方式可以動態(tài)地添加數據采集器，兩個分布在不同機器上的采集器通過調度器能同時采集同種數據。從微博平臺上定向地采集大量數據之后，使用中文分詞技術將每個用戶發(fā)布的所有微博進行分詞，使用TF_IDF技術從中提取出權重最大的350各單詞來形成一個用戶文檔，再