基于新浪微博開放平臺的用戶數(shù)據(jù)挖掘技術研究.pdf

1、近些年，隨著Facebook、Twitter和Google+這類社交網(wǎng)站的蓬勃興起，社交網(wǎng)絡應用已經成為了人們通過互聯(lián)網(wǎng)使用最為頻繁的網(wǎng)絡應用之一，各種社交網(wǎng)絡應用作為人們之間交流和信息共享的平臺，在人們日常生活中扮演著越來越重要的角色。每天都有數(shù)以億計的社交網(wǎng)絡信息發(fā)布并被存儲，然而對于社交網(wǎng)絡相關的數(shù)據(jù)資源，絕大部分仍然得不到有效的利用。
　　本文以社交網(wǎng)絡應用的用戶數(shù)據(jù)為研究對象，通過引入數(shù)據(jù)挖掘技術的相關概念，以尋求一種社

2、交網(wǎng)絡用戶數(shù)據(jù)的處理模式，即從社交網(wǎng)絡用戶數(shù)據(jù)的采集，到數(shù)據(jù)的存儲和清洗，再到數(shù)據(jù)挖掘分析，從中得到有價值的信息資源，從而為其它領域的活動提供決策支持或預測分析。文章以新浪微博為實例，通過對微博用戶信息獲取技術的研究，提出并實現(xiàn)了一種通過新浪微博開放平臺提供的API接口，高效獲取用戶數(shù)據(jù)的方法，同時利用傳統(tǒng)的網(wǎng)絡爬蟲技術及HTML頁面解析實現(xiàn)了少數(shù)一些無法利用API接口獲取的微博用戶信息的抓取，本文實驗示例程序采用.NET平臺下的C＃語

3、言編寫，為了便于數(shù)據(jù)清洗，程序采用了SQL Server2008R2作為數(shù)據(jù)存儲，利用存儲過程實現(xiàn)數(shù)據(jù)的高效寫入，有效實現(xiàn)了新浪微博用戶數(shù)據(jù)的全面高效獲取。
　　在獲取到的樣本數(shù)據(jù)的基礎上，根據(jù)數(shù)據(jù)挖掘的需求和方向，選擇合適的數(shù)據(jù)挖掘模式，利用Microsoft SQL Server Analysis Services數(shù)據(jù)挖掘組件及開源的Orange Canvas可視化數(shù)據(jù)挖掘工具對采集到的微博用戶數(shù)據(jù)進行分析處理。通過對樣本數(shù)據(jù)