基于社交網(wǎng)絡(luò)的數(shù)據(jù)挖掘技術(shù)研究.pdf

1、社交網(wǎng)絡(luò)中含有豐富的數(shù)據(jù)，數(shù)據(jù)中蘊含著無窮的價值。社交網(wǎng)絡(luò)分析具有商業(yè)價值、科研價值和政府輿情價值。本文主要研究社交網(wǎng)絡(luò)分析的一般方法，并設(shè)計出一個社交網(wǎng)絡(luò)分析系統(tǒng)。社交網(wǎng)絡(luò)的數(shù)據(jù)挖掘包括三個部分，即數(shù)據(jù)采集部分、數(shù)據(jù)存儲部分和數(shù)據(jù)分析應(yīng)用部分。本文介紹了復(fù)雜網(wǎng)絡(luò)的基礎(chǔ)理論，通過復(fù)雜網(wǎng)絡(luò)的平均路徑長度、節(jié)點度分布和聚類系數(shù)等參數(shù)，說明了社交網(wǎng)絡(luò)是一種具有小世界性和無標度性的復(fù)雜網(wǎng)絡(luò)。然后介紹了獲取社交網(wǎng)絡(luò)數(shù)據(jù)的一般方法，包括網(wǎng)站API方

2、式和網(wǎng)絡(luò)爬蟲方式。本文分析了兩種方法的優(yōu)缺點，并采用網(wǎng)絡(luò)爬蟲方式，設(shè)計了獲取新浪微博用戶信息數(shù)據(jù)和新浪微博用戶微博數(shù)據(jù)的爬蟲程序。
　　接著本文介紹了對社交網(wǎng)絡(luò)數(shù)據(jù)的應(yīng)用方法，通過數(shù)據(jù)挖掘中的分類、聚類方法對數(shù)據(jù)進行分析。本文研究的用戶的興趣基于用戶發(fā)出的微博消息文本，采用樸素貝葉斯分類器的方法，利用TF-IDF計算詞特征值代替頻率，并根據(jù)微博中的轉(zhuǎn)發(fā)、原創(chuàng)兩種機制，對特征值的計算加權(quán)。最后構(gòu)造樸素貝葉斯分類器，對用戶微博消息集進

3、行分類判別，得出用戶的興趣分布。在研究用戶關(guān)系時，采用聚類技術(shù)，根據(jù)分類器輸出的用戶結(jié)果，構(gòu)造用戶屬性集，完成用戶建模，然后通過K-Means聚類方法，計算用戶相似度，找出相似用戶。
　　社交網(wǎng)絡(luò)數(shù)據(jù)量大，處理難度高。本文采用大數(shù)據(jù)處理中常用的hadoop分布式框架，利用hadoop提供的mapreduce機制，對文本進行快速分詞，提高實驗和分析效率。最后本文通過實驗，實現(xiàn)設(shè)計的社交網(wǎng)絡(luò)分析框架，采集了12G數(shù)據(jù)，訓(xùn)練出5個興趣分