基于數(shù)據(jù)挖掘在社交網(wǎng)絡(luò)中熱點話題的研究.pdf

1、隨著信息技術(shù)的高速發(fā)展以及互聯(lián)網(wǎng)的普及，社交網(wǎng)絡(luò)已經(jīng)成為人們生活中不可或缺的一部分，作為一種新興的社交平臺，社交網(wǎng)絡(luò)正在逐漸改變?nèi)藗兊慕涣髁晳T。在社交網(wǎng)絡(luò)用戶數(shù)與信息量不斷擴大的同時，如何在海量信息中快速而準確地挖掘出用戶關(guān)注的熱點話題，已經(jīng)成為當今一個熱門的研究方向。
　　熱點話題發(fā)現(xiàn)是通過運用統(tǒng)計分析和數(shù)據(jù)挖掘等相關(guān)技術(shù)，利用社交網(wǎng)絡(luò)中用戶發(fā)表的言論對話題進行挖掘，最終向用戶呈現(xiàn)如新浪微博展示的一個熱門話題排行榜。
　　

2、與傳統(tǒng)互聯(lián)網(wǎng)媒體相比，當前社交網(wǎng)絡(luò)消息文本具有高維性、稀疏性、主題分布不均勻性、網(wǎng)絡(luò)用語不規(guī)范等特點，且信息量呈爆炸式增長，導(dǎo)致傳統(tǒng)的話題發(fā)現(xiàn)技術(shù)直接應(yīng)用在社交網(wǎng)絡(luò)中在準確度與效率方面都存在巨大問題。本文通過分析比較各種算法的優(yōu)缺點進而選用樸素貝葉斯分類算法與單遍聚類(Single-pass)算法作為話題發(fā)現(xiàn)的算法，并對算法進行深入的研究分析其存在的問題，分別對其進行改進。本文主要的研究工作有以下幾個方面：
　?。?）深入研究當前

3、社交網(wǎng)絡(luò)中消息文本的特點，詳細闡述了話題發(fā)現(xiàn)的基本流程，分析并比較話題發(fā)現(xiàn)過程中的相關(guān)算法，設(shè)計并實現(xiàn)一種自動獲取實驗數(shù)據(jù)的方式。針對當前社交網(wǎng)絡(luò)的特點分析目前話題發(fā)現(xiàn)技術(shù)存在的問題，進而提出一種先分類后聚類的方式挖掘熱點話題。
　?。?）針對當前社交網(wǎng)絡(luò)特點，樸素貝葉斯分類算法進行分類時準確度與速度方面都存在問題，本文引入方差過濾對其進行改進，將改進后的樸素貝葉斯分類算法結(jié)合Hadoop平臺形成并行的分類，從而達到提高分類的準確