博客熱點話題挖掘方法.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)信息成爆炸式增長。如何快速、準確的從這些海量數(shù)據(jù)中獲得有用的信息成為了人們關(guān)注的焦點。話題檢測與跟蹤(TDT)一直是國內(nèi)外網(wǎng)絡(luò)信息處理研究的一個熱點，具有廣泛的應(yīng)用前景。本課題的研究目標是通過對博客文章的內(nèi)容進行挖掘，檢測出當(dāng)下網(wǎng)民正在討論的熱點話題，實時地反饋給用戶。傳統(tǒng)文本聚類算法對于熱點話題挖掘問題不能給予很好的解決辦法，使得熱點話題挖掘大多數(shù)都僅限于研究階段，難以具有實用價值。
　　本文設(shè)計了一種

2、新的熱點話題挖掘算法，類似分組聚類的方法，但是分組不是以指定大小來分組，而是根據(jù)是否含有某一標題關(guān)鍵詞來分組，組的大小也不是固定的。分別對組內(nèi)的文檔集進行Single-Pass聚類得到分組內(nèi)部的事件，然后將不同組挖掘到的事件進行層次聚類獲得話題。并通過引入事件模板，種子文檔，時間窗口，增加重要特征（比如地點名詞，出現(xiàn)在標題中的名詞等）的權(quán)重以及改進相似度計算函數(shù)，來提高算法的性能。
　　為了對本文的算法進行評測，我們根據(jù)新浪專題事

3、件構(gòu)造了三種數(shù)據(jù)集，數(shù)據(jù)集一包含13252篇各種類型的網(wǎng)頁，包含28個事件；數(shù)據(jù)集二是只包含博客文章的1589篇網(wǎng)頁，包含40個事件。數(shù)據(jù)集三是TDT4評測語料。
　　實驗表明，本算法針對數(shù)據(jù)集一的召回率和準確率分別為91.73％和93.04%，針對數(shù)據(jù)集二的召回率和準確率分別為82.37%和92.18%，針對數(shù)據(jù)集三的代價值為0.48。通過與傳統(tǒng)聚類算法的實驗對比顯示，本文的方法優(yōu)于其他傳統(tǒng)聚類算法，能夠滿足實際應(yīng)用需求。