基于SVM的新聞報道特征新事件檢測研究.pdf

1、隨著因特網(wǎng)的普及，新聞網(wǎng)頁已經(jīng)成為人們獲取信息的一個主要來源之一。但面對浩瀚的信息量，人們需要借助某種方式來快速、準確地搜集自己感興趣的信息。話題檢測與追蹤(Topic Detection and Tracking，TDT)是一項為了應對信息海罱的問題而展開的研究。美國1996年開始組織有關(guān)研究機構(gòu)進行TDT測評，新事件檢測(New Event Detection，NED)作為其關(guān)鍵了任務之一，研究的主要內(nèi)容是怎樣通過新事件檢測系統(tǒng)檢測

2、出事件的第一篇新聞報道。國內(nèi)相關(guān)研究雖起步較晚，但由于話題檢測與追蹤在信息檢索、文本分類等相關(guān)領域的實際應用價值，其相關(guān)研究已成為信息處理領域的熱點。
　　 基本的新事件檢測系統(tǒng)主要分為文本表示、文本的比較與文本分類與時間窗口選擇等幾大模塊。本文在國內(nèi)外研究的基礎上，以文本形式的中文新聞數(shù)據(jù)流為處理對象，對自然語言處理技術(shù)中時間信息的統(tǒng)一表達、地名的規(guī)范化處理、人名庫的有效建立方等方面作了改進。特別地，考慮到新聞報道趨向于盡早將

3、報道要義告知讀者的特點，本文提出了位置信息這一概念，并在此基礎之上通過可加函數(shù)和可乘函數(shù)對Okapi相似比較函數(shù)進行改進。文本的分類方面，本文中采用的支持向量機(Support Vector Machine，SVM)的方法有堅實的數(shù)學基礎，是機器學習領域關(guān)注度相當高的一種方法，尤其是在無監(jiān)督情形下有著良好的魯棒性，已被成功的應用于模式識別及回歸問題的分析。
　　 本文對從中新網(wǎng)、新華網(wǎng)等大型網(wǎng)站收集的含有20個主題的14295篇

4、新聞文檔分別采用核回歸法(kernel regression)、最近鄰域方法(nearest neighbor method)和支持向量機法(Linear—kernel SVM、RBF—kernel SVM)等方法進行新事件檢測，通過對采用基本NED系統(tǒng)和改進后的NED系統(tǒng)進行實驗得出的檢測代價系數(shù)進行對比，得到三種方法對應的代價系數(shù)分別降低了4．9％、7．3％和13．1％。由此說明了NED系統(tǒng)在應用了基于新聞語料特征改進的向量空間模型