基于VSM模型和ILDA模型聯合建模的新聞話題發(fā)現.pdf

1、隨著互聯網技術的飛速迅猛發(fā)展，互聯網用戶可以更加容易地從網絡上獲取日常關心的熱點話題。網絡新聞已然成為人們獲取新聞信息的主要媒介之一，相比傳統(tǒng)新聞媒體，網絡新聞在報道重大事件上更具有時效性與互動性。在這個時間就是金錢，效率就是生命的當代社會，如何有效組織某個熱門新聞話題幫助用戶快速了解熱點事件已經成為人們亟待解決的認知需求。
　　話題發(fā)現與追蹤是近幾十年自然語言處理、信息檢索領域的一項熱門研究方向，該技術能有效幫助人們快速組織網絡

2、上的海量信息，緩解人們面對海量新聞時的無力感，此外，國家機關需要快速了解廣大群眾面對輿情事件的態(tài)度并做出相應決策。因此，面向網絡新聞的熱點話題發(fā)現具有現實需求意義。
　　運用于該領域的主流模型有VSM(Vector Space Model)和LDA(Latent DirichletAllocation)模型，到目前為止，這兩個模型在該領域的研究取得了較好的效果。傳統(tǒng)VSM運用于該領域時建模過程簡單，操作容易，但是忽略了文本內容的語

3、義相關性;而LDA模型能有效解決這個問題，能充分地表達文本內容的語義，但在運用于該領域的文本表示時需要人為設定話題數目的K值。
　　針對上述問題，本文做了一些相關的研究工作。本文的主要貢獻和創(chuàng)新點如下:
　　1.本文提出一種基于VSM與ILDA(Infinite LDA)聯合建模的新聞話題發(fā)現算法，該聯合建模方法能充分利用兩種模型各自優(yōu)勢并能避免使用單一模型的不足，有效地解決了話題發(fā)現領域文本建模所面臨的問題。
　　2

4、.考慮到新聞標題能簡要概括新聞報道的核心內容，即標題中出現的特征詞應當給與更高的權重，本文改進了傳統(tǒng)的TF-IDF算法，給予同時出現在標題和正文的特征詞更高的權重，有效保證特征提取的正確性和有效性。
　　3.在此話題發(fā)現算法的基礎上，我們引入衰老理論，提出基于能量熱度的熱點話題排序算法，首先利用衰老理論對話題建模，然后對各時間片內產生的話題分別進行能量熱度計算，并關聯相鄰一段時間片該話題的能量熱度，然后利用話題衰減移除算法刪除能量