基于VSM模型和ILDA模型聯(lián)合建模的新聞話題發(fā)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速迅猛發(fā)展，互聯(lián)網(wǎng)用戶可以更加容易地從網(wǎng)絡(luò)上獲取日常關(guān)心的熱點話題。網(wǎng)絡(luò)新聞已然成為人們獲取新聞信息的主要媒介之一，相比傳統(tǒng)新聞媒體，網(wǎng)絡(luò)新聞在報道重大事件上更具有時效性與互動性。在這個時間就是金錢，效率就是生命的當(dāng)代社會，如何有效組織某個熱門新聞話題幫助用戶快速了解熱點事件已經(jīng)成為人們亟待解決的認(rèn)知需求。
　　話題發(fā)現(xiàn)與追蹤是近幾十年自然語言處理、信息檢索領(lǐng)域的一項熱門研究方向，該技術(shù)能有效幫助人們快速組織網(wǎng)絡(luò)

2、上的海量信息，緩解人們面對海量新聞時的無力感，此外，國家機(jī)關(guān)需要快速了解廣大群眾面對輿情事件的態(tài)度并做出相應(yīng)決策。因此，面向網(wǎng)絡(luò)新聞的熱點話題發(fā)現(xiàn)具有現(xiàn)實需求意義。
　　運用于該領(lǐng)域的主流模型有VSM(Vector Space Model)和LDA(Latent DirichletAllocation)模型，到目前為止，這兩個模型在該領(lǐng)域的研究取得了較好的效果。傳統(tǒng)VSM運用于該領(lǐng)域時建模過程簡單，操作容易，但是忽略了文本內(nèi)容的語

3、義相關(guān)性;而LDA模型能有效解決這個問題，能充分地表達(dá)文本內(nèi)容的語義，但在運用于該領(lǐng)域的文本表示時需要人為設(shè)定話題數(shù)目的K值。
　　針對上述問題，本文做了一些相關(guān)的研究工作。本文的主要貢獻(xiàn)和創(chuàng)新點如下:
　　1.本文提出一種基于VSM與ILDA(Infinite LDA)聯(lián)合建模的新聞話題發(fā)現(xiàn)算法，該聯(lián)合建模方法能充分利用兩種模型各自優(yōu)勢并能避免使用單一模型的不足，有效地解決了話題發(fā)現(xiàn)領(lǐng)域文本建模所面臨的問題。
　　2

4、.考慮到新聞標(biāo)題能簡要概括新聞報道的核心內(nèi)容，即標(biāo)題中出現(xiàn)的特征詞應(yīng)當(dāng)給與更高的權(quán)重，本文改進(jìn)了傳統(tǒng)的TF-IDF算法，給予同時出現(xiàn)在標(biāo)題和正文的特征詞更高的權(quán)重，有效保證特征提取的正確性和有效性。
　　3.在此話題發(fā)現(xiàn)算法的基礎(chǔ)上，我們引入衰老理論，提出基于能量熱度的熱點話題排序算法，首先利用衰老理論對話題建模，然后對各時間片內(nèi)產(chǎn)生的話題分別進(jìn)行能量熱度計算，并關(guān)聯(lián)相鄰一段時間片該話題的能量熱度，然后利用話題衰減移除算法刪除能量