基于VSM模型和ILDA模型聯(lián)合建模的新聞話題發(fā)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速迅猛發(fā)展，互聯(lián)網(wǎng)用戶可以更加容易地從網(wǎng)絡(luò)上獲取日常關(guān)心的熱點(diǎn)話題。網(wǎng)絡(luò)新聞已然成為人們獲取新聞信息的主要媒介之一，相比傳統(tǒng)新聞媒體，網(wǎng)絡(luò)新聞在報(bào)道重大事件上更具有時(shí)效性與互動(dòng)性。在這個(gè)時(shí)間就是金錢，效率就是生命的當(dāng)代社會(huì)，如何有效組織某個(gè)熱門新聞話題幫助用戶快速了解熱點(diǎn)事件已經(jīng)成為人們亟待解決的認(rèn)知需求。
　　話題發(fā)現(xiàn)與追蹤是近幾十年自然語言處理、信息檢索領(lǐng)域的一項(xiàng)熱門研究方向，該技術(shù)能有效幫助人們快速組織網(wǎng)絡(luò)

2、上的海量信息，緩解人們面對(duì)海量新聞時(shí)的無力感，此外，國(guó)家機(jī)關(guān)需要快速了解廣大群眾面對(duì)輿情事件的態(tài)度并做出相應(yīng)決策。因此，面向網(wǎng)絡(luò)新聞的熱點(diǎn)話題發(fā)現(xiàn)具有現(xiàn)實(shí)需求意義。
　　運(yùn)用于該領(lǐng)域的主流模型有VSM(Vector Space Model)和LDA(Latent DirichletAllocation)模型，到目前為止，這兩個(gè)模型在該領(lǐng)域的研究取得了較好的效果。傳統(tǒng)VSM運(yùn)用于該領(lǐng)域時(shí)建模過程簡(jiǎn)單，操作容易，但是忽略了文本內(nèi)容的語

3、義相關(guān)性;而LDA模型能有效解決這個(gè)問題，能充分地表達(dá)文本內(nèi)容的語義，但在運(yùn)用于該領(lǐng)域的文本表示時(shí)需要人為設(shè)定話題數(shù)目的K值。
　　針對(duì)上述問題，本文做了一些相關(guān)的研究工作。本文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)如下:
　　1.本文提出一種基于VSM與ILDA(Infinite LDA)聯(lián)合建模的新聞話題發(fā)現(xiàn)算法，該聯(lián)合建模方法能充分利用兩種模型各自優(yōu)勢(shì)并能避免使用單一模型的不足，有效地解決了話題發(fā)現(xiàn)領(lǐng)域文本建模所面臨的問題。
　　2

4、.考慮到新聞標(biāo)題能簡(jiǎn)要概括新聞報(bào)道的核心內(nèi)容，即標(biāo)題中出現(xiàn)的特征詞應(yīng)當(dāng)給與更高的權(quán)重，本文改進(jìn)了傳統(tǒng)的TF-IDF算法，給予同時(shí)出現(xiàn)在標(biāo)題和正文的特征詞更高的權(quán)重，有效保證特征提取的正確性和有效性。
　　3.在此話題發(fā)現(xiàn)算法的基礎(chǔ)上，我們引入衰老理論，提出基于能量熱度的熱點(diǎn)話題排序算法，首先利用衰老理論對(duì)話題建模，然后對(duì)各時(shí)間片內(nèi)產(chǎn)生的話題分別進(jìn)行能量熱度計(jì)算，并關(guān)聯(lián)相鄰一段時(shí)間片該話題的能量熱度，然后利用話題衰減移除算法刪除能量