基于LDA模型和密度聚類的新聞話題檢測(cè).pdf

1、近些年，隨著互聯(lián)網(wǎng)的快速發(fā)展和網(wǎng)絡(luò)終端的多樣化，網(wǎng)絡(luò)新聞報(bào)道快速增長(zhǎng)，新聞信息的結(jié)構(gòu)變得更加復(fù)雜。傳統(tǒng)的新聞收集、整理、組織和分析工作很難全面的了解新聞報(bào)道之間的聯(lián)系，無(wú)法從全局的角度判斷新聞報(bào)道的發(fā)展方向，話題檢測(cè)技術(shù)應(yīng)運(yùn)而生。新聞話題檢測(cè)的主要任務(wù)是從大量新聞中自動(dòng)檢測(cè)出潛在的話題，同時(shí)話題檢測(cè)也可以對(duì)突發(fā)新聞事件進(jìn)行檢測(cè)并全面了解事件的發(fā)展情況。話題檢測(cè)對(duì)輿情監(jiān)測(cè)、信息安全、商業(yè)金融等領(lǐng)域都有重要作用。
　　本文針對(duì)新聞數(shù)據(jù)

2、的話題檢測(cè)進(jìn)行研究，主要工作如下：
　?。?）將 LDA模型與基于密度的聚類算法相結(jié)合。LDA模型從語(yǔ)義層面抽取新聞數(shù)據(jù)主題，有效降低數(shù)據(jù)分析維度，更合理的體現(xiàn)新聞主題特征；基于密度聚類算法能夠更有效的挖掘話題中新聞的結(jié)構(gòu)。
　　（2）基于新聞話題的時(shí)間延續(xù)性，給出了改進(jìn)的 T-OPTICS算法。該算法繼承了OPTICS算法對(duì)參數(shù)不敏感的特性，降低了參數(shù)選擇對(duì)聚類結(jié)果的影響；改進(jìn)了OPTICS算法中文本間相似度的計(jì)算方法，體

3、現(xiàn)了話題的時(shí)間延續(xù)性。
　?。?）針對(duì)話題檢測(cè)任務(wù)的特點(diǎn)，給出了一種基于 OPTICS可達(dá)圖的自動(dòng)簇識(shí)別方法。該方法以話題是一個(gè)核心事件或活動(dòng)以及與其相關(guān)的事件或活動(dòng)的定義為依據(jù)，首先在OPTICS可達(dá)圖上識(shí)別所有凹區(qū)間作為活動(dòng)或事件，然后抽取事件（活動(dòng)）的核心特征，最后合并核心特征相近的連續(xù)事件（活動(dòng)），得到需要檢測(cè)的話題集合。該方法克服了現(xiàn)有的簇識(shí)別方法參數(shù)選擇困難的缺點(diǎn)。
　　基于TDT4數(shù)據(jù)集的實(shí)驗(yàn)表明，上述研究工作