基于名詞短語提取與詞條權(quán)重分析的話題提取算法研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)規(guī)模的不斷增長(zhǎng)，網(wǎng)絡(luò)已經(jīng)成為人們獲取信息的主要渠道，然而，在信息爆炸的同時(shí)，也使人們?cè)讷@取信息的時(shí)候變得更加無所適從。信息疲勞、信息焦慮與信息過剩成為我們?cè)谛畔r(shí)代遇到的新的問題。如何有效的搜索、組織和呈現(xiàn)信息已經(jīng)成為信息時(shí)代的一個(gè)亟待解決的問題。話題模型作為一種有效整合信息的手段，成為近年來自然語言處理領(lǐng)域的熱點(diǎn)。
　　本文主要針對(duì)概率話題模型，將名詞短語提取和詞條權(quán)重計(jì)算引入話題模型，以期望能夠提高話題模型對(duì)

2、語料庫的擬合程度和泛化能力。
　　首先，將名詞短語提取引入了話題模型。通過詞性標(biāo)注、句法結(jié)構(gòu)分析，提取文本中最短的名詞短語。將文本中的名詞短語視作一個(gè)整體進(jìn)行分析，從而保證了名詞短語中的單詞由一個(gè)話題生成，即保證了語義相近的單詞由同一個(gè)話題生成。
　　其次，針對(duì)現(xiàn)實(shí)文本中噪聲較大的問題，提出了一種基于語義網(wǎng)絡(luò)的短語權(quán)重計(jì)算方法。通過構(gòu)建文本的語義網(wǎng)絡(luò)，借鑒馬爾科夫隨機(jī)游走的思想，計(jì)算節(jié)點(diǎn)到節(jié)點(diǎn)的轉(zhuǎn)移概率。通過動(dòng)態(tài)的去除節(jié)點(diǎn)的