主題優(yōu)化過(guò)濾方法研究與應(yīng)用.pdf

1、在文本挖掘領(lǐng)域，主題模型受到越來(lái)越高的關(guān)注。生成的主題作為數(shù)據(jù)的隱含表述，獲得了富含語(yǔ)義且低維的特征。但是現(xiàn)階段主題模型構(gòu)建方法所生成主題的質(zhì)量卻不盡如人意，因此如何提升主題質(zhì)量這一問(wèn)題得到了許多研究者的關(guān)注。
　　本文針對(duì)主題質(zhì)量這一問(wèn)題，提出了一系列對(duì)主題進(jìn)行過(guò)濾優(yōu)化的方法，包括:在語(yǔ)料庫(kù)預(yù)處理中引入詞性分析這一概念，只保留文檔中有用的名詞和動(dòng)詞，利用主題語(yǔ)義一致性評(píng)價(jià)主題質(zhì)量并設(shè)定閾值，對(duì)噪聲主題進(jìn)行過(guò)濾;針對(duì)主題中的詞匯進(jìn)

2、行主題詞判定，對(duì)主題中的噪聲詞匯進(jìn)行過(guò)濾。通過(guò)文本分類(lèi)來(lái)驗(yàn)證所提方法的有效性。文章主要工作包括以下兩個(gè)方面:
　　主題的過(guò)濾方法。要想得到較好的主題過(guò)濾效果，就需要一個(gè)精確的主題質(zhì)量評(píng)價(jià)指標(biāo)。傳統(tǒng)的主題一致性只是根據(jù)當(dāng)前語(yǔ)料庫(kù)來(lái)對(duì)主題質(zhì)量進(jìn)行判定，沒(méi)有利用外部語(yǔ)料庫(kù)來(lái)對(duì)其進(jìn)行語(yǔ)義調(diào)整。本文利用一個(gè)外部語(yǔ)料庫(kù)(Wikipedia2014)生成詞向量，根據(jù)詞向量來(lái)計(jì)算兩個(gè)單詞的語(yǔ)義相似度，再與主題一致性中的同文檔詞頻矩陣相結(jié)合，實(shí)現(xiàn)外

3、部語(yǔ)料庫(kù)對(duì)主題一致性的指導(dǎo)作用，從而更加精確地對(duì)主題質(zhì)量進(jìn)行評(píng)價(jià)，再通過(guò)設(shè)定閾值來(lái)過(guò)濾噪聲主題，以提高主題模型的質(zhì)量。
　　主題的優(yōu)化方法。本文利用主題詞判定方法來(lái)對(duì)主題進(jìn)行優(yōu)化，認(rèn)定在當(dāng)前語(yǔ)料庫(kù)中頻繁出現(xiàn)而在一般英語(yǔ)中不常出現(xiàn)的詞匯是主題詞。排除非主題詞，可減少噪聲詞匯的影響。此外，還利用WordNet這一語(yǔ)義層級(jí)結(jié)構(gòu)詞典來(lái)計(jì)算單詞間的關(guān)聯(lián)度，進(jìn)而確定主題中的詞匯是否在語(yǔ)義層次方面有關(guān)聯(lián)，以對(duì)主題進(jìn)行二次優(yōu)化，提高文本分類(lèi)效果。