文本分類(lèi)和聚類(lèi)若干模型的研究.pdf

1、隨著互聯(lián)網(wǎng)上文本數(shù)據(jù)的持續(xù)暴漲式增長(zhǎng),文本挖掘這種在大規(guī)模數(shù)據(jù)情況下能有效組織和管理文本信息的工具得到了廣泛的研究和應(yīng)用。本文分別針對(duì)文本挖掘中分類(lèi)和聚類(lèi)的幾個(gè)問(wèn)題提出了改進(jìn)模型。
　　 對(duì)于有監(jiān)督學(xué)習(xí)中的文本分類(lèi)問(wèn)題,傳統(tǒng)分類(lèi)方法在類(lèi)別較少時(shí)能表現(xiàn)較好的效果,但遇到類(lèi)別較多且類(lèi)別間存在著復(fù)雜關(guān)系時(shí)其效果不盡人意?！吧顚臃诸?lèi)”模型是一種解決大規(guī)模文本層次分類(lèi)問(wèn)題的有效框架,它由搜索和分類(lèi)兩階段組成,其中搜索階段用于選擇與測(cè)試文檔

2、相關(guān)的若干個(gè)候選類(lèi)別,分類(lèi)階段則是通過(guò)對(duì)這些候選類(lèi)別訓(xùn)練更加精確的分類(lèi)器進(jìn)行最終分類(lèi)。本文基于該框架提出一種改進(jìn)型模型,首先將一種新方法用于單獨(dú)評(píng)價(jià)搜索階段的效果;然后利用類(lèi)別和文檔信息共同選擇候選類(lèi)別;最后基于類(lèi)中心訓(xùn)練Rocchio分類(lèi)器,同時(shí)還利用相關(guān)類(lèi)別的分類(lèi)結(jié)果確定最終類(lèi)別。
　　 對(duì)于無(wú)監(jiān)督學(xué)習(xí)中的文本聚類(lèi)問(wèn)題,準(zhǔn)確高效地度量文本間的相關(guān)性是其重要任務(wù)。傳統(tǒng)方法直接計(jì)算文檔間的統(tǒng)計(jì)相關(guān)性,而沒(méi)有考慮相鄰文檔的影響。本

3、文使用了Markov網(wǎng)絡(luò)模型表示文本集中文檔關(guān)系,該方法不僅考慮文檔間的直接相關(guān)性還考慮了各自鄰域?qū)ζ涿枋龅挠绊?并將該方法用于文檔聚類(lèi)中,通過(guò)構(gòu)造Markov網(wǎng)絡(luò)并加權(quán)結(jié)合各步轉(zhuǎn)移矩陣,使得類(lèi)內(nèi)數(shù)據(jù)相關(guān)性描述更大,類(lèi)間數(shù)據(jù)相關(guān)性描述更小,最后利用這種相關(guān)性描述差距明顯的關(guān)系矩陣進(jìn)行聚類(lèi)。
　　 本文的工作主要包括以下兩點(diǎn):
　　 1)系統(tǒng)地研究了大規(guī)模文本分類(lèi)中的方法和應(yīng)用,并針對(duì)深層分類(lèi)模型提出了一種結(jié)合相關(guān)類(lèi)別的大