基于半監(jiān)督學(xué)習(xí)的文本分類算法研究.pdf

1、信息技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展的同時(shí)也帶來(lái)了信息海量增長(zhǎng)，因此如何將信息有效的分類以便人們更加高效的利用信息是一項(xiàng)艱巨的任務(wù)。文本形式的信息廣泛應(yīng)用于信息檢索、文本數(shù)據(jù)庫(kù)、數(shù)字圖書館、垃圾郵件識(shí)別、信息過(guò)濾和微博主題挖掘這些貼近人們生活的領(lǐng)域中。
　　本文以中文文本分類領(lǐng)域?yàn)楸尘?，首先分析了中文文本分類領(lǐng)域的發(fā)展現(xiàn)狀，針對(duì)現(xiàn)階段存在的問(wèn)題，改進(jìn)了基于半監(jiān)督學(xué)習(xí)的中文文本分類算法。改進(jìn)后的文本分類算法彌補(bǔ)現(xiàn)有文本分類算法的缺陷，并發(fā)揮半監(jiān)

2、督學(xué)習(xí)在少量訓(xùn)練樣本下訓(xùn)練的優(yōu)勢(shì)：可以在盡量保持分類算法的分類正確率的前提下，減少文本分類過(guò)程中人工的參與。本文的基于半監(jiān)督學(xué)習(xí)的中文文本算法具有如下幾個(gè)特點(diǎn)：引入基于密度的聚類算法，并將主題類別數(shù)目自確定問(wèn)題映射到基于密度聚類的類別數(shù)目確定問(wèn)題中，使用基于密度的聚類算法OPTICS對(duì)文本向量進(jìn)行聚類從而確定類別數(shù)目；使用LDA主題模型作為聚類器，利用其計(jì)算結(jié)果自動(dòng)對(duì)樣本進(jìn)行標(biāo)記，解決了有標(biāo)簽訓(xùn)練樣本獲取問(wèn)題；在Tri-Training