基于Markov隨機(jī)游走的漸進(jìn)式半監(jiān)督文本分類研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)以及數(shù)據(jù)存儲技術(shù)的迅猛發(fā)展,科學(xué)研究以及社會生活等領(lǐng)域都積累了大量的數(shù)據(jù),對這些數(shù)據(jù)進(jìn)行分析和挖掘得到其所蘊(yùn)含的有用信息,成為幾乎所有領(lǐng)域的共同需求。傳統(tǒng)的機(jī)器學(xué)習(xí)方法通常只利用有標(biāo)簽數(shù)據(jù)或者只利用未標(biāo)記數(shù)據(jù),而在實際問題中往往是兩者并存,如何有效利用這些數(shù)據(jù)成為幾乎所有領(lǐng)域關(guān)注的問題。作為能有效解決這個問題的關(guān)鍵技術(shù),半監(jiān)督學(xué)習(xí)引起了機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘界的高度重視。
　　根據(jù)學(xué)習(xí)目的的不同半監(jiān)督學(xué)習(xí)大致可以分為半監(jiān)

2、督分類和半監(jiān)督聚類。其主要思想是在已標(biāo)記訓(xùn)練數(shù)據(jù)集較少的情況下,如何結(jié)合大量的未標(biāo)記數(shù)據(jù)來改善學(xué)習(xí)性能,本文中探討的是半監(jiān)督分類。
　　基于Markov的隨機(jī)游走算法,可用概率的形式表示低維數(shù)據(jù)的結(jié)構(gòu)信息,同時具有非常強(qiáng)大的學(xué)習(xí)功能,因而被廣泛地應(yīng)用于半監(jiān)督學(xué)習(xí)問題中。本文首先提出了一種基于Markov隨機(jī)游走的半監(jiān)督文本分類模型(簡稱為SMRW),該模型對傳統(tǒng)的基于Markov隨機(jī)游走的分類模型進(jìn)行了改進(jìn)。在隨機(jī)游走過程中,計算

3、待標(biāo)注數(shù)據(jù)到各類的遷移概率時,只考慮相應(yīng)類別樣本的影響,而忽略其他類別樣本對隨機(jī)過程的影響,同時利用衰減函數(shù)來約束不同游走步數(shù)對遷移概率的影響,并在20newsgroups數(shù)據(jù)集上進(jìn)行了實驗,實驗結(jié)果表明,該模型具有較好的分類性能。本文提出了一種基于Markov隨機(jī)游走的漸進(jìn)式半監(jiān)督分類模型,
　　在初始階段已標(biāo)記訓(xùn)練樣本較少時,訓(xùn)練得到的分類器性能不高。且在Markov隨機(jī)游走迭代過程中,樣本的錯分引起的誤差,會在后續(xù)的迭代中不