基于positive和unlabeled樣本的半監(jiān)督分類研究.pdf

1、隨著網(wǎng)絡(luò)的迅速發(fā)展，文本信息的數(shù)量也日益增加，文本分類成為處理和解決大量文本數(shù)據(jù)的關(guān)鍵技術(shù)。傳統(tǒng)的文本分類，通過預(yù)先定義類別或者標(biāo)記類別，對(duì)大量樣本數(shù)據(jù)的訓(xùn)練構(gòu)建合理的分類器。提出了一些有效的方法，如Rocchio algorithm，，the naive Bayesian method(NB)，support vector machines(SVM)。這些方法被稱為基于機(jī)器學(xué)習(xí)的有監(jiān)督學(xué)習(xí)方法，他們需要獲得大量的人工標(biāo)注的訓(xùn)練文檔。通

2、過對(duì)訓(xùn)練文檔的學(xué)習(xí)，計(jì)算分類器的參數(shù)，對(duì)文檔集進(jìn)行分類的過程。然而獲得大量的、帶有類別標(biāo)注的樣本的代價(jià)是相當(dāng)昂貴的，而這些方法只有通過大規(guī)模的訓(xùn)練才能獲得較高精度的分類效果。此外，在實(shí)際應(yīng)用中，分類體系常常是不一致的，這為目錄的日常維護(hù)帶來了一定的困難。無監(jiān)督學(xué)習(xí)在無訓(xùn)練樣本的情況下，針對(duì)樣本分布特征進(jìn)行樣本標(biāo)注，但是準(zhǔn)確性較差。從而引出了是否能夠從帶有類別標(biāo)注和不帶有類別標(biāo)注的混合文檔中分類文本的問題。它只需要部分帶有類別標(biāo)注的訓(xùn)練樣

3、本，結(jié)合未標(biāo)注樣本含有的知識(shí)來學(xué)習(xí)構(gòu)建分類器。為了區(qū)別于傳統(tǒng)的監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)，在機(jī)器學(xué)習(xí)的領(lǐng)域被稱為半監(jiān)督學(xué)習(xí)。本文主要以此為思想基礎(chǔ)，研究在僅有Positive樣本或者少量訓(xùn)練樣本的情況下，如何通過對(duì)Unlabeled樣本數(shù)據(jù)的有效學(xué)習(xí)，來挖掘潛在的有價(jià)值的信息，優(yōu)化分類器的參數(shù)，對(duì)Unlabeled樣本進(jìn)行較高準(zhǔn)確率的分類。 本文主要做了以下幾方面工作： 1.研究貝葉斯模型標(biāo)注positive和unlabele

4、d樣本，結(jié)合EM迭代算法，估計(jì)未帶標(biāo)簽的樣本缺值。引入了相關(guān)的聚類算法，包括分類器初始前的樣本值研究，以及EM極大似然估計(jì)過程中的性能計(jì)算。 2.采用信息熵的離散事件概率估計(jì)理論，研究高斯分布中負(fù)例樣本的產(chǎn)生及其準(zhǔn)確率。在一定的約束條件下，選擇具有最大不確定性的分布.判斷詞的概率分布，從而整體上判斷某一未標(biāo)樣本是否用于當(dāng)前分類器的分類樣本。熵值反應(yīng)了特征詞分布的差異情況，如果熵值較大，說明該詞與訓(xùn)練樣本數(shù)據(jù)就越有可能有類似的分布

5、。對(duì)于一個(gè)與訓(xùn)練樣本數(shù)據(jù)分布差異較大的特征詞，它的熵值較小?；谛畔㈧乩碚?，對(duì)數(shù)據(jù)的標(biāo)準(zhǔn)化處理，采用極大值標(biāo)準(zhǔn)化處理方法。 3.采用主動(dòng)學(xué)習(xí)的方法進(jìn)行半監(jiān)督分類，提出了二階段的主動(dòng)學(xué)習(xí)策略。對(duì)于未標(biāo)文檔是否適應(yīng)于當(dāng)前訓(xùn)練集環(huán)境下的分類；未標(biāo)文檔中哪些文檔可以作為新加入的訓(xùn)練文檔，完善分類器的學(xué)習(xí)。 4.結(jié)合最大熵和機(jī)器學(xué)習(xí)的技術(shù)，在BBS情感分類中的一個(gè)應(yīng)用。以詞語的語義傾向識(shí)別為基礎(chǔ)，利用最大熵識(shí)別文檔中具有語義傾向的