基于半監(jiān)督學(xué)習(xí)的文本分類研究.pdf

1、隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展，人們?cè)谌粘９ぷ髦行枰幚碓絹碓蕉嗟奈谋拘畔ⅲ谋痉诸愖鳛檫@一領(lǐng)域的關(guān)鍵技術(shù)近年來日益受到關(guān)注，傳統(tǒng)的文本分類方法需要大量的已知類別文本來幫助構(gòu)建分類器，然而通常情況下我們只能得到少量的已知類別樣本和大量的未知類別樣本，如果只利用這些已知類別樣本來構(gòu)建分類器，不但得到的結(jié)果具有一定的局限性，大量的未知類別樣本隱含的信息也難以得到有效利用，這就造成了一定程度上的資源浪費(fèi)，而且人工為未知類別樣本打標(biāo)記也需要耗費(fèi)大量的人

2、力物力，因此半監(jiān)督學(xué)習(xí)應(yīng)運(yùn)而生。半監(jiān)督學(xué)習(xí)是一種介于監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的一種學(xué)習(xí)方式，它只需要部分已知類別的訓(xùn)練樣本，結(jié)合未知類別樣本含有的知識(shí)來學(xué)習(xí)構(gòu)建分類器。
　　 本文在現(xiàn)有的半監(jiān)督分類算法的基礎(chǔ)上，提出了一種可以有效提高分類性能的基于多數(shù)投票的半監(jiān)督分類方法，并結(jié)合文本分類，提出了一種擴(kuò)大已知樣本集的新方法，論文的主要工作如下：
　　 1.介紹了文本分類的關(guān)鍵技術(shù)，包括文本的表示、文本的預(yù)處理、特征選擇、特征權(quán)

3、重計(jì)算，常見的分類方法和分類性能評(píng)估。
　　 2.介紹了半監(jiān)督學(xué)習(xí)的概念，并結(jié)合現(xiàn)有的半監(jiān)督分類算法，引入了基于最近鄰的多數(shù)投票規(guī)則，通過實(shí)驗(yàn)證明了該方法的有效性。
　　 3.將半監(jiān)督分類的思想用于文本分類，并根據(jù)文本的特征提出一種加入相似樣本的小樣本半監(jiān)督學(xué)習(xí)方法，該方法首先通過已知類別樣本集提取出能代表每個(gè)類別的代表特征，再根據(jù)這些代表特征從未知類別樣本集中挑選出相似樣本加入到已知類別樣本集，擴(kuò)大了已知類別樣本集的規(guī)