基于集成的半監(jiān)督學習和主動學習算法研究.pdf

1、在許多實際數(shù)據(jù)挖掘應用中,存在大量的未標記樣例,然而要獲得它們的標記是很耗時并且昂貴的。半監(jiān)督學習是一種流行的機器學習技術,能夠充分利用大量的未標記樣例與少量的已標記樣例來提高監(jiān)督學習的性能。集成協(xié)同訓練是一種半監(jiān)督學習算法,本文針對該算法存在的問題進行了研究,提出了相應的改進方法。除了半監(jiān)督學習,主動學習也能夠利用大量的未標記樣本來幫助改善學習性能。通過預先定義的查詢策略來獲得每一個未標記樣本的信息量是主動學習的關鍵所在。基于集成的查

2、詢是其中一種查詢策略,本文針對該策略存在的問題進行了研究,并提出了相應的改進方法。本文的研究工作可以劃分為以下三個方面:
　　1.基于距離度量的改進的集成協(xié)同訓練算法。在集成協(xié)同訓練中,類概率值可能重復,這對分類器性能的改進起到了負面影響。我們提出了一種方法來處理這個問題。集成的類關系概率能夠與未標記樣本和已標記樣本之間的距離度量進行結合。兩種距離度量被考慮。為了證明我們的方法能夠得到高質量的樣例與減少噪聲的引入,一種數(shù)據(jù)審計技術

3、被用來與我們的方法進行對比。在 UC I數(shù)據(jù)集上的實驗結果證實了我們的方法和數(shù)據(jù)審計技術的有效性,同時也表明了第一種距離度量方法通常要好于數(shù)據(jù)審計技術。
　　2.基于樸素貝葉斯的改進的集成協(xié)同訓練算法。一種不同的方法被提出用來處理集成協(xié)同訓練中類概率值可能重復的問題。樸素貝葉斯被用來幫助估計未標記樣本的類概率。由于樸素貝葉斯分類器對于不同的未標記樣本能夠產(chǎn)生不同的類概率估計,我們可以將它與集成分類器進行結合來做出預測。實驗結果證實

4、了我們方法的有效性,并且也表明了我們的方法通常要好于數(shù)據(jù)審計技術。
　　3.改進的主動學習用于高光譜數(shù)據(jù)的分類?；诩傻牟樵兏鶕?jù)集成的不一致程度來度量未標記樣本的信息量。然而信息量可能重復,這給分類性能的提高帶來了負面影響。為了減少信息量重復程度,一種現(xiàn)存的模型被用來幫助估計每一個樣例的信息量。另外,為了降低被挑選出樣本之間的冗余性,最遠優(yōu)先遍歷算法被用來增加它們之間的差異性。在 UC I數(shù)據(jù)集和高光譜圖像上的實驗結果證實了提出