基于局部學(xué)習(xí)的半監(jiān)督分類問題研究.pdf

1、傳統(tǒng)的機器學(xué)習(xí)技術(shù)需要使用大量有標(biāo)記樣本進行訓(xùn)練，但是在很多實際應(yīng)用中，獲取大量的有標(biāo)記樣本相當(dāng)困難，因為標(biāo)記樣本往往需要耗費大量的人力物力以及時間，甚至必須依賴于少數(shù)領(lǐng)域?qū)＜液椭R工程師來完成，而獲取大量未標(biāo)記樣本則相對容易得多.所以只需標(biāo)注少量樣本的半監(jiān)督學(xué)習(xí)方法在模式識別和機器學(xué)習(xí)領(lǐng)域引起了極大的關(guān)注，并在文本分類、圖像識別、生物信息學(xué)等諸多領(lǐng)域取得了良好的應(yīng)用效果。
　　 半監(jiān)督多類分類問題和半監(jiān)督多標(biāo)記分類問題是半監(jiān)督

2、二類分類問題的實質(zhì)性推廣，由于它們更貼近實際問題，成為當(dāng)前機器學(xué)習(xí)領(lǐng)域的一個研究熱點.解決這兩類問題的方法常常是將它們分解成一組半監(jiān)督二類分類問題，而這會產(chǎn)生許多新問題，如半監(jiān)督多類分類問題中會出現(xiàn)數(shù)據(jù)的不平衡問題，半監(jiān)督多標(biāo)記分類問題中未考慮類別之間的相關(guān)性，并且隨著標(biāo)記數(shù)目的增加分解出來的子問題的數(shù)目呈指數(shù)增長難以處理等.本文針對半監(jiān)督多類分類問題和半監(jiān)督多標(biāo)記分類問題，采用基于圖的半監(jiān)督學(xué)習(xí)算法，從最優(yōu)化的角度出發(fā)，根據(jù)“整體法”

3、的研究思路，利用局部學(xué)習(xí)的優(yōu)良特性對上述兩類問題做了系統(tǒng)深入的研究。具體地說，本文的主要工作包括如下幾個方面：
　　 1.第一章首先簡要地介紹了機器學(xué)習(xí)的研究意義、發(fā)展概況及其理論基礎(chǔ)-統(tǒng)計學(xué)習(xí)理論的基本知識；其次對本文所要研究的機器學(xué)習(xí)問題中的半監(jiān)督學(xué)習(xí)和局部學(xué)習(xí)的發(fā)展歷史和研究現(xiàn)狀進行了綜述；最后介紹了論文的選題動機和組織結(jié)構(gòu)。
　　 2.第二章研究了基于局部學(xué)習(xí)的半監(jiān)督多類分類算法.局部學(xué)習(xí)的內(nèi)涵就是一個樣本的類別

4、應(yīng)能很好地由其鄰域內(nèi)的樣本估計，即每一個樣本的類別實值與建立在其鄰域樣本集上的局部學(xué)習(xí)模型的輸出值相同或相近.首先，基于局部學(xué)習(xí)在半監(jiān)督二類分類問題中表現(xiàn)出的良好特性，分析和推導(dǎo)了半監(jiān)督二類分類問題中的局部學(xué)習(xí)正則項；其7欠，提出了一種新的單位圓標(biāo)記表示方法；最后，將局部學(xué)習(xí)從半監(jiān)督二類分類問題推廣到了半監(jiān)督多類分類問題中，并用數(shù)值實驗檢驗了基于局部學(xué)習(xí)的半監(jiān)督多類分類算法的有效性和高效性。
　　 3.第三章研究了結(jié)合全局學(xué)習(xí)和

5、局部學(xué)習(xí)的半監(jiān)督多類分類算法.首先，針對多類分類問題中的標(biāo)記本質(zhì)上屬于標(biāo)稱型變量的特性，提出了一種彈性的可學(xué)習(xí)可調(diào)節(jié)的標(biāo)記表示方法；其次，提出了半監(jiān)督多類分類問題的正則化方法，包括全局正則化和局部正則化，并完整地給出了局部正則項在半監(jiān)督多類分類問題中的表達形式，并提出了兩個算法：(1)基于局部學(xué)習(xí)和可調(diào)節(jié)標(biāo)記表示方法的半監(jiān)督多類分類算法；(2)結(jié)合全局和局部正則化的半監(jiān)督多類分類算法；最后，通過在標(biāo)準(zhǔn)的二類數(shù)據(jù)集和多類數(shù)據(jù)集上進行數(shù)值實

6、驗，實驗結(jié)果證明了兩個算法的有效性和可行性。
　　 4.第四章研究了基于局部學(xué)習(xí)的半監(jiān)督多標(biāo)記分類算法.首先，通過分析發(fā)現(xiàn)，半監(jiān)督多標(biāo)記分類問題中每一個樣本輸入xi對應(yīng)的輸出yi的表示形式，與半監(jiān)督多類分類問題中二進制序列標(biāo)記表示方法本質(zhì)上是一致的，因此可將局部學(xué)習(xí)正則項引入到半監(jiān)督多標(biāo)記分類問題中；其次，半監(jiān)督多標(biāo)記分類問題中有關(guān)類與類之間相關(guān)性的研究，正適合用“整體法”的研究方法來解決，這樣，分別從樣本和類別兩個方面構(gòu)建了兩

7、個加權(quán)無向圖，分析得到針對樣本的局部學(xué)習(xí)正則項和針對類別的全局正則項，從而得到基于局部學(xué)習(xí)的半監(jiān)督多標(biāo)記分類算法；最后，通過求解一個Sylvester方程得到類別的實值矩陣解，實驗驗證了基于局部學(xué)習(xí)的半監(jiān)督多標(biāo)記分類算法是可行的。
　　 5.第五章利用前面研究的基于局部學(xué)習(xí)思想的半監(jiān)督多類分類算法解決電力變壓器故障診斷問題，建立了電力變壓器故障診斷的層次模型，實現(xiàn)故障的定性和定位，為半監(jiān)督多類分類算法在新領(lǐng)域的應(yīng)用做了有意義的嘗