基于特征空間變換的半監(jiān)督學(xué)習(xí).pdf

1、半監(jiān)督學(xué)習(xí)旨在僅有少量標(biāo)注數(shù)據(jù)集和大量未標(biāo)注數(shù)據(jù)集的基礎(chǔ)上獲得一個(gè)良好的學(xué)習(xí)器。其中，協(xié)同訓(xùn)練算法是半監(jiān)督學(xué)習(xí)領(lǐng)域最重要的算法之一。該算法的大體思想是先利用極少的訓(xùn)練數(shù)據(jù)分別在兩個(gè)特征集合上訓(xùn)練兩個(gè)分類器，然后每個(gè)分類器對(duì)每個(gè)未標(biāo)記數(shù)據(jù)進(jìn)行分類，并從中挑選出置信度最高的p個(gè)正例數(shù)據(jù)和n個(gè)負(fù)例數(shù)據(jù)作為新的訓(xùn)練數(shù)據(jù)加到對(duì)方分類器的訓(xùn)練數(shù)據(jù)集中，使得對(duì)方分類器根據(jù)新訓(xùn)練集進(jìn)行更新。根據(jù)理論分析，上述過(guò)程不斷迭代重復(fù)能使得分類器逐漸由弱變強(qiáng)。

2、 然而協(xié)同訓(xùn)練算法的局限性在于它需要兩個(gè)在充分訓(xùn)練集下足夠優(yōu)秀，且相互獨(dú)立的特征集。而在現(xiàn)實(shí)世界中，滿足如此兩個(gè)苛刻約束的問(wèn)題十分罕見。針對(duì)協(xié)同訓(xùn)練的局限性，本文做了比較有效的工作以滿足兩個(gè)約束條件。它的主要思路是將源數(shù)據(jù)集經(jīng)過(guò)K-L變換映射到一個(gè)各維互相正交的正交空間中，然后應(yīng)用某種劃分算法將轉(zhuǎn)換后的數(shù)據(jù)集特征集合劃分成兩個(gè)滿足協(xié)同訓(xùn)練約束條件的高質(zhì)量的子集合，本章介紹了兩種特征集合的劃分方法，分別是：貪心的劃分算法和能量差驅(qū)動(dòng)

3、方法。為了衡量子集合的質(zhì)量，我們定義了一個(gè)基于特征值的能量函數(shù)。試驗(yàn)結(jié)果表明該方法取得了良好的分類效果。此外，注意到協(xié)同訓(xùn)練的研究主要集中在分類問(wèn)題上，本文又提出了一種新的協(xié)同訓(xùn)練的回歸算法(SSRFT)。在這種算法中，除了利用已有的基于特征空間變換的劃分方法得到兩個(gè)滿足約束條件的特征集外，針對(duì)回歸問(wèn)題中需要兩個(gè)差異性較大的回歸器的約束條件，利用了兩個(gè)迥異的回歸器。同時(shí)，將此算法應(yīng)用到了信息檢索領(lǐng)域取得了較理想的效果。實(shí)驗(yàn)結(jié)果證明基于S