高維重疊分布下的遷移學(xué)習(xí)研究.pdf

1、由于多種原因，從一個(gè)領(lǐng)域遷移知識(shí)到另一個(gè)領(lǐng)域是富有挑戰(zhàn)性的。由于訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的條件分布和邊緣分布是不一樣的，直接將一個(gè)領(lǐng)域的模型應(yīng)用到不同的領(lǐng)域通常會(huì)導(dǎo)致低的準(zhǔn)確性。對(duì)于具有大量特征的許多應(yīng)用，如文本文件，序列數(shù)據(jù)，醫(yī)療數(shù)據(jù)，不同分辨率的圖像數(shù)據(jù)等，兩個(gè)領(lǐng)域通常不包含完全相同的特征，如果簡(jiǎn)單地將兩個(gè)領(lǐng)域的特征集合合并，那么將引入大量缺失值。換句話說(shuō)，它的邊緣分布最多是重疊。同時(shí)，這些問(wèn)題通常是高維的，擁有數(shù)千個(gè)特征。因此，高維度加

2、上缺失值使得難以對(duì)兩個(gè)領(lǐng)域間的條件概率的關(guān)系進(jìn)行衡量和建模。為了解決這些問(wèn)題，我們提出了一個(gè)框架，首先通過(guò)填補(bǔ)非重疊特征上的缺失值，使得兩個(gè)領(lǐng)域的邊緣分布更接近。接著，將擴(kuò)展后的數(shù)據(jù)投影到隱空間上，在該空間上條件和邊緣分布是相似的。該方法在映射后的數(shù)據(jù)上尋找領(lǐng)域間可遷移的共同的子結(jié)構(gòu)并遷移這些概念。預(yù)測(cè)時(shí)，無(wú)標(biāo)簽實(shí)例被看作是“查詢”，從out-domain中檢索出最接近的實(shí)例，最后通過(guò)這些實(shí)例的加權(quán)平均來(lái)得到分類結(jié)果。我們正式證明了填補(bǔ)