機器學習中知識遷移方法研究.pdf

1、傳統(tǒng)的機器學習是基于統(tǒng)計學的機器學習，學習的任務就是在給定充分訓練數(shù)據(jù)的基礎上來學習一個分類模型，然后利用這個學習到的模型來對測試數(shù)據(jù)進行分類與預測。其中有一個基本的假設條件:訓練數(shù)據(jù)與測試數(shù)據(jù)來自相同的特征空間而且服從相同的概率分布。但是在實際問題中，這種假設往往不成立，這樣就導致學習到的模型無法很好的應用到測試數(shù)據(jù)上去，于是傳統(tǒng)的機器學習技術就對這些問題的解決失去了效力。這往往需要我們去重新標注大量的訓練數(shù)據(jù)以滿足我們訓練的需要，但

2、標注新數(shù)據(jù)是非常昂貴的，需要大量的人力與物力。從另外一個角度上看，如果我們有了大量的、在不同分布下的已標記的訓練數(shù)據(jù)，完全丟棄這些數(shù)據(jù)也是非常浪費的。如何合理的利用這些數(shù)據(jù)就是遷移學習主要解決的問題。
　　目前根據(jù)源數(shù)據(jù)集和目標數(shù)據(jù)集中數(shù)據(jù)標記的情況不同，遷移學習可以劃分為三類:歸納式遷移學習，直推式遷移學習和無監(jiān)督遷移學習，其中前兩種遷移學習是當今研究的熱點。根據(jù)遷移對象的不同，現(xiàn)今解決遷移學習問題的方法可分為四種:實例遷移法，

3、主要是通過挑選和提取對目標數(shù)據(jù)集訓練有幫助的樣例進行權重重組，將其作為輔助訓練數(shù)據(jù)來幫助目標數(shù)據(jù)空間的學習；特征代表遷移法，主要是尋找一個“好”的特征代表來最小化各個特征空間或者分類器、回歸模型之間的差異；參數(shù)遷移法，尋找源數(shù)據(jù)空間模型和目標數(shù)據(jù)空間模型之間的共同的參數(shù)或者前提來進行進一步處理達到知識遷移的目的；關聯(lián)知識遷移法，通過建立源空間數(shù)據(jù)的關系模型與目標空間數(shù)據(jù)的關系模型的映射模型來實現(xiàn)知識的遷移，并假定兩個數(shù)據(jù)空間是相關的而且

4、各自服從獨立同分布假設。
　　本文對歸納式遷移學習進行了重點研究，在總結幾種主流的遷移學習解決方法的基礎上，提出了三種算法:
　　基于數(shù)據(jù)集動態(tài)重組的集成遷移學習。算法首先將大量舊的已標記數(shù)據(jù)進行隨機等量分割，把得到的舊數(shù)據(jù)的各個分塊分別與少量的新已標記數(shù)據(jù)組合得到多個重構的訓練數(shù)據(jù)集，然后分別訓練分類器得到一個集成分類器，利用它對樣例進行權值的更新，最后得到最終的集成分類器。
　　基于神經(jīng)網(wǎng)絡誤差分析和數(shù)據(jù)重組的集成

5、遷移學習。首先利用已標記的目標數(shù)據(jù)訓練一個神經(jīng)網(wǎng)絡分類器模型，然后把源數(shù)據(jù)集中的樣例輸入該模型中，利用輸出的誤差來為該樣例的權重進行初始化，再利用分割重組的方式重組數(shù)據(jù)集并訓練分類器，最后進行分類器的集成。
　　基于向量平移和模糊聚類的遷移學習。為了讓源數(shù)據(jù)與目標數(shù)據(jù)在特征空間中有盡可能大的交集，利用向量平移的方式將兩者盡量重疊起來，然后把目標數(shù)據(jù)集的各類中心點作為聚類中心對平移后的數(shù)據(jù)進行模糊聚類，得到每個樣例隸屬于各個類別的模