基于多潛在空間的遷移學習算法研究.pdf

1、傳統(tǒng)機器學習方法要求訓練數(shù)據(jù)與測試數(shù)據(jù)具有相同的特征空間和特征分布。然而，在許多實際應用領域，這一條件往往很難滿足。因此，利用已有領域所獲得的信息和知識解決新領域問題的遷移學習方法近幾年得到了更多的關注和研究。在這一類跨領域問題求解任務中，針對領域間具有潛在分布差異的問題，采用基于潛在空間的遷移學習方法具有較好的分類效果。此類方法構建單一的共享潛在特征空間，并使不同領域在此空間上滿足分布一致。然而，當領域間的分布差異較大時，基于單一共享

2、潛在空間的遷移學習方法難以有效地獲取和利用領域間的潛在信息。為此，通過構建多潛在空間訓練出適應性更強的跨領域學習模型具有重要的研究和應用價值。
　　本文對遷移學習中多潛在空間的方法進行了研究，并提出了幾種基于多潛在空間的遷移學習算法。主要研究工作如下:
　　(1)提出一個能夠在共享與非共享潛在空間中同時學習四種高層概念的四重遷移學習方法。本項研究基于如下幾個出發(fā)點:首先，由于領域特有潛在信息有助于遷移學習模型的訓練，且特有潛

3、在信息大多通過構建特有潛在空間獲得。因此，基于單一共享潛在空間的遷移學習方法難以有效地獲取和利用特有潛在信息。其次，由于多義概念能夠提高跨領域的學習能力，以往忽略多義概念的遷移學習方法難以適應多種不同的分布情況。針對以上問題，通過引入多義概念，四重遷移學習方法對包括多義概念在內的四種高層概念進行形式化，并創(chuàng)建共享和非共享的潛在空間。然后在共享和非共享的潛在空間上同時學習對應的高層概念。在此基礎上，提出具有收斂性的算法QTL以實現(xiàn)優(yōu)化問題

4、。實驗結果表明: QTL優(yōu)于其他的對比方法，并有效的避免了負遷移的發(fā)生。
　　(2)提出一個能夠學習多個共享潛在空間上共享概念的多橋接遷移學習方法。由于單一共享潛在空間中的共享潛在信息僅是領域間所有共享潛在信息的一部分，因此，基于單一共享潛在空間的遷移學習方法難以有效地獲取和利用共享潛在信息。針對這一問題，多橋接遷移學習方法在共現(xiàn)原始特征空間上創(chuàng)建多個不同的共享潛在特征空間，并在每個共享潛在空間上學習相應的高層概念以滿足其分布一致

5、。在此基礎上，提出算法MBTL以實現(xiàn)優(yōu)化問題。實驗結果表明:MBTL在主題分類和情感分類任務上都優(yōu)于其他的對比方法，并具有收斂性。
　　(3)提出一個能夠同時學習多個共享潛在空間上共享概念以及多個非共享（特有）潛在空間上非共享（特有）概念的多重遷移學習方法。針對基于單一共享潛在空間的遷移學習方法難以有效地獲取和利用共享潛在信息和非共享潛在信息，多重遷移學習方法在共現(xiàn)原始特征空間上創(chuàng)建了共享潛在空間，在每個領域的原始特征空間上創(chuàng)建了