普遍學(xué)習(xí)研究.pdf

1、傳統(tǒng)的有監(jiān)督機(jī)器學(xué)習(xí)以及數(shù)據(jù)挖掘算法有一個(gè)重要的假設(shè)：訓(xùn)練數(shù)據(jù)以及測(cè)試數(shù)據(jù)服從同樣的概率分布。然而在大量實(shí)際的應(yīng)用中，這個(gè)假設(shè)往往不成立。更為普遍的情況是，少量訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)來(lái)自同一分布，而大部分訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)的分布不一致，但存在關(guān)聯(lián)。在最近的研究中，此類情況被分成幾種不同的問(wèn)題進(jìn)行描述：訓(xùn)練數(shù)據(jù)出現(xiàn)采樣偏差，訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)來(lái)自不同的領(lǐng)域，訓(xùn)練數(shù)據(jù)或測(cè)試數(shù)據(jù)包含了(不同的)噪聲；并對(duì)應(yīng)著幾種不同的解決方法：采樣偏差更正，遷移

2、學(xué)習(xí)，不確定性挖掘。然而，過(guò)多的問(wèn)題描述以及解決方案容易在實(shí)際中引起混淆。所以，這存在一個(gè)挑戰(zhàn)，是否存在一個(gè)方法，它能同時(shí)有效并準(zhǔn)確地解決以上提出的問(wèn)題?
　　 本文就此提出一個(gè)用于分類的統(tǒng)一學(xué)習(xí)框架－－普遍學(xué)習(xí)。在這個(gè)框架中，以上提及的不同問(wèn)題都能被定義以及形式化。接著，本文在對(duì)當(dāng)前普遍學(xué)習(xí)的現(xiàn)狀分類別進(jìn)行回顧，總結(jié)和分析了普遍學(xué)習(xí)幾個(gè)典型的問(wèn)題以及有代表性的算法；在此基礎(chǔ)上，著重研究了如何對(duì)數(shù)據(jù)進(jìn)行代表點(diǎn)選擇以及特征空間變換

3、，從而消除訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)之間分布的不一致。本文的主要研究工作如下：(1)針對(duì)普遍學(xué)習(xí)情況下的分類問(wèn)題，提出三種不同的學(xué)習(xí)算法：1.基于核空間映射以及聚類代表點(diǎn)選擇；2.基于最大邊緣的代表點(diǎn)選擇；3.基于特征構(gòu)建的空間映射。本文對(duì)三個(gè)算法都進(jìn)行了詳細(xì)地討論，分別給出了數(shù)學(xué)證明以及實(shí)驗(yàn)對(duì)比。(2)針對(duì)普遍學(xué)習(xí)條件下的模型與數(shù)據(jù)選擇問(wèn)題，進(jìn)一步提出一種新型的交叉驗(yàn)證方法，它能在挑選模型或數(shù)據(jù)時(shí)去除分布不一致帶來(lái)的誤差。最后，本文總結(jié)并對(duì)下