新型偏標(biāo)記學(xué)習(xí)算法研究.pdf

1、近年來，在弱監(jiān)督信息下進(jìn)行學(xué)習(xí)已成為機(jī)器學(xué)習(xí)的研究熱點，偏標(biāo)記學(xué)習(xí)是其中一類重要的弱監(jiān)督學(xué)習(xí)框架。在該框架下，訓(xùn)練集中的每個對象對應(yīng)于輸出空間的一個候選標(biāo)記集合，并且該集合中僅有一個標(biāo)記為其真實標(biāo)記。在偏標(biāo)記學(xué)習(xí)中，訓(xùn)練樣本的真實標(biāo)記不再確定可得。為了克服上述監(jiān)督信息缺失的問題，本文主要做了以下三個方面的工作:
　　在偏標(biāo)記學(xué)習(xí)中，一種直觀的策略是對候選標(biāo)記集合中的元素平等對待，將模型在各個候選標(biāo)記上的平均輸出作為模型輸出。然而，

2、此類模型的性能會受到候選標(biāo)記集合中“偽標(biāo)記”的影響。為了克服平均消歧的缺陷，本文提出了一種基于示例的偏標(biāo)記學(xué)習(xí)算法IPAL，直接對候選標(biāo)記集合進(jìn)行消歧。IPAL算法首先根據(jù)示例及其近鄰構(gòu)建一個非對稱的相似度圖，然后采用迭代標(biāo)記傳播的方式獲取示例的真實標(biāo)記。在測試階段，算法首先計算未見示例的k近鄰，然后采用最小化誤差重構(gòu)準(zhǔn)則對未見示例進(jìn)行預(yù)測。
　　最大間隔準(zhǔn)則是機(jī)器學(xué)習(xí)中的一類重要學(xué)習(xí)策略?，F(xiàn)有最大間隔偏標(biāo)記學(xué)習(xí)算法優(yōu)化模型在候選

3、標(biāo)記集合上最大輸出和非候選標(biāo)記上最大輸出之間的差異。然而，該算法的潛在缺陷在于未考慮示例的真實標(biāo)記和候選標(biāo)記集合中其他標(biāo)記之間的差異。基于此，本文提出了一種新的基于最大間隔的偏標(biāo)記學(xué)習(xí)算法M3PL，直接優(yōu)化真實標(biāo)記和其他所有標(biāo)記之間的差異，對候選標(biāo)記集合中的標(biāo)記進(jìn)行有效區(qū)分。
　　現(xiàn)有偏標(biāo)記學(xué)習(xí)的基本的策略是消歧。然而，基于消歧的偏標(biāo)記學(xué)習(xí)算法會受到“偽標(biāo)記”的影響。本文通過改進(jìn)傳統(tǒng)的“輸出糾錯編碼(ECOC)”技術(shù)，提出了一種基

4、于非消歧策略的偏標(biāo)記學(xué)習(xí)算法PL-ECOC。算法對于二值編碼矩陣的每一列，根據(jù)候選標(biāo)記集合是否完全落入該列所指定的二分區(qū)域，將樣本轉(zhuǎn)化為正類或負(fù)類樣本，從而訓(xùn)練相應(yīng)的二類分類器。PL-ECOC算法通過以上轉(zhuǎn)化將偏標(biāo)記問題轉(zhuǎn)化為一系列二類分類問題，并綜合這些二類分類器的結(jié)果對未見示例進(jìn)行預(yù)測。
　　本文分為五章。第一章介紹偏標(biāo)記學(xué)習(xí)的基本概念、研究現(xiàn)狀及有待解決問題，并簡述本文的工作。第二章至第四章分別介紹IPAL算法、M3PL算法