偏標(biāo)記損失函數(shù)研究.pdf

1、偏標(biāo)記學(xué)習(xí)是一類重要的弱監(jiān)督學(xué)習(xí)框架，在該框架下標(biāo)記信息不再具有單一性和明確性:一個示例對應(yīng)于一個候選標(biāo)記集合，而候選標(biāo)記集合中僅有一個標(biāo)記為其真實標(biāo)記。由于訓(xùn)練數(shù)據(jù)的真實標(biāo)記不可直接獲取，常見的一些監(jiān)督學(xué)習(xí)技術(shù)無法直接用于求解偏標(biāo)記學(xué)習(xí)問題。
　　一般而言，損失函數(shù)設(shè)計體現(xiàn)了算法對學(xué)習(xí)問題性質(zhì)的描述。現(xiàn)有偏標(biāo)記學(xué)習(xí)算法采用的損失主要存在兩個方面的問題。一方面，現(xiàn)有偏標(biāo)記損失函數(shù)設(shè)計僅僅關(guān)注示例與標(biāo)記之間的映射關(guān)系，從而忽略了輸入

2、空間中示例之間的相關(guān)性。另一方面，現(xiàn)有偏標(biāo)記損失函數(shù)設(shè)計賦予各候選標(biāo)記相同的置信度，從而忽略了真實標(biāo)記與偽標(biāo)記模型輸出重要性不同的性質(zhì)。針對以上兩方面問題，本文對偏標(biāo)記損失函數(shù)設(shè)計進(jìn)行了研究，主要圍繞如下兩個方面展開:
　　機器學(xué)習(xí)算法通常假設(shè)樣本之間滿足一致性性質(zhì)，即在特征空間中相似的示例在標(biāo)記空間上也具有一定的相似性。基于此，提出基于一致性假設(shè)的偏標(biāo)記學(xué)習(xí)算法COPAL。該算法在對候選標(biāo)記集合進(jìn)行消歧的過程中，其損失函數(shù)不僅考

3、慮了在候選標(biāo)記集合上的輸出，同時考察了近鄰示例輸出的相似度。實驗結(jié)果表明，在偏標(biāo)記損失函數(shù)中引入一致性假設(shè)考察示例相似度，可以更好地實現(xiàn)訓(xùn)練樣本的候選標(biāo)記消歧。
　　在偏標(biāo)記學(xué)習(xí)中，真實標(biāo)記上的模型輸出往往被偽標(biāo)記上的模型輸出所湮沒。因此，需要在損失函數(shù)設(shè)計過程中考慮不同標(biāo)記上模型輸出的置信度。基于此，提出基于標(biāo)記置信度的偏標(biāo)記學(xué)習(xí)算法CORD。該算法在對候選標(biāo)記集合的消歧過程中，其損失函數(shù)綜合了候選標(biāo)記的模型輸出及其置信度，通過