半監(jiān)督排序?qū)W習(xí)算法研究.pdf

1、排序?qū)W習(xí)是當(dāng)前信息檢索與機(jī)器學(xué)習(xí)領(lǐng)域研究的熱點(diǎn)問題之一，它在諸如文檔檢索、協(xié)同過濾、自然語言解析等領(lǐng)域有廣泛的應(yīng)用。排序?qū)W習(xí)的目標(biāo)就是應(yīng)用機(jī)器學(xué)習(xí)技術(shù)自動(dòng)地從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)出一個(gè)排序函數(shù)對(duì)目標(biāo)對(duì)象進(jìn)行排序。針對(duì)排序?qū)W習(xí)問題，目前人們已經(jīng)提出了很多算法，根據(jù)輸入表示以及損失函數(shù)的不同，它們大致可分為點(diǎn)級(jí)方法(pointwise approach)、對(duì)級(jí)方法(pairwise approach)和列表級(jí)方法(listwise approac

2、h)三類方法。
　　排序?qū)W習(xí)是一種有監(jiān)督學(xué)習(xí)，因此需要提供一個(gè)帶標(biāo)記訓(xùn)練數(shù)據(jù)集。但是在實(shí)際問題中，獲取帶標(biāo)記的數(shù)據(jù)是費(fèi)時(shí)而且昂貴的。為了在排序問題中利用大量存在的未標(biāo)記樣例，自然而然地產(chǎn)生了半監(jiān)督排序?qū)W習(xí)問題。借助半監(jiān)督學(xué)習(xí)技術(shù)從大量無標(biāo)簽數(shù)據(jù)集中發(fā)現(xiàn)隱含的排序信息，對(duì)于減少標(biāo)注代價(jià)，提高排序算法的性能具有非常重大的實(shí)際意義。因此本文旨在將半監(jiān)督學(xué)習(xí)技術(shù)應(yīng)用于排序?qū)W習(xí)問題，從而開發(fā)出半監(jiān)督情況下的排序?qū)W習(xí)算法。本研究的主要工作如下

3、:
　　首先，本文提出了正則化提升(Regularized Boosting)學(xué)習(xí)方法的一般框架框?；谶@一框架設(shè)計(jì)了基于RankBoost算法的半監(jiān)督排序?qū)W習(xí)算法。正則化(regularization)是一種具有廣泛應(yīng)用的半監(jiān)督學(xué)習(xí)技術(shù)，它通過使學(xué)習(xí)器優(yōu)化帶正則化懲罰項(xiàng)的損失函數(shù)，從而利用未標(biāo)記樣例來輔助提高學(xué)習(xí)性能。提升(boosting)是一種簡單高效并且具有理論支持的集成學(xué)習(xí)方法，它通過漸進(jìn)式地組合一系列簡單的模型得到一個(gè)

4、性能更優(yōu)的模型。通過結(jié)合這兩種重要的技術(shù)，把pairwise型排序?qū)W習(xí)算法RankBoost擴(kuò)展到了半監(jiān)督情況下。具體而言，我們?cè)谠械膿p失函數(shù)中引入基于“光滑性假設(shè)”(smooth assumption)的正則化懲罰項(xiàng)，保證相似的樣例獲得接近的排序得分。進(jìn)一步，通過理論分析得出損失函數(shù)最小化的提升算法。最終設(shè)計(jì)出的算法既合理地利用了已有的半監(jiān)督學(xué)習(xí)假設(shè)又保留了boosting方法簡單高效的優(yōu)點(diǎn)。
　　其次，本文提出了把listw

5、ise型排序?qū)W習(xí)算法擴(kuò)展到半監(jiān)督情況下的一般框架。在此框架下，首先用半監(jiān)督學(xué)習(xí)技術(shù)為一部分無標(biāo)記樣例貼上偽標(biāo)簽，然后運(yùn)行傳統(tǒng)的listwise型的算法?；谶@一框架我們把典型的listwise型排序算法AdaRank擴(kuò)展到了半監(jiān)督排序?qū)W習(xí)的情形。具體地，算法首先在每個(gè)查詢內(nèi)部通過標(biāo)記傳播(label propagation)算法給一部分無標(biāo)記樣例附上標(biāo)簽。然后在增加的數(shù)據(jù)集上運(yùn)行改進(jìn)的正則化形式的AdaRank算法。受益于listwis