基于遷移學(xué)習(xí)的跨領(lǐng)域排序?qū)W習(xí)算法研究.pdf

1、隨著互聯(lián)網(wǎng)的普及和互聯(lián)網(wǎng)內(nèi)容的不斷豐富，如何通過有效的方式獲取需要的信息顯得尤為重要。搜索引擎很好地解決了這個問題，成為了人們訪問互聯(lián)網(wǎng)的入口。如何對搜索引擎返回的結(jié)果進行排序成為近年來研究的熱點，另一方面，搜索引擎結(jié)果排序的質(zhì)量也直接決定了用戶的使用體驗，進而影響搜索引擎的市場份額。本文的研究工作正是以搜索引擎為大背景進行的。
　　 縱觀各大主流搜索引擎，查詢的結(jié)果網(wǎng)頁通常在經(jīng)過排序后，以列表的形式返回給用戶，排在最靠前的是系

2、統(tǒng)認為最相關(guān)，最能滿足用戶信息需求的網(wǎng)頁。近年來，運用大規(guī)模數(shù)據(jù)處理和機器學(xué)習(xí)技術(shù)訓(xùn)練最優(yōu)排序模型成為學(xué)術(shù)界的研究熱點，國內(nèi)外研究者先后提出了一系列經(jīng)典的方法，有些在工業(yè)界已經(jīng)獲得了良好的應(yīng)用，比如排序支持向量機(Ranking SVM)。絕大多數(shù)這類方法都屬于監(jiān)督學(xué)習(xí)的范疇，為了獲得一個可靠的排序模型，我們需要標注大量的訓(xùn)練數(shù)據(jù)，將這些數(shù)據(jù)輸入到特定的學(xué)習(xí)機，經(jīng)過一定時間的自動訓(xùn)練，學(xué)習(xí)機輸出得到的排序模型。
　　 在排序?qū)W習(xí)

3、算法的實際應(yīng)用中，標注數(shù)據(jù)數(shù)量不足，甚至根本沒有標注數(shù)據(jù)的情況經(jīng)常出現(xiàn)?，F(xiàn)有的監(jiān)督排序?qū)W習(xí)方法總是需要一定數(shù)量規(guī)模的標注數(shù)據(jù)，以保證最終獲得的排序模型的可靠性，當標注數(shù)據(jù)不足時這些方法就無法得到應(yīng)用。所幸的是，在排序?qū)W習(xí)算法的實際應(yīng)用中，我們也發(fā)現(xiàn)，雖然目標領(lǐng)域的標注數(shù)據(jù)不足，但可能還存在另一部分數(shù)量較多的標注數(shù)據(jù)，這些數(shù)據(jù)來自一個與目標領(lǐng)域不同但相關(guān)的領(lǐng)域(我們稱之為“源領(lǐng)域”)。如何利用這部分數(shù)據(jù)來幫助目標領(lǐng)域中的排序?qū)W習(xí)，以獲得改

4、進的排序模型是本文關(guān)注的重點。
　　 本文針對排序?qū)W習(xí)實際應(yīng)用中面臨的標注數(shù)據(jù)不足的問題，充分利用來自源領(lǐng)域的標注數(shù)據(jù)，引入遷移學(xué)習(xí)的概念，創(chuàng)新性地提出了基于遷移學(xué)習(xí)的跨領(lǐng)域排序?qū)W習(xí)算法，并進行了應(yīng)用研究。在系統(tǒng)分析排序?qū)W習(xí)算法的基本假設(shè)、損失函數(shù)、優(yōu)化公式和學(xué)習(xí)算法之后，本文分別在實例和特征兩個方面進行遷移學(xué)習(xí)，給出各自的基本假設(shè)、優(yōu)化公式以及學(xué)習(xí)算法。最后，本文還研究了我們的方法在文檔檢索、垂直搜索中的應(yīng)用。
　　

5、對于基于實例的遷移排序?qū)W習(xí)，我們首先提出了一個啟發(fā)式的方法TransRank，該方法首先對源領(lǐng)域標注數(shù)據(jù)進行兩步預(yù)處理，然后將處理過的數(shù)據(jù)和目標領(lǐng)域的少量訓(xùn)練數(shù)據(jù)一起輸入到Ranking SVM，經(jīng)過訓(xùn)練得到排序模型。隨后，我們又提出了一個改進的概率分布算法CLRankins。對于基于特征的情況，根據(jù)假設(shè)我們提出了一個統(tǒng)一的優(yōu)化公式，并將其轉(zhuǎn)換成依次優(yōu)化兩個變量的迭代過程。我們還研究了該優(yōu)化問題和經(jīng)典的Ranking SVM之間的關(guān)系，

6、并通過證明得出，該優(yōu)化問題可以使用Ranking SVM作為基礎(chǔ)學(xué)習(xí)機。對該優(yōu)化問題的求解最終形成了基于特征的遷移排序?qū)W習(xí)算法CLRankfeat。
　　 跨領(lǐng)域的遷移排序?qū)W習(xí)在文檔檢索中有著廣泛的應(yīng)用前景。本文使用文檔檢索的一些公共數(shù)據(jù)集，模擬標注數(shù)據(jù)不足的情況，通過實驗驗證了遷移排序?qū)W習(xí)在文檔檢索中的應(yīng)用效果?；诖笠?guī)模公共數(shù)據(jù)集的實驗表明，本文提出的三個遷移排序?qū)W習(xí)方法能不同程度地改進目標領(lǐng)域的排序模型。CLRankfea

7、t能在所有的實驗數(shù)據(jù)集上獲得5-15％的性能提升；TransRank和CLRankins只能在部分數(shù)據(jù)集上獲得較小的性能提升。同時，我們還在算法敏感性和魯棒性上，對這些方法進行比較分析。
　　 垂直搜索引擎是遷移排序?qū)W習(xí)的另一個應(yīng)用場景。新開發(fā)的垂直搜索往往沒有足夠的時間去標注數(shù)據(jù)以訓(xùn)練排序模型，但我們可以利用其它垂直搜索的標注數(shù)據(jù)，通過遷移排序?qū)W習(xí)來獲得排序模型，用于新開發(fā)的垂直搜索。在實驗中，我們使用某商業(yè)搜索引擎的查詢點擊