基于克隆選擇算法的排序?qū)W習(xí)方法研究.pdf

1、信息檢索是指信息按一定的方式組織起來，并根據(jù)信息用戶的需要找出有關(guān)的信息的過程和技術(shù)。信息檢索的核心問題之一是排序問題，即決定哪些信息是相關(guān)的、符合用戶的習(xí)信息需求。不失一般性，本文主要關(guān)注文檔排序的研究。排序問題的目的在于根據(jù)文檔和查詢之間的相關(guān)性，將相關(guān)的文檔排在靠前的位置。隨著互聯(lián)網(wǎng)信息的急劇增長(zhǎng)，排序問題逐漸成為信息檢索領(lǐng)域的研究熱點(diǎn)之一。
　　 在過去的研究中，學(xué)者們提出了布爾模型、向量模型、概率模型和語言模型等信息檢

2、索模型。這些傳統(tǒng)模型將文檔表示為關(guān)鍵詞的集合，并且定義一個(gè)排序函數(shù)來計(jì)算文檔和查詢之間的相關(guān)性。通常這些模型屬于非監(jiān)督學(xué)習(xí)，因此排序函數(shù)的參數(shù)必須靠經(jīng)驗(yàn)由人工設(shè)定，可以利用的信息少而且不靈活。
　　 近年來隨著機(jī)器學(xué)習(xí)的發(fā)展，學(xué)者們提出了排序?qū)W習(xí)方法。排序?qū)W習(xí)的目的在于利用機(jī)器學(xué)習(xí)的方法從已標(biāo)注的數(shù)據(jù)集中學(xué)習(xí)得到排序模型或排序函數(shù)。排序?qū)W習(xí)方法分為基于單文檔的排序?qū)W習(xí)算法、基于文檔對(duì)的排序?qū)W習(xí)算法和基于文檔列的排序?qū)W習(xí)算法三種。

3、排序?qū)W習(xí)的核心問題之一是選擇合適的損失函數(shù)來尋找近乎最優(yōu)的排序函數(shù)。盡管信息檢索排序測(cè)評(píng)使用的評(píng)估函數(shù)是最理想的損失函數(shù)，但是通常這些函數(shù)不能直接用來優(yōu)化，因?yàn)樗麄儾粷M足傳統(tǒng)機(jī)器學(xué)習(xí)中要求的平滑特性。通常在過去的工作中，我們使用評(píng)估函數(shù)的替代損失函數(shù)來解決這一問題。然而大多數(shù)情況下替代函數(shù)和評(píng)估函數(shù)本身之間并不等價(jià)。直觀的，我們認(rèn)為直接優(yōu)化算法將會(huì)具有很大優(yōu)勢(shì)并且?guī)硇阅苌系奶嵘?br>　　 綜上，在本文中我們提出了一種新的方法Ra

4、nkCSA來直接優(yōu)化評(píng)估函數(shù)。RankCSA利用克隆選擇算法將信息檢索中的各種特征結(jié)合起來，學(xué)習(xí)得到一個(gè)最有效的學(xué)習(xí)函數(shù)。在該算法中，RankCSA將同一查詢對(duì)應(yīng)的一系列文檔作為抗原，將候選排序函數(shù)當(dāng)作抗體，這一設(shè)定使得RankCSA具有基于文檔列的排序?qū)W習(xí)算法的天然優(yōu)勢(shì)。同時(shí)，本文還提出基于信息檢索排序問題的形態(tài)空間用于建立抗原與抗體的關(guān)系模型。此外，由于克隆選擇算法的進(jìn)化過程是離散的，因此可以將評(píng)估函數(shù)直接當(dāng)作親和力函數(shù)來優(yōu)化。進(jìn)化

5、過程從抗體庫中選擇出最優(yōu)的抗體作為最終的排序函數(shù)。為了驗(yàn)證RankCSA的有效性，我們?cè)贚ETOR標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，并以具有代表性的算法RankSVM、ListNet、AdaRank和RankBoost作為基準(zhǔn)。實(shí)驗(yàn)結(jié)果表明RankCSA在P@1-10、MAP和NDCG@1-10指標(biāo)上優(yōu)于基準(zhǔn)并且還有進(jìn)一步優(yōu)化的潛力。同時(shí)根據(jù)對(duì)比和分析我們證明了直接優(yōu)化評(píng)估函數(shù)的優(yōu)勢(shì)。
　　 本文的主要貢獻(xiàn)分為如下幾部分:(1)本文提出了

6、基于克隆選擇算法的排序?qū)W習(xí)算法。結(jié)合信息檢索排序問題本身的特點(diǎn)，我們定義了抗原和抗體的在克隆選擇過程中的表示形式以及計(jì)算親和力的形態(tài)空間模型。在該定義下RankCSA繼承了基于文檔列的排序?qū)W習(xí)算法的優(yōu)點(diǎn)(2)本文直接使用IR評(píng)估函數(shù)MAP作為進(jìn)化過程中的親和力函數(shù)。使用評(píng)估函數(shù)本身而不是替代函數(shù)使得RankCSA在學(xué)習(xí)過程中具有很大的優(yōu)勢(shì)，并且結(jié)果也由于其他方法。(3)通過在LETOR標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與其他具有代表性的方法進(jìn)行比