基于查詢相似性的直推式排序學習算法研究.pdf

1、在這個信息爆炸的時代，信息檢索系統(tǒng)的出現(xiàn)無疑給人們在因特網(wǎng)上尋找自己感興趣的內(nèi)容提供了莫大的幫助。對于系統(tǒng)返回的大量文檔來說，用戶們最關注的就是這些文檔的順序。一個好的檢索系統(tǒng)應該把最接近用戶查詢意愿的文檔排在返回列表的最前面。
　　 隨著當前互聯(lián)網(wǎng)上可得到的信息量快速增長，研究人員越來越意識到一個好的排序算法對檢索系統(tǒng)的重要性。在過去的幾十年里，各國學者提出了很多信息檢索的技術，但是與日趨龐大的信息量相比，這些技術存在著一些共

2、同的問題(如模型參數(shù)難以手工調(diào)整和過度擬合等現(xiàn)象)，而且也很難把不同的模型結合起來形成一個更有效的新模型。
　　 另一方面，機器學習領域的研究學者們已經(jīng)發(fā)展出了一套成熟的理論用于解決前面提到的這些問題。近年來，一些學者開始利用機器學習技術來指導信息檢索中的排序過程，并取得了比較大的突破。從而，“排序學習”作為信息檢索領域的一個新分支迅速成為了當前熱門的研究方向。目前多數(shù)流行的排序學習算法都是采用全監(jiān)督的方式學習一個單一的排序模型

3、來進行的，這種方法對于用戶提交的多種多樣的查詢來說存在著一定的局限性。因為排序算法在訓練的過程中有可能會在不同的查詢之間采取折中的模型，從而導致排序準確率的下降。
　　 在本文中我們提出了一種基于查詢之間相似性信息的直推式排序學習方法來為每一個查詢生成一個獨立的排序模型。首先，本文利用一個查詢的相應文檔特征的標準差定義了一種全新的查詢特征，并提出了一種與Kendall'sΥ距離類似的方法來度量兩個查詢之間的相似性；其次，本文采用

4、這些方法從訓練集中尋找與測試集上的查詢相似的那些查詢，并利用它們?yōu)橛柧毤蜏y試集分別產(chǎn)生了多個額外特征。通過將這些特征添加到原來的訓練集與測試集中得到新的數(shù)據(jù)集；最后，我們利用目前流行的多種全監(jiān)督排序學習算法在新的數(shù)據(jù)集上進行訓練與預測，并將實驗所得的結果與原始的全監(jiān)督排序學習算法結果進行了比較。由于這些新添加的特征能夠更好地表達出相應的查詢，我們認為這個新的直推式學習框架將有可能提高排序的準確率。
　　 我們在LETOR數(shù)據(jù)集