信息檢索中體現(xiàn)查詢差異的多排序模型融合問題研究.pdf

1、伴隨互聯(lián)網(wǎng)技術(shù)的快速繁榮發(fā)展，信息檢索己經(jīng)由純粹的學術(shù)研究轉(zhuǎn)變成大多數(shù)人信息獲取的技術(shù)基礎(chǔ)。在絕大多數(shù)的信息檢索系統(tǒng)中，其檢索出來的信息（如文檔）都以排序的方式返回給用戶。因此，如何高效地對文檔進行排序成為文檔檢索模型研究的核心問題之一。目前，利用監(jiān)督學習的方法構(gòu)造排序模型是信息檢索領(lǐng)域中排序方法研究的熱點，稱之為排序?qū)W習?；谌斯俗⒌臄?shù)據(jù)，排序?qū)W習算法構(gòu)造出排序模型，并且將其用于預測新的未標注數(shù)據(jù)。
　　 在實際的信息檢索任

2、務(wù)中，待排序的文檔是由不同的查詢檢索得到的，因此只有同一個查詢檢索到的文檔之間才有序關(guān)系。數(shù)據(jù)集內(nèi)不同查詢及其候選文檔組成的數(shù)據(jù)子集之間存在很大差異，現(xiàn)有排序?qū)W習算法在建立排序模型時把數(shù)據(jù)集中所有查詢下的查詢．文檔對等同處理，無法充分反映由于文檔歸屬于不同的查詢所造成的差異，影響排序模型的性能。
　　 針對上述問題，本文提出體現(xiàn)查詢差異的多排序模型融合理論框架，在建立排序模型過程中考慮查詢之間的差異。該框架首先以查詢?yōu)閱卧獙⒂柧?/p>

3、集劃分為多個訓練子集，在每一個訓練子集上建立子排序模型。接著，使用監(jiān)督學習方法融合建立的多個子排序模型，在融合過程中調(diào)節(jié)不同訓練子集產(chǎn)生損失的權(quán)重，提升排序模型的性能。在體現(xiàn)查詢差異的子排序模型生成方法上，從查詢及其相關(guān)文檔之間的內(nèi)容和單個查詢及其相關(guān)文檔建立的排序模型兩個角度度量查詢之間的差異程度。本文在真實文檔檢索數(shù)據(jù)集上分析查詢之間的差異和不同查詢相似度度量方法對排序結(jié)果的影響。
　　 在體現(xiàn)查詢差異的多排序模型融合理論框

4、架下，本文提出基于支持向量機的體現(xiàn)查詢差異排序?qū)W習算法。將訓練集劃分為多個訓練子集，每一個訓練子集由一組相似的查詢及其相關(guān)文檔組成。對每一個訓練子集，使用排序支持向量機方法建立子排序模型。不同子排序模型之間可以表征出查詢差異對排序的影響。進一步設(shè)計基于支持向量機理論的融合函數(shù)融合多個子排序模型，并且對融合函數(shù)的構(gòu)造進行了詳細的說明和分析，闡述了其工作原理和性質(zhì)。本文將融合函數(shù)的優(yōu)化問題轉(zhuǎn)化為一個等價二次規(guī)劃問題求解，進一步證明了融合函數(shù)

5、可以體現(xiàn)不同子排序模型產(chǎn)生的損失，并在優(yōu)化過程中調(diào)節(jié)子排序模型產(chǎn)生損失的權(quán)重。
　　 針對評價指標與損失函數(shù)不一致對應的情況，結(jié)合排序問題的特性，本文設(shè)計一種直接優(yōu)化評價指標的融合函數(shù)來融合子排序模型，進一步修正融合排序模型，提升模型性能。由于大多數(shù)評價指標不連續(xù)、不可導，因此不易直接優(yōu)化評價指標。本文使用連續(xù)函數(shù)擬合評價指標中不連續(xù)的部分，優(yōu)化其下界函數(shù)，并證明了其下界函數(shù)的凸性，而后使用梯度上升方法進行優(yōu)化。本文還證明了直接

6、優(yōu)化評價指標的融合函數(shù)可以取得比子排序模型線性合并更好的排序性能。
　　 體現(xiàn)查詢差異的多排序模型融合方法在信息檢索中有著非常廣泛的應用。在文本檢索、網(wǎng)頁搜索和較大規(guī)模文檔檢索等實際任務(wù)中，本文驗證了體現(xiàn)查詢差異的多排序模型融合方法在信息檢索中的應用效果。基于大規(guī)模公共數(shù)據(jù)集合的實驗表明，本文提出的體現(xiàn)查詢差異的多排序模型融合方法能夠比當前流行的排序?qū)W習算法取得更好的排序性能。本文還在實驗結(jié)果統(tǒng)計、算法有效性和時間復雜度等方面對