基于DEA的列表型排序?qū)W習(xí)方法研究.pdf

1、互聯(lián)網(wǎng)的蓬勃發(fā)展與數(shù)碼產(chǎn)品的快速增長(zhǎng)，產(chǎn)生了海量的信息，使人們深陷其中無(wú)所適從，迫切需要一種能夠提供高效便捷的信息檢索服務(wù)的系統(tǒng)，網(wǎng)絡(luò)搜索引擎因此而逐漸成為人們獲取信息的重要工具。搜索引擎系統(tǒng)包含多個(gè)子系統(tǒng)，其中排名系統(tǒng)處于核心地位。排名系統(tǒng)能夠根據(jù)用戶(hù)提交的檢索詞從海量的數(shù)據(jù)中快速定位最相關(guān)的文檔集合，并按照相關(guān)程度順次反饋給用戶(hù)，有效減少用戶(hù)信息檢索的時(shí)間開(kāi)銷(xiāo)。為此，研究人員提出了大量的排名算法，主要基于內(nèi)容分析或鏈接分析，利用文檔

2、的相關(guān)性特征、重要性特征評(píng)價(jià)文檔同用戶(hù)檢索意圖的契合程度。它們極大地改善了信息檢索系統(tǒng)的排名系統(tǒng)，但仍然存在兩個(gè)重要的缺陷:用于構(gòu)建排序模型的檢索詞-文檔特征有限;或者在利用大量特征構(gòu)建排序模型時(shí)，優(yōu)選模型參數(shù)成為最大的障礙。
　　排序?qū)W習(xí)方法是一種機(jī)器學(xué)習(xí)與信息檢索的交叉學(xué)科，可以從大量的包含人工標(biāo)記的訓(xùn)練集中自動(dòng)學(xué)習(xí)排序模型，并應(yīng)用于對(duì)未知數(shù)據(jù)的預(yù)測(cè)分析。排序?qū)W習(xí)使用的訓(xùn)練實(shí)例表示成多維特征的向量形式，包含各種反映文檔與檢索詞

3、相關(guān)性的復(fù)雜信息。目前，排序?qū)W習(xí)方法大致可以分成逐點(diǎn)型、序?qū)π秃土斜硇腿?lèi)，研究表明列表型排序?qū)W習(xí)方法在大多數(shù)公開(kāi)數(shù)據(jù)集上的表現(xiàn)最佳。本文重點(diǎn)研究列表型排序?qū)W習(xí)方法，并利用數(shù)據(jù)包絡(luò)分析技術(shù)，結(jié)合提升技術(shù)提出一種新的排名方法——DEARank。
　　本文修改經(jīng)典的CCR模型，構(gòu)建出兩種退化的數(shù)據(jù)包絡(luò)分析模型:CCR-I與CCR-O，將待排名的文檔作為決策單元進(jìn)行處理，并使用過(guò)模型最優(yōu)權(quán)值構(gòu)建弱排名函數(shù)集合。每個(gè)備選弱排名函數(shù)反映了決

4、策單元對(duì)于各個(gè)特征的偏好，代表從整個(gè)特征空間抽取的一個(gè)特征子集。本文利用這些備選弱排名函數(shù)，基于提升技術(shù)訓(xùn)練性能更優(yōu)的排序模型。此外，本文還就DEARank在LETOR數(shù)據(jù)集（包括HP2003、HP2004、NP2003、NP2004、TD2003、TD2004、OHSUMED、MQ2007與MQ2008）上的實(shí)證結(jié)果，同其它十二個(gè)經(jīng)典的排序?qū)W習(xí)算法進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明DEARank有突出表現(xiàn)，給網(wǎng)絡(luò)信息檢索系統(tǒng)提供了一個(gè)重要的排名算