排序?qū)W習(xí)中基于直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法的理論分析.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，互聯(lián)網(wǎng)上的信息量也以驚人的速度不斷地膨脹，從海量的互聯(lián)網(wǎng)信息中準(zhǔn)確快捷的獲取所需信息也變得日益困難。搜索引擎的出現(xiàn)正是為了使人們能夠從海量的互聯(lián)網(wǎng)信息中快速和便捷地獲取所需信息。搜索引擎背后的關(guān)鍵技術(shù)是網(wǎng)頁排序算法。如何設(shè)計(jì)一個(gè)有效的網(wǎng)頁排序算法是信息檢索領(lǐng)域中十分重要和流行的課題。近年來，將機(jī)器學(xué)習(xí)方法引入排序?qū)W習(xí)獲得了很大成功，吸引了越來越多研究人員的注意。
　　 在排序?qū)W習(xí)領(lǐng)域中，直接優(yōu)化信息檢索

2、評價(jià)準(zhǔn)則算法已經(jīng)成為一個(gè)重要分支。由于信息檢索評價(jià)準(zhǔn)則（例如MAP和NDCG）的不連續(xù)和不可導(dǎo)性導(dǎo)致其難以優(yōu)化。直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法的核心思想是通過優(yōu)化一個(gè)與信息檢索評價(jià)準(zhǔn)則近似的替代函數(shù)達(dá)到優(yōu)化信息檢索評價(jià)準(zhǔn)則的目的。我們稱此替代函數(shù)為替代評價(jià)準(zhǔn)則。
　　 直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法的一個(gè)關(guān)鍵性基礎(chǔ)問題是一對替代評價(jià)準(zhǔn)則的優(yōu)化是否能保證對相應(yīng)的信息檢索評價(jià)準(zhǔn)則的優(yōu)化？這個(gè)問題的解答，將直接決定直接優(yōu)化信息檢索評價(jià)準(zhǔn)則

3、算法的理論正確性。因?yàn)?，如果對替代評價(jià)準(zhǔn)則的優(yōu)化不能保證對相應(yīng)的信息檢索評價(jià)準(zhǔn)則的優(yōu)化，那么直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法將無法從理論上保證能夠獲得一個(gè)性能良好的排序模型。然而目前并無任何工作對這個(gè)問題有深入的理論研究，故而研究人員對直接優(yōu)化信息檢索評價(jià)準(zhǔn)則的理論性質(zhì)并不了解。
　　 本論文以直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法的一個(gè)關(guān)鍵性基礎(chǔ)問題（對替代評價(jià)準(zhǔn)則的優(yōu)化是否能保證對相應(yīng)的信息檢索評價(jià)準(zhǔn)則的優(yōu)化）為主線，以探索直接優(yōu)化信息檢

4、索評價(jià)準(zhǔn)則算法的理論性質(zhì)為目標(biāo)，創(chuàng)新性的提出了直接性和趨勢相關(guān)性兩個(gè)概念，用于以衡量替代評價(jià)準(zhǔn)則與相應(yīng)的信息檢索評價(jià)準(zhǔn)則之間的關(guān)系。并以直接性和趨勢相關(guān)性為分析工具，獲得了主流的直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法中替代評價(jià)準(zhǔn)則的理論性質(zhì)。最后通過在公共基準(zhǔn)數(shù)據(jù)集LETOR上對各個(gè)直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法的實(shí)驗(yàn)驗(yàn)證了本文所得的理論分析結(jié)果，說明了用直接性和趨勢相關(guān)性來衡量替代評價(jià)準(zhǔn)則與相應(yīng)的信息檢索評價(jià)準(zhǔn)則之間關(guān)系的科學(xué)性和正確性。

5、　　 ·本論文首先提出直接性和趨勢相關(guān)性兩個(gè)概念以衡量替代評價(jià)準(zhǔn)則與相應(yīng)的信息檢索評價(jià)準(zhǔn)則的關(guān)系。我們從理論上證明了，如果一個(gè)替代評價(jià)準(zhǔn)則，相對于一個(gè)信息檢索評價(jià)準(zhǔn)則而言，具有任意大的直接性，或者任意強(qiáng)的趨勢相關(guān)性，則對此替代評價(jià)準(zhǔn)則的優(yōu)化能保證對相應(yīng)的信息檢索評價(jià)準(zhǔn)則的優(yōu)化。
　　 ·在理論研究結(jié)論的基礎(chǔ)上，我們分析了主流的直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法的直接性和趨勢相關(guān)性。通過理論分析，證明了SoftRankNDCG，App

6、roxRankMAP，ApproxRankNDCG中所優(yōu)化的替代評價(jià)準(zhǔn)則，在合適的參數(shù)設(shè)置下（例如，令SoftRankNDGG中參數(shù)σs→以及ApproxRankMAP和ApproxRankNDCG中參數(shù)α→∞），對任意數(shù)據(jù)分布都能具有任意大的直接性和任意強(qiáng)的趨勢相關(guān)性。證明了SVMMAP，DORMNDCG，PermuRankMAP，SVMNDCG所優(yōu)化的替代評價(jià)準(zhǔn)則在某類數(shù)據(jù)分布上不能具有任意大的直接性和任意強(qiáng)的趨勢相關(guān)性。因此，我們

7、得到了SoftRankNDCG，ApproxRankMAP，ApproxRankNDCG相比于SVMMAP， DORMNDCG，PermuRankMAP，SVMNDCG具備更好的理論性質(zhì)，因而能獲得更好的排序性能的結(jié)論。
　　 ·最后通過在公共基準(zhǔn)數(shù)據(jù)集LETOR上的實(shí)驗(yàn)研究，我們驗(yàn)證了對主流直接優(yōu)化信息檢索評價(jià)準(zhǔn)則算法所優(yōu)化的替代評價(jià)準(zhǔn)則的直接性和趨勢相關(guān)性的理論研究結(jié)果，說明了用直接性和趨勢相關(guān)性衡量替代評價(jià)準(zhǔn)則與相應(yīng)的信息