基于關(guān)鍵詞聚類與神經(jīng)網(wǎng)絡的網(wǎng)頁排序?qū)W習算法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎已經(jīng)成為互聯(lián)網(wǎng)最重要的入口之一。在搜索引擎的組成部分中，網(wǎng)頁排序是搜索引擎設(shè)計的核心問題，排序結(jié)果的準確性決定了搜索引擎的性能和用戶體驗。早期搜索引擎的網(wǎng)頁排序模型雖然構(gòu)造方法簡單，但手動調(diào)參的局限性導致排序效果不夠理想。對此，近年來一種新的學習方法-排序?qū)W習(learningtorank)越來越多地應用到搜索模型的構(gòu)造上，以獲得更精確的搜索結(jié)果。排序?qū)W習被廣泛應用在文檔檢索和協(xié)同波領(lǐng)域，受到越來越多國內(nèi)外學者

2、的關(guān)注，成為機器學習領(lǐng)域的一個研究熱點。
　　采用機器學習方法的網(wǎng)頁排序?qū)W習算法主要分為基于Pointwise，Pairwise和Listwise三種類型。本文針對基于Pairwise方法的網(wǎng)頁排序算法在查詢詞的語義模糊性，查詢不平等性以及文檔對之間沒有優(yōu)先關(guān)系等方面的不足，提出了基于查詢詞聚類與文檔相關(guān)性等級區(qū)分優(yōu)化的網(wǎng)頁排序改進算法。首先通過特征值擴充查詢詞的含義，構(gòu)建新的查詢詞向量空間，利用K-MEANS算法進行查詢詞的聚類

3、;其次在查詢詞聚類的基礎(chǔ)上，通過平等化每個查詢，擴充訓練集加大文檔不同相關(guān)性等級間的區(qū)分度并減少不相關(guān)文檔的噪聲影響來提高排序算法結(jié)果的準確性。在公開數(shù)據(jù)集LETOR4.0(MQ2008)上進行實驗，采取多個評價指標對神經(jīng)網(wǎng)絡模型優(yōu)化結(jié)果進行衡量，并與基線進行對比。實驗結(jié)果表明改進算法可以提高排序結(jié)果的準確率。
　　目前對于排序?qū)W習的研究主要是從排序算法本身進行優(yōu)化，而對于特征的選擇與重組的研究較少。然而從傳統(tǒng)機器學習的研究方法中