LambdaXGB排序?qū)W習(xí)算法研究.pdf

1、隨著選擇的不斷增多，搜索引擎、推薦系統(tǒng)等越來(lái)越依賴排序，然而傳統(tǒng)的排序算法考慮的因素較少。隨著數(shù)據(jù)指數(shù)增長(zhǎng)，需要組合多種因素來(lái)進(jìn)行排序，并按不同的權(quán)重組合，于是出現(xiàn)了排序?qū)W習(xí)算法(Learning to Rank)。Learning to Rank是一種監(jiān)督排序?qū)W習(xí)方法，可以根據(jù)訓(xùn)練數(shù)據(jù)得到一個(gè)排序模型，運(yùn)用這個(gè)排序模型可以對(duì)數(shù)據(jù)進(jìn)行排序。
　　Pairwise算法是Learning to Rank算法中基于文檔對(duì)的排序?qū)W習(xí)算法，

2、重視文檔順序關(guān)系，將排序問(wèn)題歸結(jié)為二元分類問(wèn)題。同一查詢的相關(guān)文檔集中，任何兩個(gè)不同標(biāo)簽的文檔得到二元分類器訓(xùn)練所需的訓(xùn)練樣本，對(duì)所有文檔對(duì)進(jìn)行分類得到所有文檔的一個(gè)偏序關(guān)系，最后實(shí)現(xiàn)排序。Pairwise算法主要有RankNet、LambdaRank、LambdaMART、Ranking SVM、IR SVM、RankBoost等。
　　由于排序?qū)W習(xí)效率普遍較低的現(xiàn)狀，本文基于LambdaMART算法和XGBoost算法進(jìn)行分析

3、研究，提出LambdaXGB L1算法、LambdaXGB L2算法和LambdaXG算法。在LambdaMART算法損失函數(shù)公式后加入正則項(xiàng)。主要針對(duì)XGBoos算法，該算法是在 GBDT算法基礎(chǔ)之上改進(jìn)的算法，GBDT也叫 MART,又 LambdaMART算法由LambdaRank和MART組成?；诟倪M(jìn)GBDT算法的思想改進(jìn)LambdaMART算法，提出本文所要研究的算法。具體而言，就是在LambdaMART算法損失函數(shù)公式后加