基于級聯(lián)過濾和增強(qiáng)模型集成的推薦方法研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，其信息量和用戶數(shù)也在飛速增長，人們逐漸步入了信息過載時代，信息過濾的推薦技術(shù)應(yīng)運(yùn)而生。近年來推薦技術(shù)在學(xué)術(shù)界成為研究熱點(diǎn)，在工業(yè)界得到了廣泛應(yīng)用。然而推薦技術(shù)存在的問題也逐漸暴露，特別是主流推薦算法無法甄別無效樣本，模型單一泛化能力較弱，以及因?qū)崟r性能差而難以擬合用戶近期的交互信息等問題，嚴(yán)重地影響到推薦系統(tǒng)的進(jìn)一步應(yīng)用和推廣。
　　針對當(dāng)前推薦系統(tǒng)面臨的上述問題，本文給出基于級聯(lián)過濾和增強(qiáng)模型集成的推薦方法

2、，主要工作如下:
　　(1)鑒于當(dāng)前主流推薦算法無法甄別無效樣本，本文給出級聯(lián)過濾的方法。首先在樣本集上構(gòu)建面向用戶-項(xiàng)目的偏好模型，采用邏輯回歸模型擬合用戶興趣，對樣本進(jìn)行首級弱過濾處理以最大化正樣本提升度;然后在啞變量和獨(dú)熱編碼類特征體系中，采用次級邏輯回歸對樣本進(jìn)行強(qiáng)過濾，以尋求最大正樣本提升度。運(yùn)用級聯(lián)模型能較為有效地過濾掉噪聲樣本、離群樣本和弱貢獻(xiàn)率樣本，為后續(xù)模型提供更能反映用戶興趣本質(zhì)的樣本。
　　(2)當(dāng)前大

3、多推薦算法均為單模型算法，當(dāng)訓(xùn)練樣本和預(yù)測樣本時間或數(shù)據(jù)規(guī)模分布不一致時，存在著泛化能力較弱的缺陷。針對此問題本文給出多模型融合的方法，主要是把推薦問題抽象成為用戶在未來一段時間內(nèi)是否對項(xiàng)目感興趣的二分類問題，以及用戶對項(xiàng)目興趣濃度的回歸問題，分別采用基于Bagging的隨機(jī)森林算法和基于Boosting的梯度提升回歸樹進(jìn)行擬合。由于此兩種算法均為樹型算法，因此還引入線性的邏輯回歸算法差異化各子模型以獲得更佳的集成學(xué)習(xí)效果。將上述算法分

4、別訓(xùn)練若干子模型，采用邏輯回歸算法對子模型評分結(jié)果進(jìn)行融合。此方法能有效實(shí)現(xiàn)多模型集成，融合各子模型優(yōu)點(diǎn)，增強(qiáng)模型泛化能力。
　　(3)針對推薦系統(tǒng)因?qū)崟r性差而難以擬合用戶近期交互信息的問題，本文設(shè)計(jì)了在線增強(qiáng)模型集成的框架，采用擬合能力強(qiáng)且可并行學(xué)習(xí)的隨機(jī)森林?jǐn)M合新數(shù)據(jù)，并不斷將新模型融合到前驅(qū)模型中。由于新數(shù)據(jù)不斷產(chǎn)生，新模型不停增加，新模型相對后驅(qū)模型將成為舊模型，此過程不斷地循環(huán)，整體模型得以不斷增強(qiáng)，形成一條非完備的馬爾