個(gè)性化推薦技術(shù)中的協(xié)同過濾算法研究.pdf

1、隨著網(wǎng)絡(luò)與信息技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)為用戶提供越來越多的信息和服務(wù),用戶在得到便利的同時(shí)也不得不面臨大量的垃圾信息和無意義數(shù)據(jù),即所謂的信息超載問題。面對(duì)海量的網(wǎng)絡(luò)資源,個(gè)性化推薦系統(tǒng)能夠及時(shí)跟蹤用戶的需求變化來自動(dòng)調(diào)整信息服務(wù)的方式和內(nèi)容,是一種極具潛力的解決信息超載的服務(wù)技術(shù)。
　　 協(xié)同過濾技術(shù)是目前推薦系統(tǒng)中最成功和應(yīng)用最廣泛的技術(shù),在理論研究和實(shí)踐中都取得了快速的發(fā)展,它根據(jù)用戶的歷史選擇信息和相似性關(guān)系,收集與用戶興

2、趣愛好相同的其他用戶的評(píng)價(jià)信息來產(chǎn)生推薦。然而,傳統(tǒng)的協(xié)同過濾算法面臨數(shù)據(jù)稀疏、用戶相似性難以度量、實(shí)時(shí)性和可擴(kuò)展性差等方面的挑戰(zhàn),影響了推薦系統(tǒng)的質(zhì)量。本文針對(duì)這些問題,對(duì)協(xié)同過濾算法進(jìn)行了相應(yīng)的改進(jìn),主要工作如下:
　　 1)針對(duì)傳統(tǒng)相似性度量方法在用戶數(shù)據(jù)稀疏和小鄰居集下度量不準(zhǔn)確問題,提出了一種基于信息熵的相似性度量方法。該算法首先計(jì)算用戶間評(píng)分的差異,而后通過該差異的加權(quán)信息熵來衡量用戶評(píng)分的相似程度;同時(shí)在計(jì)算用戶相

3、似度時(shí)還考慮用戶間共同關(guān)注圈的大小,用戶關(guān)注圈交集越大,相似性權(quán)重越大。實(shí)驗(yàn)結(jié)果表明,在數(shù)據(jù)稀疏程度不變的情況下,該相似性度量方法緩解了傳統(tǒng)方案在稀疏數(shù)據(jù)和小鄰居集下的相似度度量不準(zhǔn)確問題,提高了推薦的精度。
　　 2)針對(duì)傳統(tǒng)的協(xié)同過濾技術(shù)在產(chǎn)生推薦時(shí)只考慮用戶-項(xiàng)目評(píng)分信息而易受數(shù)據(jù)稀疏影響的問題,引入項(xiàng)目屬性信息,提出了一種基于評(píng)分相似性和項(xiàng)目屬性相似性的混合協(xié)同過濾算法。首先,通過項(xiàng)目屬性信息設(shè)計(jì)了一種基于項(xiàng)目屬性偏好的

4、用戶相似性度量方法,該方法符合用戶間的真實(shí)關(guān)系,同時(shí)也能夠有效地緩解用戶評(píng)分稀疏的問題。而后在衡量用戶相似性時(shí),綜合考慮用戶評(píng)分的相似性和用戶對(duì)項(xiàng)目屬性偏好的相似性,并通過一個(gè)權(quán)值w來控制兩者的重要程度;實(shí)驗(yàn)結(jié)果表明,在不同稀疏程度的數(shù)據(jù)上,該算法獲得了比傳統(tǒng)相似性計(jì)算方法更好的推薦精度,且數(shù)據(jù)越稀疏性能提升越明顯。
　　 3)針對(duì)基于內(nèi)存的協(xié)同過濾算法在線計(jì)算量較大且可擴(kuò)展性較低的缺點(diǎn),提出了一種基于SVD矩陣填充技術(shù)的K-m

5、eans聚類協(xié)同過濾算法。傳統(tǒng)的基于聚類的協(xié)同過濾算法由于數(shù)據(jù)的高維稀疏往往預(yù)測(cè)精度非常低,因此,本算法首先利用SVD降維策略提高數(shù)據(jù)密度,得到一個(gè)沒有缺失值的評(píng)分矩陣,而后利用K-means聚類在填充完整的數(shù)據(jù)上對(duì)用戶進(jìn)行聚類,從而對(duì)完成對(duì)測(cè)試集上未知評(píng)分進(jìn)行預(yù)測(cè)。該算法利用用戶與項(xiàng)目之間的潛在關(guān)系克服了稀疏性問題,同時(shí)保留了聚類方法實(shí)時(shí)性好、可擴(kuò)展性強(qiáng)的優(yōu)點(diǎn)。實(shí)驗(yàn)結(jié)果表明,相對(duì)于傳統(tǒng)的Pearson協(xié)同過濾,基于SVD協(xié)同過濾和基于

6、K-means的協(xié)同過濾,該算法獲得了更好的預(yù)測(cè)性能,同時(shí)具有良好的可擴(kuò)展性。
　　 4)針對(duì)單個(gè)模型做協(xié)同過濾推薦時(shí)精度較低的問題,提出了一種改進(jìn)的自適應(yīng)AdaBoot.RT集成學(xué)習(xí)算法,首先利用梯度下降法最小化用戶評(píng)分的誤差函數(shù)來構(gòu)造基類弱回歸算法,而后利用一種改進(jìn)的AdaBoost.RT集成學(xué)習(xí)方法進(jìn)行建模。在改進(jìn)的AdaBoost.RT算法中,用一種帶統(tǒng)計(jì)特性的偏差系數(shù)α來代替原算法中的相對(duì)誤差參數(shù)φ,α能夠根據(jù)預(yù)測(cè)誤差