基于Hadoop的改進聚類協(xié)同過濾推薦算法研究.pdf

1、協(xié)同過濾推薦算法作為推薦系統(tǒng)領(lǐng)域最成功的算法之一，為解決互聯(lián)網(wǎng)時代信息過載問題發(fā)揮了重要作用。協(xié)同過濾推薦算法依據(jù)用戶對項目的歷史評分記錄等偏好信息，通過計算用戶或項目間相似度查找與用戶或項目相似的最近鄰居集合，在此基礎(chǔ)上預(yù)測出用戶對目標(biāo)對象的未知評分，利用集體智慧為用戶提供智能推薦服務(wù)。
　　目前在學(xué)術(shù)研究領(lǐng)域已經(jīng)提出多種協(xié)同過濾推薦算法，它們在一定程度上都大大改善了推薦系統(tǒng)的性能，使用戶獲得的推薦質(zhì)量更高。但隨著互聯(lián)網(wǎng)中信息和

2、數(shù)據(jù)不斷爆發(fā)式的增長，互聯(lián)網(wǎng)產(chǎn)業(yè)已經(jīng)進入了一個新的大數(shù)據(jù)時代。大數(shù)據(jù)以其數(shù)據(jù)體量大、數(shù)據(jù)類型繁多、處理速度快、價值高等特性，給計算機硬件和軟件水平都提出了更高的要求。然而在大數(shù)據(jù)背景下，傳統(tǒng)的協(xié)同過濾推薦算法存在的稀疏性和可擴展性等問題被進一步放大，導(dǎo)致推薦系統(tǒng)無法為用戶提供有效的推薦服務(wù)。
　　因此，為了改善協(xié)同過濾推薦算法在大數(shù)據(jù)背景下存在的稀疏性和可擴展性等問題，本文提出了一種基于Hadoop的改進聚類協(xié)同過濾推薦算法。首先

3、，本文提出的協(xié)同過濾推薦算法利用ALS矩陣分解算法對原始高維稀疏的用戶-項目評分矩陣中的缺失評分進行填充預(yù)處理。其次，采用經(jīng)Canopy算法改進后的K-means聚類算法對填充后的用戶-項目評分矩陣構(gòu)建項目聚類模型，挖掘項目之間存在的潛在關(guān)系。再次，通過目標(biāo)項目與項目聚類模型之間的相似度計算構(gòu)建目標(biāo)項目的推薦候選空間，在候選空間上進行預(yù)測并生成推薦結(jié)果，這大大節(jié)省運算資源并提升推薦效率。最后，本算法在Hadoop分布式集群上實現(xiàn)，充分利