協(xié)同過濾推薦算法稀疏性與可擴展性問題研究.pdf

1、隨著社會從 IT時代邁向 DT時代，人們每天面對的信息呈爆炸般增長，信息過載已經(jīng)成為困擾行業(yè)發(fā)展的一大阻礙。特別是在電子商務領域，面對琳瑯滿目的商品，用戶卻不得不花費更多的時間來尋找自己中意的商品。推薦系統(tǒng)的發(fā)展有效彌補了這種缺陷，其中協(xié)同過濾推薦算法的研究更是取得了巨大成功。但是隨著商品越來越多，用戶-項目評分矩陣越變越稀疏，傳統(tǒng)的協(xié)同過濾推薦算法推薦精度受到比較大的影響。另外，受單機性能的制約，面對海量數(shù)據(jù)傳統(tǒng)協(xié)同過濾推薦算法的計算

2、效率以及可擴展性也面臨著嚴峻挑戰(zhàn)。
　　本文詳細研究了協(xié)同過濾推薦算法的數(shù)據(jù)稀疏性問題以及隨著數(shù)據(jù)量增長可擴展性較差的問題，并針對這兩個問題從改進相似度計算方法改善數(shù)據(jù)稀疏性和采用分布式編程算法提高算法可擴展性兩個角度改善推薦質量。
　　第一，用戶評價數(shù)過少導致用戶-項目評分矩陣極度稀疏，降低了協(xié)同過濾推薦算法的推薦精度。本章從項目的評分向量整體分布情況出發(fā)，提出了輔助因子相似度的概念，并將輔助因子相似度與基于項目的傳統(tǒng)的相

3、似度方法進行融合，提出了融合輔助因子的協(xié)同過濾推薦算法。在項目共同評分數(shù)據(jù)很少的情況下，改善了推薦精度不足的問題。實驗證明，本章算法可以有效的緩解數(shù)據(jù)稀疏性，提高推薦精度。
　　第二，針對傳統(tǒng)單機的協(xié)同過濾推薦算法隨著數(shù)據(jù)集增長可擴展性較差的問題，本章實現(xiàn)了基于Hadoop分布式平臺的協(xié)同過濾推薦算法。計算用戶偏好向量和共現(xiàn)矩陣的乘積來得到推薦向量，通過動態(tài)增添集群節(jié)點改善算法的可擴展性。計算矩陣乘時放棄傳統(tǒng)的矩陣乘法，采用一種改