基于MapReduce的協(xié)同過濾推薦算法研究.pdf

1、隨著信息技術的飛速發(fā)展，Internet已成為包含海量信息和用戶的復雜網(wǎng)絡，為全世界人們傳遞和共享信息。然而，海量的信息資源導致了“信息迷茫”和“信息過載”等問題，使人們常常在信息的海洋里迷失方向，越來越難以準確、高效地獲取自己需要的信息。為此，個性化服務技術應時而生。推薦系統(tǒng)作為一種成熟的個性化服務技術已在社區(qū)交友、電子商務和科學研究等領域得到了廣泛的應用。
　　常用的推薦技術包括:協(xié)同過濾推薦、基于模型的推薦、基于內(nèi)容的推薦和

2、混合推薦。其中，協(xié)同過濾技術因其推薦精度高、實現(xiàn)簡單、易于用于實際系統(tǒng)而備受青睞。然而，除了稀疏性和冷啟動問題外，經(jīng)典的協(xié)同過濾算法，另一個最大的缺點是可擴展性問題，即隨著商品和用戶數(shù)量的增加，計算時間迅速的增加，影響了推薦的實時性。
　　本文針對協(xié)同過濾推薦算法的可擴展性問題，從項目或用戶向量的表示方法入手，剖析了對象屬性嚴格匹配的缺陷，提出了基于均模型的協(xié)同過濾推薦算法。另外重點考察了系統(tǒng)的運行模式，設計實現(xiàn)了一種新的基于Ma

3、pReduce分布式框架的協(xié)同過濾推薦算法。
　　本文的創(chuàng)新點主要有兩個，一是采用均模型來表示項目或用戶的特征，該模型通過抽取項目或用戶的關鍵特征，適當濃縮向量的長度，為在大規(guī)模數(shù)據(jù)集上進行高效、實時的推薦提供支持;二是通過評測經(jīng)典協(xié)同過濾推薦算法的關鍵步驟，找到了適合用于MapReduce編程模式改進的方法，并基于Hadoop實現(xiàn)原理選用合適的Map與Reduce方案，將基于均模型的協(xié)同過濾推薦算法的三大關鍵步驟所涉及的數(shù)據(jù)表達

4、、計算等問題轉(zhuǎn)換為Map或Reduce操作，實現(xiàn)了算法的并行化。
　　本文采用的檢測數(shù)據(jù)是Grouplens提供的MovieLens100k、MovieLens1M、MovieLens10M三個數(shù)據(jù)集，主要從算法精度和運行時間兩方面對經(jīng)典基于項目的協(xié)同過濾推薦算法、基于云模型的推薦算法和基于均模型的協(xié)同過濾算法進行了對比實驗。實驗結(jié)果表明:基于均模型的協(xié)同過濾推薦算法在確保精度的前提下，能有效縮短項目相似性計算時間，易于處理大數(shù)據(jù)