基于MapReduce的可擴展協(xié)同過濾算法的研究.pdf

1、隨著計算機網絡技術和存儲技術的高速發(fā)展，互聯(lián)網上的信息呈現(xiàn)出爆炸式增長，人類已經邁入大數據時代。用戶要在海量數據中挑選出自己真正需要的信息好比大海撈針，如何在眾多信息中迅速挖掘用戶感興趣的關鍵信息并推送給用戶成為當下學界和業(yè)界共同關注的熱點問題。近年來，推薦系統(tǒng)作為一種智能的個性化信息服務技術在國內外得到迅速崛起并在電子商務、視頻娛樂、社交網絡等多個領域得到廣泛應用。如今，個性化推薦技術已經成為各大企業(yè)和科研機構的重要研究方向。

2、　　經過多年的發(fā)展，推薦系統(tǒng)已經衍生了協(xié)同過濾推薦、基于內容的推薦、混合推薦等多種推薦技術。其中，協(xié)同過濾推薦技術是發(fā)展最為成熟應用最為廣泛的推薦技術。但是，協(xié)同過濾算法也存在數據稀疏問題、擴展性問題等先天缺陷，特別在大數據背景下，協(xié)同過濾算法的擴展性問題被進一步放大，使之成為協(xié)同過濾推薦技術甚至推薦系統(tǒng)領域的發(fā)展和應用的瓶頸。
　　本文深入剖析了傳統(tǒng)協(xié)同過濾算法的擴展性問題產生的原因，結合推薦系統(tǒng)的實際應用環(huán)境對算法中相似性計算

3、部分展開討論，最終著日艮于輸入數據的預處理，對基于用戶的協(xié)同過濾算法進行了改進。該改進算法采用了一種基于“詞袋”模型的多級倒排索引結構來對有效數據進行過濾。同時提出了一種軟匹配策略彌補了數據過濾造成的誤差。
　　在算法的實現(xiàn)方面，云計算技術的出現(xiàn)也為傳統(tǒng)協(xié)同過濾算法的擴展性問題提供了新的解決思路。在大數據背景下，對算法采取并行化實現(xiàn)是不二選擇。本文通過分析Hadoop云計算平臺的作業(yè)流程和MapReduce分布式框架的編程思想，對