云計算技術在協同過濾推薦中的應用研究.pdf

1、隨著互聯網的蓬勃發(fā)展，人們已經走進了大數據時代?；ヂ摼W用戶如何從海量的數據中的快速有效地搜索有價值的數據，提高信息獲取的效率，已經成為個性化推薦領域面臨的巨大挑戰(zhàn)。近幾年來，個性化推薦技術在國內外迅速崛起并廣泛應用于電子商務、視頻音樂等領域的站點，它不僅是互聯網公司一直在努力攻克的技術難題，也是很多研究機構的重要研究方向。
　　傳統(tǒng)的推薦系引擎多是集中式單一節(jié)點的架構，處理能力有限，擴展性差，不適合應用于大規(guī)模數據分析和處理。目前

2、，改善單個節(jié)點推薦算法擴展性問題的方法有很多，雖然在一定程度上提高了算法擴展性，但是有限的硬件計算能力遠不能滿足日漸增長的處理需求。云計算的出現為這一問題的解決提供了新的思路。當前，基于分布式并行處理架構的推薦引擎已成為當前研究和應用的熱點。
　　針對傳統(tǒng)協同過濾推薦算法的擴展性瓶頸和分布式算法的效率問題，本文設計了一個基于Hadoop平臺的分布式協同過濾推薦系統(tǒng)。協同過濾推薦的經典代表是基于用戶的協同過濾推薦和加權Slope-o

3、ne推薦。本文結合分布式數據庫HBase、分布式文件系統(tǒng)HDFS和分布式并行計算框架MapReduce對這兩種協同過濾推薦算法進行分布式實現，并使用HBase優(yōu)化實現流程，提高算法效率。本系統(tǒng)不僅支持海量稀疏性數據存儲與分析，而且有效地提高了協同過濾推薦算法的可擴展性，并提供與用戶的實時交互功能。
　　基于對HBase上MapReduce任務數據本地化問題的分析，本文提出了一種HBase的兩級負載均衡策略。該策略通過遷移節(jié)點上超載