基于Hadoop的電影推薦系統(tǒng)研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，人們可以在互聯(lián)網(wǎng)上購買各種商品，完成各種商務(wù)活動，越來越依賴于從網(wǎng)絡(luò)中獲取需要的信息，淘寶網(wǎng)僅在2014年雙十一就達到了591億的銷量。但是，互聯(lián)網(wǎng)的飛速發(fā)展也給服務(wù)提供商帶來了許多問題亟需解決，如讓用戶從海量數(shù)據(jù)中實現(xiàn)按需提取，為用戶提供個性化的服務(wù)，帶給用戶更好的體驗，從而產(chǎn)生更多的收益，應(yīng)用推薦系統(tǒng)是一種較好解決方案。然而，中小型企業(yè)使用的推薦系統(tǒng)基于單機模式的簡單關(guān)聯(lián)的算法，效果一般且無法處理海量數(shù)據(jù)，同時

2、存在缺少精通分布式平臺處理海量數(shù)據(jù)人員的問題，這些都給實現(xiàn)分布式的推薦系統(tǒng)帶來了很大的技術(shù)挑戰(zhàn)。因此，為了擴展推薦系統(tǒng)的應(yīng)用需求，本文以實際出發(fā)，實現(xiàn)了一種適用于中小型企業(yè)的快速搭建基于Hadoop的分布式推薦平臺的方法，降低了推薦系統(tǒng)的應(yīng)用平臺。
　　本文以實現(xiàn)電影推薦系統(tǒng)為例，首先介紹了Hadoop平臺中的兩大核心內(nèi)容HDFS和MapReduce。系統(tǒng)選擇HDFS這樣一種具有高度容錯性的分布式文件系統(tǒng)作為底層文件系統(tǒng)，將其部署

3、到廉價的集群中，同時選擇MapReduce作為海量數(shù)據(jù)處理工具。然后介紹了本課題所用的WEB框架—SpringMVC，它具有靈活易用、邏輯清楚等優(yōu)點，MVC的三層結(jié)構(gòu)設(shè)計也為推薦系統(tǒng)提供了良好的接口。
　　推薦算法能夠幫助用戶發(fā)現(xiàn)可能感興趣的內(nèi)容。本文重點研究了基于內(nèi)容的推薦算法、基于關(guān)聯(lián)規(guī)則的推薦算法和協(xié)同過濾推薦算法。對比三個算法后，選用協(xié)同過濾推薦算法中基于項目的協(xié)同過濾算法。由于傳統(tǒng)的基于項目的協(xié)同過濾算法是基于單機模式的

4、，無法運行于Hadoop，本文將它改進成基于并行化的協(xié)同過濾算法，并運用到基于Hadoop的電影推薦系統(tǒng)中。
　　基于Hadoop的電影推薦系統(tǒng)的實現(xiàn)主要圍繞系統(tǒng)目標確立、需求分析、系統(tǒng)設(shè)計、實現(xiàn)與測試等幾個部分展開。完成了Hadoop平臺和SpringMVC環(huán)境的搭建，并基于推薦模塊、用戶交互模塊和分布式模塊的三大模塊進行詳細設(shè)計與實現(xiàn)。通過對系統(tǒng)的測試和實驗的分析，表明基于Hadoop的電影推薦系統(tǒng)在功能上和并發(fā)性上都有很好的