基于云計算的協同過濾算法并行化研究.pdf

1、AthesissubmittedtoZhengzhouUniversityforthedegreeofMasterParallelizationResearchonCollaborativeFilteringAlgorithmBasedonCloudComputingByBuyuanLiSupervisor：ProfZhiYunZhengComputerApplicationTechnologyCollegeofInformationa

2、ndEngineeringMay2013摘要摘要隨著信息技術的發(fā)展，網絡上數據以指數級在增長，出現信息過量的情況。這種狀況使得用戶不得不花費大量的時間和精力尋找有用的信息。在此背景下，推薦系統(tǒng)應用而生，幫助用戶走出信息的海洋，快速找到有用的信息。當前，較為流行的推薦方法是協同過濾。該方法利用用戶之間興趣的相似性，對用戶的偏好信息作出推薦。然而，隨著數據的快速增長，協同過濾算法的計算效率越來越低。本文以此為出發(fā)點，采用并行計算中的云計算技

3、術研究和實現協同過濾。云計算是并行技術的發(fā)展，可以有效解決復雜計算的計算效率問題。目前，較為流行的云計算平臺是Hadoop，本文以其作為實現平臺。在Hadoop平臺上，要實現協同過濾的并行計算，關鍵在于解決計算過程中數據的相關性。本文以受限玻爾茲曼機模型和鄰居模型為案例，在詳細分析其計算過程的基礎上，提出基于Hadoop平臺的算法。該算法根據MapReduce框架的特點，將其計算過程拆分成若干個任務。在每個任務中，通過數據冗余的機制，將

4、數據復制多份分配到每個需要的計算節(jié)點，從而解決計算過程中的數據相關性。同時，在多個任務的計算中，各個任務存在前后依賴的關系。在將協同過濾拆分為多個任務時，利用MapReduce提供的依賴組合式任務計算來解決任務之間的依賴關系，實現不同任務的并行計算。最后，本文在以大體量數據集為基礎的實驗中來驗證其計算效率。實驗結果表明，與在傳統(tǒng)平臺的實現相比，基于Hadoop并行架構的最近鄰尋找推薦算法和受限玻爾茲曼機推薦算法，在大體量數據集的條件下可