協(xié)同過濾推薦算法研究及MapReduce實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，數(shù)據(jù)信息呈現(xiàn)出爆炸式增長，互聯(lián)網(wǎng)將人類帶入了大數(shù)據(jù)時代。用戶要在海量數(shù)據(jù)中挑選出自己真正需要的信息好比大海撈針，如何在眾多信息中迅速挖掘用戶感興趣的關(guān)鍵信息并推送給用戶，成為當(dāng)下學(xué)界和業(yè)界共同關(guān)注的熱點問題。近年來，推薦系統(tǒng)作為一種智能的個性化信息服務(wù)技術(shù)在國內(nèi)外得到迅速崛起，并在電子商務(wù)、視頻娛樂、社交網(wǎng)絡(luò)等多個領(lǐng)域得到廣泛應(yīng)用。
　　經(jīng)過多年的發(fā)展，推薦系統(tǒng)已經(jīng)衍生出基于內(nèi)容的推薦、基于數(shù)據(jù)挖掘的推薦

2、、協(xié)同過濾推薦等多種推薦技術(shù)。其中，協(xié)同過濾推薦技術(shù)是應(yīng)用最為廣泛的推薦技術(shù)。但是，協(xié)同過濾推薦算法存在著數(shù)據(jù)稀疏、推薦精度低等問題，特別在大數(shù)據(jù)背景下，協(xié)同過濾推薦算法的數(shù)據(jù)稀疏問題、推薦精度問題被進一步放大，使之成為推薦系統(tǒng)的發(fā)展和應(yīng)用的瓶頸?；诖?，本文完成了如下工作:
　　第一，針對協(xié)同過濾推薦系統(tǒng)中的數(shù)據(jù)稀疏性問題，提出了基于專家用戶和項目信任度的數(shù)據(jù)填充方法。該方法根據(jù)專家信任度值，選擇評分數(shù)量多、評分質(zhì)量好的用戶作為

3、專家用戶。同時，該方法綜合考慮項目評分數(shù)和標準差作為項目信任度的評估值，使信任度高的項目作為可行項目，并采用專家用戶的評分對高信任度項目的缺失項進行填充，從而在保證填充質(zhì)量的前提下有效降低數(shù)據(jù)的稀疏度，并通過實驗驗證該算法的有效性。
　　第二，結(jié)合K-Means算法和基于項目的協(xié)同過濾推薦算法，提出了基于聚類和非對稱權(quán)重混合相似度的協(xié)同過濾推薦算法(CFCA)。該算法首先完成了基于評分穩(wěn)定項目的K-Means聚類，然后在類中采用非

4、對稱權(quán)重混合相似度進行相似度計算，并據(jù)此給出推薦結(jié)果。該算法綜合考慮項目之間共同用戶評分的交疊狀況和項目的評分數(shù)，提高了相似度計算的準確性，進而提高推薦質(zhì)量。針對本文提出的算法，論文完成了在不同條件下CFCA算法與傳統(tǒng)協(xié)同過濾推薦算法的實驗對比。實驗結(jié)果表明，本文提出的算法，能夠有效的提高算法的推薦精度。
　　第三，為提高算法效率、降低算法運算時間，本文設(shè)計了CFCA算法MapReduce并行編程模型，并完成了該模型下數(shù)據(jù)預(yù)處理、