基于賦權(quán)評分和Dpark的分布式推薦系統(tǒng)研究與實現(xiàn).pdf

1、隨著各種社交網(wǎng)站的興起，用戶越來越頻繁地參與網(wǎng)絡互動?；ヂ?lián)網(wǎng)上的信息不再只由網(wǎng)站編輯提供，用戶也開始提交各種信息。推薦系統(tǒng)的出現(xiàn)，使得用戶面對爆炸式增長的信息，不再盲目地查詢，而是由系統(tǒng)主動向用戶推薦其可能感興趣的內(nèi)容。經(jīng)過多年研究與發(fā)展，協(xié)同過濾推薦算法已經(jīng)成為應用實踐中，較為成熟的推薦技術。它的主要思想是利用已知用戶群的過往行為或評分來預測當前目標用戶可能感興趣的物品。本文提出的算法以傳統(tǒng)協(xié)同過濾推薦算法為基礎進行改進。
　　

2、傳統(tǒng)的協(xié)同過濾推薦算法中，用戶評分作為計算物品相似度的依據(jù)，進而預測推薦結(jié)果。但是同一用戶對于不同物品的評分相同，不能充分說明這些物品之間具有相似性，并且會降低非流行物品在推薦過程中的影響力。為了提高物品相似度計算的可靠性，本文在傳統(tǒng)算法的基礎上，根據(jù)對應評分人數(shù)所占物品評分總?cè)藬?shù)的比重，對物品評分進行賦權(quán)，提出基于賦權(quán)評分的協(xié)同過濾推薦算法。實驗結(jié)果表明，相比傳統(tǒng)的物品相似度計算方法，該方法充分考慮了非流行物品的影響力，有效地提高了推

3、薦的精準度。
　　由于需要存儲并處理海量用戶數(shù)據(jù)，單機運行環(huán)境已經(jīng)無法滿足上述要求。本文使用分布式計算框架Dpark來實現(xiàn)該推薦系統(tǒng)。Dpark將用戶數(shù)據(jù)存儲在多個文件服務器上。Dpark是新一代分布式計算框架，更加高效，并且提供了豐富的Python調(diào)用接口，方便程序使用迭代的方式進行計算。
　　為了驗證本文所設計算法的有效性以及所實現(xiàn)推薦系統(tǒng)的計算性能，本文使用MovieLens真實測試數(shù)據(jù)對推薦系統(tǒng)進行了測試。實驗結(jié)果表