基于隱式反饋的分布式推薦算法研究.pdf

1、互聯(lián)網(wǎng)時代極大地改變了人們的生活方式。隨著信息技術的快速普及與發(fā)展，各類互聯(lián)網(wǎng)服務，無論是電子商務平臺、社交網(wǎng)站抑或是在線視頻網(wǎng)站，都在運營中產(chǎn)生了海量的數(shù)據(jù)。如何處理這些信息，從中挖掘出潛在的知識并加以利用來產(chǎn)生收益，逐漸成為了各商業(yè)公司的關注焦點。推薦系統(tǒng)作為一種挖掘用戶偏好并向其推薦商品的技術，無論在學術界還是商業(yè)界都被廣泛研究。
　　基于矩陣分解的相關方法在推薦大賽Netflix Prize中取得了單模型的較好表現(xiàn)，吸引了

2、大量研究者對其改進和創(chuàng)新。但是，這些方法基于一些前提，這很大程度上限制了它們在實際環(huán)境中的應用，如1）模型的訓練數(shù)據(jù)是用戶的顯示反饋。而在實際中，系統(tǒng)可能并沒有設計顯式評分的環(huán)節(jié)，而僅有一些收集的用戶行為數(shù)據(jù)，如點擊次數(shù)，瀏覽時長等。2）隨著大數(shù)據(jù)時代來臨，系統(tǒng)規(guī)模呈幾何級數(shù)增長。單機的處理能力，無論從計算能力還是存儲能力上來看，都越來越無法滿足要求。
　　本文提出并實現(xiàn)了一個基于分布式內存的矩陣分解算法，同時針對隱式反饋數(shù)據(jù)的特

3、點對模型進行了修改，克服了當前矩陣分解推薦算法面臨的問題。主要工作如下:
　　1.修改了傳統(tǒng)的基于顯式評分的矩陣分解模型，使其對于隱式反饋數(shù)據(jù)也有良好的效果。
　　2.分析了交替最小二乘法存在的并行優(yōu)化空間。
　　3.提出了三種在分布式環(huán)境下的數(shù)據(jù)分發(fā)與緩存策略，并使用spark提供的底層接口實現(xiàn)了在分布式內存上的并行化的交替最小二乘法求解。
　　針對以上工作，本文設計了實驗對結果進行驗證。實驗結果表明，本文提出