基于Spark平臺(tái)的協(xié)同過濾算法的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，大數(shù)據(jù)時(shí)代已經(jīng)到來。面對(duì)互聯(lián)網(wǎng)龐大而豐富的數(shù)據(jù)資源，如何從中獲取有價(jià)值的信息已經(jīng)成為一個(gè)急需解決的問題。個(gè)性化推薦系統(tǒng)的誕生就是為了解決這樣的信息過載問題，推薦系統(tǒng)可以根據(jù)用戶歷史行為數(shù)據(jù)挖掘出相關(guān)信息并主動(dòng)給用戶做產(chǎn)品或服務(wù)推薦。在傳統(tǒng)的協(xié)同過濾推薦算法研究中，單機(jī)平臺(tái)需要耗費(fèi)大量的時(shí)間來處理海量的用戶行為數(shù)據(jù)，單機(jī)算法并行化是解決這個(gè)問題的一個(gè)方案。Spark是一個(gè)特別擅長于迭代式的機(jī)器學(xué)習(xí)運(yùn)算的基于內(nèi)存的

2、分布式計(jì)算框架，把需要重復(fù)迭代運(yùn)算的推薦算法在Spark平臺(tái)并行化實(shí)現(xiàn)，將大大縮短算法的運(yùn)行時(shí)間。
　　本論文基于Spark平臺(tái)對(duì)幾個(gè)協(xié)同過濾算法進(jìn)行了原理分析與并行化實(shí)現(xiàn)。首先對(duì)Spark平臺(tái)和常用推薦算法進(jìn)行了介紹，著重介紹了基于物品的協(xié)同過濾算法以及基于隱語義模型的協(xié)同過濾算法，為算法的并行化實(shí)現(xiàn)奠定基礎(chǔ)。對(duì)于基于物品的協(xié)同過濾算法，本論文基于Spark平臺(tái)實(shí)現(xiàn)了皮爾遜相關(guān)系數(shù)、修正的余弦相似度、加入偏置信息的相似度等幾種物

3、品相似度計(jì)算方法，對(duì)評(píng)分預(yù)測(cè)公式加入懲罰因子解決當(dāng)鄰域信息不足時(shí)評(píng)分預(yù)測(cè)精度降低的問題。對(duì)于基于隱語義模型的協(xié)同過濾算法，本論文使用交替最小二乘法求解矩陣分解問題，并利用Spark平臺(tái)的GraphX組件對(duì)用戶-物品關(guān)系建立二分圖模型，通過并行圖計(jì)算的方式交替更新用戶因子矩陣和物品因子矩陣，提高了算法的運(yùn)行效率。最后，本論文把基于物品的協(xié)同過濾算法和基于隱語義模型的協(xié)同過濾算法進(jìn)行模型融合，設(shè)計(jì)了一個(gè)用于融合多個(gè)協(xié)同過濾算法的線性模型，并

4、利用最小二乘法求解權(quán)重，根據(jù)數(shù)據(jù)自動(dòng)訓(xùn)練出各個(gè)算法的重要程度，使得融合后的模型顯著降低了評(píng)分預(yù)測(cè)的誤差。
　　在公開數(shù)據(jù)集MovieLens上進(jìn)行多組對(duì)比實(shí)驗(yàn)表明，即使在單個(gè)節(jié)點(diǎn)上運(yùn)算，利用GraphX實(shí)現(xiàn)的基于交替最小二乘法的協(xié)同過濾算法運(yùn)行時(shí)間也遠(yuǎn)遠(yuǎn)少于傳統(tǒng)的單機(jī)算法實(shí)現(xiàn)。此外，對(duì)評(píng)分預(yù)測(cè)公式加入懲罰因子懲罰鄰域信息能夠提高基于物品的協(xié)同過濾算法評(píng)分預(yù)測(cè)的精度。最后，對(duì)兩個(gè)協(xié)同過濾算法進(jìn)行模型融合能在現(xiàn)有算法的基礎(chǔ)上進(jìn)一步提高