基于大數(shù)據(jù)的推薦算法研究.pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)的迅猛發(fā)展，人們進(jìn)入了信息超載的時(shí)代。推薦系統(tǒng)是一個(gè)解決信息超載問(wèn)題的有效工具，它根據(jù)用戶的歷史行為等記錄，對(duì)用戶的興趣進(jìn)行建模，然后利用創(chuàng)建的用戶興趣模型進(jìn)行個(gè)性化推薦，把用戶感興趣的信息、產(chǎn)品等推薦給用戶。協(xié)同過(guò)濾是推薦系統(tǒng)中采用最為廣泛也是最為成功的推薦技術(shù)。針對(duì)協(xié)同過(guò)濾技術(shù)效果依賴(lài)于一個(gè)精確的相似度測(cè)度方法且其可伸縮性較差，不能處理大數(shù)據(jù)的問(wèn)題，本文提出基于項(xiàng)目層次結(jié)構(gòu)的推薦算法，并結(jié)合Hadoop技術(shù)實(shí)現(xiàn)矩

2、陣分解算法。主要工作如下:
　　1)改進(jìn)衡量相似度的余弦距離和皮爾遜相關(guān)系數(shù)的計(jì)算公式，避免計(jì)算目標(biāo)用戶與所有用戶的相似度，從而避免了在整個(gè)用戶空間中搜索最相近的K個(gè)用戶。本文引入倒排索引數(shù)據(jù)結(jié)構(gòu)，使查找目標(biāo)用戶最近鄰的計(jì)算復(fù)雜度大大降低。實(shí)驗(yàn)表明，在確保與改進(jìn)前最近鄰結(jié)果一致的情況下，改進(jìn)后的相似度計(jì)算公式能大大縮減查找目標(biāo)用戶最近鄰的時(shí)間，大大提高推薦算法處理大數(shù)據(jù)的能力。
　　2)提出了一種基于項(xiàng)目層次相似度的協(xié)同過(guò)濾

3、算法。利用用戶給部分項(xiàng)目標(biāo)注的標(biāo)簽和項(xiàng)目類(lèi)別進(jìn)行自動(dòng)擴(kuò)展，建立所有項(xiàng)目的層次結(jié)構(gòu)，然后利用建立的項(xiàng)目標(biāo)簽層次結(jié)構(gòu)計(jì)算項(xiàng)目之間的相似性。實(shí)驗(yàn)表明，與傳統(tǒng)的協(xié)同過(guò)濾算法比較，本文提出的基于項(xiàng)目層次相似度的協(xié)同過(guò)濾算法能夠顯著提高推薦系統(tǒng)處理大數(shù)據(jù)的能力，并且可以獲得更優(yōu)的RMSE效果。
　　3)結(jié)合矩陣分解梯度下降算法的近似算法和MapReduce分布式計(jì)算框架，設(shè)計(jì)實(shí)現(xiàn)了一種基于MapReduce的矩陣分解推薦算法。實(shí)現(xiàn)矩陣分解算法