基于Hadoop的電影推薦系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時(shí)代信息技術(shù)的迅猛崛起，海量信息鋪天蓋地的呈現(xiàn)在網(wǎng)絡(luò)中，人們面臨著一個(gè)棘手的問(wèn)題就是信息過(guò)載，不能快速發(fā)現(xiàn)目標(biāo)信息。搜索引擎雖能夠幫助用戶(hù)利用核心詞檢索信息，但是在檢索結(jié)果過(guò)多或者用戶(hù)目標(biāo)不明確的情況下，仍不能有效解決，推薦系統(tǒng)被認(rèn)為是一種更優(yōu)秀的解決辦法，它能夠智能地根據(jù)用戶(hù)的歷史行為挖掘興趣模型，從而計(jì)算出用戶(hù)的目標(biāo)內(nèi)容，目前已成功應(yīng)用在各大電商、視頻網(wǎng)站等互聯(lián)網(wǎng)公司。同時(shí)本文深入研究了分布式計(jì)算開(kāi)源軟件框架Hadoop，

2、采用了MapReduce編程模型和HDFS分布式文件系統(tǒng)實(shí)現(xiàn)并改進(jìn)了協(xié)同過(guò)濾推薦算法，最后設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Hadoop的電影推薦系統(tǒng)原型。
　　本研究主要內(nèi)容包括：⑴傳統(tǒng)的協(xié)同過(guò)濾算法僅參考評(píng)分?jǐn)?shù)據(jù)計(jì)算用戶(hù)或者項(xiàng)目之間的相似度，并未思考其他因素對(duì)相似度計(jì)算的影響，況且評(píng)分?jǐn)?shù)據(jù)極端稀疏本身就會(huì)影響相似度的計(jì)算，因此在計(jì)算基于用戶(hù)的協(xié)同過(guò)濾推薦算法時(shí)，首先利用聚類(lèi)算法將用戶(hù)按照身份屬性建立模型，再對(duì)類(lèi)內(nèi)用戶(hù)采用傳統(tǒng)基于用戶(hù)的協(xié)同過(guò)

3、濾推薦算法；⑵在基于項(xiàng)目的協(xié)同過(guò)濾推薦算法相似度計(jì)算中引入了類(lèi)別相似度的概念，綜合考慮評(píng)分及項(xiàng)目類(lèi)別，同時(shí)在評(píng)分相似度計(jì)算中加入共同評(píng)分用戶(hù)數(shù)對(duì)相似度計(jì)算的影響，最后在近鄰選取中，采用閾值法結(jié)合平均相似度及閾值共同決定目標(biāo)用戶(hù)或項(xiàng)目的最近鄰居，避免固定值法帶來(lái)的噪聲；⑶結(jié)合分布式系統(tǒng)解決方案Hadoop，實(shí)現(xiàn)基于MapReduce編程模型和HDFS分布式文件系統(tǒng)的改進(jìn)推薦算法；⑷研究分布式集群等實(shí)驗(yàn)環(huán)境的部署及使用，結(jié)合本文設(shè)計(jì)的改進(jìn)協(xié)