基于Hadoop的電影推薦系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)時(shí)代信息技術(shù)的迅猛崛起，海量信息鋪天蓋地的呈現(xiàn)在網(wǎng)絡(luò)中，人們面臨著一個(gè)棘手的問題就是信息過載，不能快速發(fā)現(xiàn)目標(biāo)信息。搜索引擎雖能夠幫助用戶利用核心詞檢索信息，但是在檢索結(jié)果過多或者用戶目標(biāo)不明確的情況下，仍不能有效解決，推薦系統(tǒng)被認(rèn)為是一種更優(yōu)秀的解決辦法，它能夠智能地根據(jù)用戶的歷史行為挖掘興趣模型，從而計(jì)算出用戶的目標(biāo)內(nèi)容，目前已成功應(yīng)用在各大電商、視頻網(wǎng)站等互聯(lián)網(wǎng)公司。同時(shí)本文深入研究了分布式計(jì)算開源軟件框架Hadoop，

2、采用了MapReduce編程模型和HDFS分布式文件系統(tǒng)實(shí)現(xiàn)并改進(jìn)了協(xié)同過濾推薦算法，最后設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于Hadoop的電影推薦系統(tǒng)原型。
　　本研究主要內(nèi)容包括：⑴傳統(tǒng)的協(xié)同過濾算法僅參考評(píng)分?jǐn)?shù)據(jù)計(jì)算用戶或者項(xiàng)目之間的相似度，并未思考其他因素對(duì)相似度計(jì)算的影響，況且評(píng)分?jǐn)?shù)據(jù)極端稀疏本身就會(huì)影響相似度的計(jì)算，因此在計(jì)算基于用戶的協(xié)同過濾推薦算法時(shí)，首先利用聚類算法將用戶按照身份屬性建立模型，再對(duì)類內(nèi)用戶采用傳統(tǒng)基于用戶的協(xié)同過

3、濾推薦算法；⑵在基于項(xiàng)目的協(xié)同過濾推薦算法相似度計(jì)算中引入了類別相似度的概念，綜合考慮評(píng)分及項(xiàng)目類別，同時(shí)在評(píng)分相似度計(jì)算中加入共同評(píng)分用戶數(shù)對(duì)相似度計(jì)算的影響，最后在近鄰選取中，采用閾值法結(jié)合平均相似度及閾值共同決定目標(biāo)用戶或項(xiàng)目的最近鄰居，避免固定值法帶來的噪聲；⑶結(jié)合分布式系統(tǒng)解決方案Hadoop，實(shí)現(xiàn)基于MapReduce編程模型和HDFS分布式文件系統(tǒng)的改進(jìn)推薦算法；⑷研究分布式集群等實(shí)驗(yàn)環(huán)境的部署及使用，結(jié)合本文設(shè)計(jì)的改進(jìn)協(xié)