基于MapReduce的可擴(kuò)展協(xié)同過(guò)濾算法的研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)和存儲(chǔ)技術(shù)的高速發(fā)展，互聯(lián)網(wǎng)上的信息呈現(xiàn)出爆炸式增長(zhǎng)，人類(lèi)已經(jīng)邁入大數(shù)據(jù)時(shí)代。用戶(hù)要在海量數(shù)據(jù)中挑選出自己真正需要的信息好比大海撈針，如何在眾多信息中迅速挖掘用戶(hù)感興趣的關(guān)鍵信息并推送給用戶(hù)成為當(dāng)下學(xué)界和業(yè)界共同關(guān)注的熱點(diǎn)問(wèn)題。近年來(lái)，推薦系統(tǒng)作為一種智能的個(gè)性化信息服務(wù)技術(shù)在國(guó)內(nèi)外得到迅速崛起并在電子商務(wù)、視頻娛樂(lè)、社交網(wǎng)絡(luò)等多個(gè)領(lǐng)域得到廣泛應(yīng)用。如今，個(gè)性化推薦技術(shù)已經(jīng)成為各大企業(yè)和科研機(jī)構(gòu)的重要研究方向。

2、　　經(jīng)過(guò)多年的發(fā)展，推薦系統(tǒng)已經(jīng)衍生了協(xié)同過(guò)濾推薦、基于內(nèi)容的推薦、混合推薦等多種推薦技術(shù)。其中，協(xié)同過(guò)濾推薦技術(shù)是發(fā)展最為成熟應(yīng)用最為廣泛的推薦技術(shù)。但是，協(xié)同過(guò)濾算法也存在數(shù)據(jù)稀疏問(wèn)題、擴(kuò)展性問(wèn)題等先天缺陷，特別在大數(shù)據(jù)背景下，協(xié)同過(guò)濾算法的擴(kuò)展性問(wèn)題被進(jìn)一步放大，使之成為協(xié)同過(guò)濾推薦技術(shù)甚至推薦系統(tǒng)領(lǐng)域的發(fā)展和應(yīng)用的瓶頸。
　　本文深入剖析了傳統(tǒng)協(xié)同過(guò)濾算法的擴(kuò)展性問(wèn)題產(chǎn)生的原因，結(jié)合推薦系統(tǒng)的實(shí)際應(yīng)用環(huán)境對(duì)算法中相似性計(jì)算

3、部分展開(kāi)討論，最終著日艮于輸入數(shù)據(jù)的預(yù)處理，對(duì)基于用戶(hù)的協(xié)同過(guò)濾算法進(jìn)行了改進(jìn)。該改進(jìn)算法采用了一種基于“詞袋”模型的多級(jí)倒排索引結(jié)構(gòu)來(lái)對(duì)有效數(shù)據(jù)進(jìn)行過(guò)濾。同時(shí)提出了一種軟匹配策略彌補(bǔ)了數(shù)據(jù)過(guò)濾造成的誤差。
　　在算法的實(shí)現(xiàn)方面，云計(jì)算技術(shù)的出現(xiàn)也為傳統(tǒng)協(xié)同過(guò)濾算法的擴(kuò)展性問(wèn)題提供了新的解決思路。在大數(shù)據(jù)背景下，對(duì)算法采取并行化實(shí)現(xiàn)是不二選擇。本文通過(guò)分析Hadoop云計(jì)算平臺(tái)的作業(yè)流程和MapReduce分布式框架的編程思想，對(duì)