云計(jì)算技術(shù)在協(xié)同過(guò)濾推薦中的應(yīng)用研究.pdf

1、隨著互聯(lián)網(wǎng)的蓬勃發(fā)展，人們已經(jīng)走進(jìn)了大數(shù)據(jù)時(shí)代?；ヂ?lián)網(wǎng)用戶如何從海量的數(shù)據(jù)中的快速有效地搜索有價(jià)值的數(shù)據(jù)，提高信息獲取的效率，已經(jīng)成為個(gè)性化推薦領(lǐng)域面臨的巨大挑戰(zhàn)。近幾年來(lái)，個(gè)性化推薦技術(shù)在國(guó)內(nèi)外迅速崛起并廣泛應(yīng)用于電子商務(wù)、視頻音樂(lè)等領(lǐng)域的站點(diǎn)，它不僅是互聯(lián)網(wǎng)公司一直在努力攻克的技術(shù)難題，也是很多研究機(jī)構(gòu)的重要研究方向。
　　傳統(tǒng)的推薦系引擎多是集中式單一節(jié)點(diǎn)的架構(gòu)，處理能力有限，擴(kuò)展性差，不適合應(yīng)用于大規(guī)模數(shù)據(jù)分析和處理。目前

2、，改善單個(gè)節(jié)點(diǎn)推薦算法擴(kuò)展性問(wèn)題的方法有很多，雖然在一定程度上提高了算法擴(kuò)展性，但是有限的硬件計(jì)算能力遠(yuǎn)不能滿足日漸增長(zhǎng)的處理需求。云計(jì)算的出現(xiàn)為這一問(wèn)題的解決提供了新的思路。當(dāng)前，基于分布式并行處理架構(gòu)的推薦引擎已成為當(dāng)前研究和應(yīng)用的熱點(diǎn)。
　　針對(duì)傳統(tǒng)協(xié)同過(guò)濾推薦算法的擴(kuò)展性瓶頸和分布式算法的效率問(wèn)題，本文設(shè)計(jì)了一個(gè)基于Hadoop平臺(tái)的分布式協(xié)同過(guò)濾推薦系統(tǒng)。協(xié)同過(guò)濾推薦的經(jīng)典代表是基于用戶的協(xié)同過(guò)濾推薦和加權(quán)Slope-o

3、ne推薦。本文結(jié)合分布式數(shù)據(jù)庫(kù)HBase、分布式文件系統(tǒng)HDFS和分布式并行計(jì)算框架MapReduce對(duì)這兩種協(xié)同過(guò)濾推薦算法進(jìn)行分布式實(shí)現(xiàn)，并使用HBase優(yōu)化實(shí)現(xiàn)流程，提高算法效率。本系統(tǒng)不僅支持海量稀疏性數(shù)據(jù)存儲(chǔ)與分析，而且有效地提高了協(xié)同過(guò)濾推薦算法的可擴(kuò)展性，并提供與用戶的實(shí)時(shí)交互功能。
　　基于對(duì)HBase上MapReduce任務(wù)數(shù)據(jù)本地化問(wèn)題的分析，本文提出了一種HBase的兩級(jí)負(fù)載均衡策略。該策略通過(guò)遷移節(jié)點(diǎn)上超載