基于MapReduce的協(xié)同過(guò)濾推薦算法研究.pdf

1、隨著信息技術(shù)的飛速發(fā)展，Internet已成為包含海量信息和用戶(hù)的復(fù)雜網(wǎng)絡(luò)，為全世界人們傳遞和共享信息。然而，海量的信息資源導(dǎo)致了“信息迷?！焙汀靶畔⑦^(guò)載”等問(wèn)題，使人們常常在信息的海洋里迷失方向，越來(lái)越難以準(zhǔn)確、高效地獲取自己需要的信息。為此，個(gè)性化服務(wù)技術(shù)應(yīng)時(shí)而生。推薦系統(tǒng)作為一種成熟的個(gè)性化服務(wù)技術(shù)已在社區(qū)交友、電子商務(wù)和科學(xué)研究等領(lǐng)域得到了廣泛的應(yīng)用。
　　常用的推薦技術(shù)包括:協(xié)同過(guò)濾推薦、基于模型的推薦、基于內(nèi)容的推薦和

2、混合推薦。其中，協(xié)同過(guò)濾技術(shù)因其推薦精度高、實(shí)現(xiàn)簡(jiǎn)單、易于用于實(shí)際系統(tǒng)而備受青睞。然而，除了稀疏性和冷啟動(dòng)問(wèn)題外，經(jīng)典的協(xié)同過(guò)濾算法，另一個(gè)最大的缺點(diǎn)是可擴(kuò)展性問(wèn)題，即隨著商品和用戶(hù)數(shù)量的增加，計(jì)算時(shí)間迅速的增加，影響了推薦的實(shí)時(shí)性。
　　本文針對(duì)協(xié)同過(guò)濾推薦算法的可擴(kuò)展性問(wèn)題，從項(xiàng)目或用戶(hù)向量的表示方法入手，剖析了對(duì)象屬性嚴(yán)格匹配的缺陷，提出了基于均模型的協(xié)同過(guò)濾推薦算法。另外重點(diǎn)考察了系統(tǒng)的運(yùn)行模式，設(shè)計(jì)實(shí)現(xiàn)了一種新的基于Ma

3、pReduce分布式框架的協(xié)同過(guò)濾推薦算法。
　　本文的創(chuàng)新點(diǎn)主要有兩個(gè)，一是采用均模型來(lái)表示項(xiàng)目或用戶(hù)的特征，該模型通過(guò)抽取項(xiàng)目或用戶(hù)的關(guān)鍵特征，適當(dāng)濃縮向量的長(zhǎng)度，為在大規(guī)模數(shù)據(jù)集上進(jìn)行高效、實(shí)時(shí)的推薦提供支持;二是通過(guò)評(píng)測(cè)經(jīng)典協(xié)同過(guò)濾推薦算法的關(guān)鍵步驟，找到了適合用于MapReduce編程模式改進(jìn)的方法，并基于Hadoop實(shí)現(xiàn)原理選用合適的Map與Reduce方案，將基于均模型的協(xié)同過(guò)濾推薦算法的三大關(guān)鍵步驟所涉及的數(shù)據(jù)表達(dá)

4、、計(jì)算等問(wèn)題轉(zhuǎn)換為Map或Reduce操作，實(shí)現(xiàn)了算法的并行化。
　　本文采用的檢測(cè)數(shù)據(jù)是Grouplens提供的MovieLens100k、MovieLens1M、MovieLens10M三個(gè)數(shù)據(jù)集，主要從算法精度和運(yùn)行時(shí)間兩方面對(duì)經(jīng)典基于項(xiàng)目的協(xié)同過(guò)濾推薦算法、基于云模型的推薦算法和基于均模型的協(xié)同過(guò)濾算法進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明:基于均模型的協(xié)同過(guò)濾推薦算法在確保精度的前提下，能有效縮短項(xiàng)目相似性計(jì)算時(shí)間，易于處理大數(shù)據(jù)