基于Hadoop平臺(tái)的協(xié)同過濾推薦算法研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來，人們?cè)诜窒泶髷?shù)據(jù)帶來益處的同時(shí)，也遭遇到大數(shù)據(jù)帶來的麻煩。當(dāng)搜索某種信息時(shí)，相關(guān)信息可能會(huì)鋪天蓋地而來，面對(duì)這些海量數(shù)據(jù)，人們往往無法快速定位到自己想要的那部分信息，用戶需要花費(fèi)很多時(shí)間和精力去甄別信息的有效性和可用性。人們對(duì)信息的使用效率隨著數(shù)據(jù)量的增長呈現(xiàn)出急速下降的趨勢(shì)，這就是著名的信息過載（information overload）問題。雖然谷歌、百度等搜索引擎提供了一些幫助，但依然未能解決人們對(duì)信息的個(gè)性

2、化需求。在電子商務(wù)（如Amazon、淘寶、京東等）和社交網(wǎng)絡(luò)（如Twitter、新浪微博等）出現(xiàn)后，人們對(duì)信息的個(gè)性化需求更為強(qiáng)烈。于是，怎么在大數(shù)據(jù)背景下幫助人們快速找到其感興趣的、滿意的信息，已成為學(xué)術(shù)界和企業(yè)界關(guān)注的熱點(diǎn)。為了解決這些社會(huì)需求，研究者們提出了個(gè)性化推薦系統(tǒng)，這是一種通過挖掘用戶歷史數(shù)據(jù)，然后向用戶提供其很有可能感興趣的信息的一種智能系統(tǒng)。個(gè)性化推薦系統(tǒng)是否能提供用戶滿意的服務(wù)取決于個(gè)性化推薦算法，好的算法才能推薦出

3、好的結(jié)果。在眾多個(gè)性化推薦算法中，目前最成功的策略之一是協(xié)同過濾算法。
　　盡管協(xié)同過濾算法取得了很好的效果，但還是存在著不少缺點(diǎn)，如數(shù)據(jù)稀疏問題，可擴(kuò)展性問題，冷啟動(dòng)問題等。為了進(jìn)一步提高個(gè)性化推薦效果，本文在閱讀大量相關(guān)文獻(xiàn)并深入學(xué)習(xí)協(xié)同過濾推薦技術(shù)的基礎(chǔ)上，對(duì)已有的協(xié)同過濾推薦算法進(jìn)行改進(jìn)，提出了基于用戶評(píng)分差異計(jì)算用戶相似度和基于項(xiàng)目聚類評(píng)分預(yù)測(cè)的協(xié)同過濾算法，并在Hadoop平臺(tái)上實(shí)現(xiàn)所提出的算法。具體的研究?jī)?nèi)容如下:<

4、br>　　(1)提出了一種新的用戶相似度計(jì)算方法—基于用戶評(píng)分差異的相似度計(jì)算方法，該方法綜合考慮了用戶之間的評(píng)分差異、評(píng)分偏好和共同評(píng)分項(xiàng)目數(shù)三個(gè)因素。此方法挖掘并應(yīng)用更多的用戶評(píng)分信息，特別是應(yīng)用了均值以下的用戶評(píng)分信息，有效提高了用戶偏好相似性的準(zhǔn)確率，并能夠緩解數(shù)據(jù)稀疏性帶來的推薦質(zhì)量下降的問題。
　　(2)改進(jìn)傳統(tǒng)的基于近鄰評(píng)分預(yù)測(cè)方法(NNSP)，提出基于項(xiàng)目聚類的評(píng)分預(yù)測(cè)方法(ICBSP)，實(shí)現(xiàn)對(duì)未評(píng)分項(xiàng)目的評(píng)分預(yù)測(cè)

5、。該方法的核心思想有兩個(gè)，一個(gè)是考慮鄰居用戶對(duì)待預(yù)測(cè)項(xiàng)目的評(píng)分可以有多個(gè)評(píng)分值，在其中選擇最大者作用戶最終評(píng)分值;另一個(gè)是使用項(xiàng)目權(quán)重因子和用戶相似度共同作為權(quán)重值來調(diào)節(jié)各個(gè)不同的待預(yù)測(cè)項(xiàng)目在特定用戶中應(yīng)該占有的權(quán)重。這樣可以有效地提高評(píng)分預(yù)測(cè)的準(zhǔn)確度，提升推薦質(zhì)量。
　　(3)本文還在Hadoop平臺(tái)上對(duì)基于用戶評(píng)分差異相似度計(jì)算方法和基于項(xiàng)目聚類評(píng)分預(yù)測(cè)方法的協(xié)同過濾推薦算法進(jìn)行分布式實(shí)現(xiàn)，即利用MapReduce計(jì)算模型實(shí)現(xiàn)