基于Hadoop平臺的協(xié)同過濾推薦算法研究.pdf

1、隨著大數(shù)據(jù)時代的到來，人們在分享大數(shù)據(jù)帶來益處的同時，也遭遇到大數(shù)據(jù)帶來的麻煩。當(dāng)搜索某種信息時，相關(guān)信息可能會鋪天蓋地而來，面對這些海量數(shù)據(jù)，人們往往無法快速定位到自己想要的那部分信息，用戶需要花費很多時間和精力去甄別信息的有效性和可用性。人們對信息的使用效率隨著數(shù)據(jù)量的增長呈現(xiàn)出急速下降的趨勢，這就是著名的信息過載（information overload）問題。雖然谷歌、百度等搜索引擎提供了一些幫助，但依然未能解決人們對信息的個性

2、化需求。在電子商務(wù)（如Amazon、淘寶、京東等）和社交網(wǎng)絡(luò)（如Twitter、新浪微博等）出現(xiàn)后，人們對信息的個性化需求更為強烈。于是，怎么在大數(shù)據(jù)背景下幫助人們快速找到其感興趣的、滿意的信息，已成為學(xué)術(shù)界和企業(yè)界關(guān)注的熱點。為了解決這些社會需求，研究者們提出了個性化推薦系統(tǒng)，這是一種通過挖掘用戶歷史數(shù)據(jù)，然后向用戶提供其很有可能感興趣的信息的一種智能系統(tǒng)。個性化推薦系統(tǒng)是否能提供用戶滿意的服務(wù)取決于個性化推薦算法，好的算法才能推薦出

3、好的結(jié)果。在眾多個性化推薦算法中，目前最成功的策略之一是協(xié)同過濾算法。
　　盡管協(xié)同過濾算法取得了很好的效果，但還是存在著不少缺點，如數(shù)據(jù)稀疏問題，可擴展性問題，冷啟動問題等。為了進(jìn)一步提高個性化推薦效果，本文在閱讀大量相關(guān)文獻(xiàn)并深入學(xué)習(xí)協(xié)同過濾推薦技術(shù)的基礎(chǔ)上，對已有的協(xié)同過濾推薦算法進(jìn)行改進(jìn)，提出了基于用戶評分差異計算用戶相似度和基于項目聚類評分預(yù)測的協(xié)同過濾算法，并在Hadoop平臺上實現(xiàn)所提出的算法。具體的研究內(nèi)容如下:<

4、br>　　(1)提出了一種新的用戶相似度計算方法—基于用戶評分差異的相似度計算方法，該方法綜合考慮了用戶之間的評分差異、評分偏好和共同評分項目數(shù)三個因素。此方法挖掘并應(yīng)用更多的用戶評分信息，特別是應(yīng)用了均值以下的用戶評分信息，有效提高了用戶偏好相似性的準(zhǔn)確率，并能夠緩解數(shù)據(jù)稀疏性帶來的推薦質(zhì)量下降的問題。
　　(2)改進(jìn)傳統(tǒng)的基于近鄰評分預(yù)測方法(NNSP)，提出基于項目聚類的評分預(yù)測方法(ICBSP)，實現(xiàn)對未評分項目的評分預(yù)測

5、。該方法的核心思想有兩個，一個是考慮鄰居用戶對待預(yù)測項目的評分可以有多個評分值，在其中選擇最大者作用戶最終評分值;另一個是使用項目權(quán)重因子和用戶相似度共同作為權(quán)重值來調(diào)節(jié)各個不同的待預(yù)測項目在特定用戶中應(yīng)該占有的權(quán)重。這樣可以有效地提高評分預(yù)測的準(zhǔn)確度，提升推薦質(zhì)量。
　　(3)本文還在Hadoop平臺上對基于用戶評分差異相似度計算方法和基于項目聚類評分預(yù)測方法的協(xié)同過濾推薦算法進(jìn)行分布式實現(xiàn)，即利用MapReduce計算模型實現(xiàn)