大數(shù)據(jù)環(huán)境下基于協(xié)同過濾的推薦系統(tǒng)研究與實(shí)現(xiàn).pdf

1、推薦系統(tǒng)是一種能夠主動挖掘用戶興趣偏好，為不同的用戶制定個性化的推薦列表，提供個性化推薦服務(wù)的智能化系統(tǒng)。協(xié)同過濾算法是一種發(fā)展較早、應(yīng)用廣泛的個性化推薦算法，目前比較流行的包括社會化推薦算法與概率矩陣分解模型。前一種算法通過融入用戶社會屬性，提高用戶偏好刻畫的準(zhǔn)確性，后一種算法通過機(jī)器學(xué)習(xí)的方法得到用戶、項(xiàng)目的特征，具有較高的準(zhǔn)確度。但是，如何拓展有限的社會關(guān)系和如何揭示用戶之間相互作用對用戶特征的影響都還有值得研究和改進(jìn)的空間。另外

2、，大數(shù)據(jù)時代的到來，海量數(shù)據(jù)的處理對推薦系統(tǒng)的計(jì)算與存儲能力帶來了嚴(yán)峻的挑戰(zhàn)。由于傳統(tǒng)的推薦系統(tǒng)通常運(yùn)行在單服務(wù)器條件下，分析計(jì)算能力有限，已經(jīng)不能滿足有效處理爆發(fā)式增長數(shù)據(jù)的需求。針對上面的問題，本文提出了兩種新的協(xié)同過濾算法，在 Hadoop平臺實(shí)現(xiàn)并行化計(jì)算以提高計(jì)算效率與存儲能力。另外，研究并實(shí)現(xiàn)了一個結(jié)合 Hadoop相關(guān)技術(shù)和本文所提推薦算法的具有處理海量數(shù)據(jù)能力的推薦系統(tǒng)。
　　本研究主要內(nèi)容包括：⑴大數(shù)據(jù)環(huán)境下的社

3、會化推薦算法。該算法在協(xié)同過濾中引入社會信任關(guān)系，并且挖掘出更多的可信任關(guān)系。對于用戶之間的信任關(guān)系，需要區(qū)分項(xiàng)目類別，在各類別下通過社區(qū)發(fā)現(xiàn)方法發(fā)現(xiàn)信任社區(qū)作為目標(biāo)用戶候選可信任用戶集，以擴(kuò)展目標(biāo)用戶可信任用戶集。再根據(jù)候選可信任用戶在項(xiàng)目類別下評價的專業(yè)性和該用戶與目標(biāo)用戶評分的相似性，定義候選可信任用戶的信任度。根據(jù)信任度得到目標(biāo)用戶可信任用戶集，從而得到推薦結(jié)果。最終給出算法在Mapreduce編程模型下的并行化實(shí)現(xiàn)。⑵大數(shù)據(jù)環(huán)

4、境下基于概率矩陣分解的個性化推薦。在該算法中把用戶對項(xiàng)目偏好的相似度定義為兩部分：用戶對項(xiàng)目的評分相似度和用戶對不同項(xiàng)目類別的關(guān)注度。根據(jù)相似度對用戶進(jìn)行聚類，并把用戶近鄰信息融入到概率矩陣分解模型以揭示用戶互相影響關(guān)系。再根據(jù)聚類結(jié)果對用戶、項(xiàng)目進(jìn)行分組并組合，調(diào)整更新序列，分別在 Spark和MapReduce計(jì)算框架下實(shí)現(xiàn)并行計(jì)算。⑶在Hadoop平臺，利用本文提出的推薦算法和Spark計(jì)算引擎實(shí)現(xiàn)了電影推薦系統(tǒng)。該系統(tǒng)具有較優(yōu)的