基于Hadoop的聚類協(xié)同過濾推薦算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量不斷增加，已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。大量的信息和商品同時(shí)呈現(xiàn)在用戶面前，使面臨一個(gè)嚴(yán)重的問題-信息過載，而個(gè)性化推薦是解決該問題一個(gè)有效的方法，協(xié)同過濾方法是目前在實(shí)際推薦系統(tǒng)中應(yīng)用最多的個(gè)性化推薦方法，它基于群體的偏好來為用戶提供推薦。傳統(tǒng)單機(jī)的協(xié)同過濾算法無論從效率上，還是從計(jì)算復(fù)雜度上都已無法滿足海量信息的處理需要，云計(jì)算技術(shù)的發(fā)展為推薦算法提供了新的研究方向。因此，可以考慮利用結(jié)合大數(shù)據(jù)技術(shù)來應(yīng)對(duì)算法

2、擴(kuò)展性等問題。
　　本文對(duì)基于Hadoop大數(shù)據(jù)處理技術(shù)的聚類協(xié)同過濾推薦算法進(jìn)行研究與實(shí)現(xiàn)，并對(duì)電影數(shù)據(jù)集進(jìn)行應(yīng)用分析。主要對(duì)Hadoop兩大主要框架、經(jīng)典聚類算法及推薦算法的相關(guān)概念進(jìn)行了研究;提出基于Hadoop大數(shù)據(jù)處理技術(shù)的分布式聚類協(xié)同過濾推薦算法，來解決協(xié)同過濾算法應(yīng)對(duì)數(shù)據(jù)稀疏性和算法的擴(kuò)展性問題;對(duì)數(shù)據(jù)的稀疏性采用矩陣分解方法預(yù)處理初始數(shù)據(jù)，將預(yù)處理后的數(shù)據(jù)通過聚類算法來建立聚類模型，然后利用聚類模型和協(xié)同過濾算法

3、形成推薦的候選空間，最后完成推薦。
　　本文的工作重點(diǎn)總結(jié):
　　(1)對(duì)于常用的聚類算法做了研究分析，全面了解各類典型算法的優(yōu)缺點(diǎn)，重點(diǎn)研究了K-means聚類算法。
　　(2)對(duì)經(jīng)典的推薦算法做了深入的研究分析，著重分析了協(xié)同過濾推薦算法。
　　(3)針對(duì)數(shù)據(jù)的稀疏性采用矩陣分解算法預(yù)處理，改善數(shù)據(jù)稀疏性后利用改進(jìn)的K-means聚類算法構(gòu)建聚類模型。
　　(4)結(jié)合K-means聚類模型與協(xié)同過濾推薦

4、算法做混合推薦。
　　(5)對(duì)K-means聚類算法、協(xié)同過濾推薦算法進(jìn)行改進(jìn)，使其能夠適應(yīng)MapReduce編程模型，進(jìn)而達(dá)到對(duì)數(shù)據(jù)進(jìn)行分布式處理的目的，以此來解決算法存在的可擴(kuò)展性問題。
　　(6)對(duì)混合推薦算法進(jìn)行評(píng)測(cè)。本課題應(yīng)用MovieLens數(shù)據(jù)集中的數(shù)據(jù)，通過在數(shù)據(jù)集上的應(yīng)用分析，對(duì)算法做了驗(yàn)證，并對(duì)應(yīng)用結(jié)果進(jìn)行分析。
　　應(yīng)用分析表明，將Hadoop技術(shù)應(yīng)用于聚類協(xié)同過濾推薦混合算法的實(shí)現(xiàn)，能夠有效改善