基于Spark的推薦系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、ADissertationSubmittedtoZhejiangUn’verityfortheDeofUnlVerslgreeUeMasterofEngineering⑧TITLE：旦旦苧ig衛(wèi)魚n魚至堡衛(wèi)!金堡金n主魚立量QnQ至基金魚Q堡堡皇旦魚生!y曼主金堡b壘曼金魚Q壘S衛(wèi)魚!kAuthor：Supervisor：Subject：College：SubmittedDate：20150320浙江大學(xué)碩士學(xué)位論文摘要在大數(shù)據(jù)時代背景

2、下，信息過濾是人們必須面對的問題。對于用戶不明確或難以表達(dá)的需求，推薦系統(tǒng)通過分析用戶動態(tài)及靜態(tài)數(shù)據(jù)，更加主動、智能的過濾信息，從而向用戶展示他們潛在需要的東西。這一特性使得推薦系統(tǒng)在電子商務(wù)，社交網(wǎng)絡(luò)等領(lǐng)域有著重要的作用。由于要過濾海量信息，推薦系統(tǒng)面對的數(shù)據(jù)往往是規(guī)模巨大的。為了快速響應(yīng)用戶需求，推薦系統(tǒng)需要有大數(shù)據(jù)處理能力。目前這一領(lǐng)域的框架有很多，其中Spark是最新一代的計算框架，大數(shù)據(jù)處理能力很強(qiáng)，將Spark用于大數(shù)據(jù)的離

3、線和在線計算將大大提高推薦系統(tǒng)的運行效率。本文先介紹立論的相關(guān)背景，然后深入探討大數(shù)據(jù)處理技術(shù)，包括分布式計算框架Spark，分布式文件系統(tǒng)HDFS，列式文件類型Parquet等。同時介紹推薦系統(tǒng)的一些算法及應(yīng)用。結(jié)合大數(shù)據(jù)處理技術(shù)，本文設(shè)計并實現(xiàn)了一個推薦系統(tǒng)，詳細(xì)闡述了其主要功能的實現(xiàn)方法。本論文的主要貢獻(xiàn)有：1)設(shè)計并實現(xiàn)了一個高效的數(shù)據(jù)倉庫，作為原始數(shù)據(jù)及推薦引擎離線計算結(jié)果的存儲倉庫。該倉庫能夠大大提高推薦系統(tǒng)離線及在線計算效