云平臺下推薦系統(tǒng)的研究與改進.pdf

1、在互聯(lián)網高速發(fā)展的今天，每個人的生活都在發(fā)生巨大的變化，世界正在不斷地變“平”。隨著電子商務，人工智能，虛擬現(xiàn)實等技術的蓬勃發(fā)展，人們只要通過互聯(lián)網，幾乎可以足不出戶，坐在計算機前做一切事情。這在短短二三十年間從不可能變成了可能。智能推薦技術自上個世紀90年代誕生以來，一直在互聯(lián)網眾多領域發(fā)揮著重要作用。例如淘寶網的電子商務系統(tǒng)、優(yōu)酷土豆等視頻網站的視頻推薦系統(tǒng)、豆瓣音樂等音樂網站的音樂推薦系統(tǒng)等等。由于更加貼近人們的生活，相信推薦系統(tǒng)

2、會變得和搜索引擎一樣，成為互聯(lián)網中不可或缺的基礎性應用。然而在推薦系統(tǒng)中，大多數(shù)使用的算法都會面臨兩方面問題，一個是用戶物品評分數(shù)據(jù)的稀疏性問題，另一個是算法的可擴展性問題。
　　隨著互聯(lián)網技術的快速發(fā)展和信息爆炸，云計算技術應運而生。傳統(tǒng)的串行處理效率低下，其產生的時間開銷甚至讓人無法忍受。因此，如何對海量數(shù)據(jù)進行高效處理成為一個急需解決的問題。Google公司于2004年提出的MapReduce編程模型是一個具有易于編程，良好

3、擴展性和高容錯性等優(yōu)點的并行編程模型。Apache基金會所領導開發(fā)的Hadoop項目是基于MapReduce計算模型的一個開源實現(xiàn)，可用于編寫和運行分布式應用處理大規(guī)模數(shù)據(jù)，其已被雅虎、Facebook、百度、淘寶等眾多知名互聯(lián)網公司研究并使用。
　　為了提高推薦的質量，以及解決在大規(guī)模數(shù)據(jù)上的推薦問題，本文提出了基于用戶興趣度的方法以緩解數(shù)據(jù)稀疏性的問題，在我們的算法中融合了表現(xiàn)用戶興趣變化的時間因素，通過對目標用戶特定的未評分

4、項進行預測，并將預測值填充進原始數(shù)據(jù)以形成新的數(shù)據(jù)集，以此來緩解數(shù)據(jù)稀疏性。算法可迭代多次以更好的達到對缺失數(shù)據(jù)的填充目的;另外，針對推薦系統(tǒng)領域經典的Netflix數(shù)據(jù)集問題，提出了基于統(tǒng)計和分類的改進預測方法，為了更好的解決該數(shù)據(jù)集數(shù)據(jù)量大的特點，算法在Hadoop平臺上實現(xiàn)，該方法充分考慮用戶和電影兩方面的信息，并通過實驗證明該方法取得更好的預測精度，同時在Hadoop集群中機器增多時，算法的運行效率不斷提升，說明其具有比較理想的