基于Hadoop的上下文感知推薦系統(tǒng)研究與設計.pdf

1、伴隨Internet和IT的快速發(fā)展，以及云物移大智（云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、大數(shù)據(jù)和智慧城市）等新技術的出現(xiàn)，數(shù)據(jù)增長和積累都很迅速，從而引起“信息過載”問題。推薦系統(tǒng)作為“個性化服務”的一個重要分支，能有效解決這個問題。然而傳統(tǒng)推薦系統(tǒng)很少關心上下文環(huán)境等信息，而且有關上下文的推薦國內外研究的很少，從而本文重點研究上下文感知推薦系統(tǒng)。同時，困擾人們多年的大數(shù)據(jù)存儲和并行計算問題，在Hadoop分布式計算框架出現(xiàn)后，得到行之有效的

2、解決。從而，上下文感知推薦系統(tǒng)結合Hadoop是本文研究的課題。
　　本文的主要研究的工作是:(1)首先學習Hadoop、HBase、Hive、Sqoop、Flume、Storm和Kafka等Hadoop系列技術，和推薦系統(tǒng)、普適計算、上下文感知等一系列概念;(2)重點研究了基于內容與上下文感知的推薦算法，首先說明了基于內容的推薦過程分三步來完成，然后對其中的每一步進行建模，并且詳細講解了用戶興趣向量模型的計算，并應用“貝葉斯公式

3、”來平衡數(shù)據(jù)分布不均勻的問題，接著利用余弦相似度公式進行基于內容的推薦，接著重點把基于內容的推薦算法、Hadoop和上下文信息整合在一起，使用基于MapReduce的K-Means算法進行聚類降維，最后利用多維評分函數(shù)，把推薦結果進行上下文信息的過濾;(3)詳細介紹了基于Hadoop的離線上下文感知推薦系統(tǒng)的設計工作，從數(shù)據(jù)采集到數(shù)據(jù)處理，再到數(shù)據(jù)存儲等生成推薦的整個過程。有別于其它推薦系統(tǒng)不注重數(shù)據(jù)采集，本文對數(shù)據(jù)采集做了詳細的設計，