個性化推薦系統(tǒng)優(yōu)化及其大數(shù)據(jù)處理研究.pdf

1、信息檢索是獲取互聯(lián)網信息的重要方式，在這個階段，人們能夠檢索到信息，但卻需要自己去鑒別信息的有用性。個性化推薦系統(tǒng)是在大數(shù)據(jù)時代，機器通過分析用戶的個人喜好以及在互聯(lián)網上留下的個人歷史?跡而進行的有針對性的信息投送技術。推薦系統(tǒng)目前在電子商務，音樂服務，電影服務業(yè)都有比較成熟的應用。但就現(xiàn)階段的成熟性而言，推薦系統(tǒng)在系統(tǒng)架構與算法研究上都還有很多值得深入研究的內容。
　　冷啟動是推薦系統(tǒng)中與生俱來的核心問題之一，由于用戶或物品的新

2、加入從而導致推薦系統(tǒng)無法學習用戶或物品的個性化特征，也因此導致推薦系統(tǒng)無法針對此用戶或物品提供恰當?shù)耐扑]建議，傳統(tǒng)上基于人口學冷啟動推薦又往往在整體可擴展性，計算效率上存在比較大的問題，且存在長尾效應。如何解決這些問題，本課題提出了基于聚類與信息檢索的方式，給出了這些問題的優(yōu)化方案。
　　大數(shù)據(jù)處理是應對海量數(shù)據(jù)的基礎架構，本課題中我們討論并給出了通用的針對基于內容推薦，基于協(xié)同推薦的通用設計方案，以及課題提出的冷啟動方案的大數(shù)據(jù)

3、處理設計方案。
　　SlopeOne是協(xié)同過濾算法中一種十分簡單且高效的推薦算法，算法需要依賴大量的用戶的評分，且如果要得到推薦結果，算法還需要大量的對待預測項目的評分，也就是算法本身也存在冷啟動問題，對于第一點，算法需要依賴大量評分信息，本課題設計了基于大數(shù)據(jù)處理平臺Hadoop的SlopeOne算法實現(xiàn)與優(yōu)化方案，方案對SlopeOne的增量計算特性進行了分解設計，并且對于可能出現(xiàn)的內存溢出問題進行了相應的設計。對于第二點，冷

4、啟動問題，我們充分利用了我們課題中的第一部分內容，我們把SlopeOne的數(shù)據(jù)集分為兩類：訓練數(shù)據(jù)集與測試數(shù)據(jù)集，訓練數(shù)據(jù)集是已經存在的真實歷史記錄，而測試數(shù)據(jù)集是通過冷啟動生成的具有適當評分的數(shù)據(jù)集，首先我們是想解決SlopeOne的稀疏性問題，因為待預測項目如果沒有任務評分信息，SlopeOne無法計算預測評分。其次，在大數(shù)據(jù)處理過程中，核心是如何對已經存在的歷史記錄建模，而用戶對于待預測的項目也是有一定的要求，而冷啟動方案中可以很