個性化推薦系統(tǒng)優(yōu)化及其大數(shù)據(jù)處理研究.pdf

1、信息檢索是獲取互聯(lián)網(wǎng)信息的重要方式，在這個階段，人們能夠檢索到信息，但卻需要自己去鑒別信息的有用性。個性化推薦系統(tǒng)是在大數(shù)據(jù)時代，機(jī)器通過分析用戶的個人喜好以及在互聯(lián)網(wǎng)上留下的個人歷史?跡而進(jìn)行的有針對性的信息投送技術(shù)。推薦系統(tǒng)目前在電子商務(wù)，音樂服務(wù)，電影服務(wù)業(yè)都有比較成熟的應(yīng)用。但就現(xiàn)階段的成熟性而言，推薦系統(tǒng)在系統(tǒng)架構(gòu)與算法研究上都還有很多值得深入研究的內(nèi)容。
　　冷啟動是推薦系統(tǒng)中與生俱來的核心問題之一，由于用戶或物品的新

2、加入從而導(dǎo)致推薦系統(tǒng)無法學(xué)習(xí)用戶或物品的個性化特征，也因此導(dǎo)致推薦系統(tǒng)無法針對此用戶或物品提供恰當(dāng)?shù)耐扑]建議，傳統(tǒng)上基于人口學(xué)冷啟動推薦又往往在整體可擴(kuò)展性，計(jì)算效率上存在比較大的問題，且存在長尾效應(yīng)。如何解決這些問題，本課題提出了基于聚類與信息檢索的方式，給出了這些問題的優(yōu)化方案。
　　大數(shù)據(jù)處理是應(yīng)對海量數(shù)據(jù)的基礎(chǔ)架構(gòu)，本課題中我們討論并給出了通用的針對基于內(nèi)容推薦，基于協(xié)同推薦的通用設(shè)計(jì)方案，以及課題提出的冷啟動方案的大數(shù)據(jù)

3、處理設(shè)計(jì)方案。
　　SlopeOne是協(xié)同過濾算法中一種十分簡單且高效的推薦算法，算法需要依賴大量的用戶的評分，且如果要得到推薦結(jié)果，算法還需要大量的對待預(yù)測項(xiàng)目的評分，也就是算法本身也存在冷啟動問題，對于第一點(diǎn)，算法需要依賴大量評分信息，本課題設(shè)計(jì)了基于大數(shù)據(jù)處理平臺Hadoop的SlopeOne算法實(shí)現(xiàn)與優(yōu)化方案，方案對SlopeOne的增量計(jì)算特性進(jìn)行了分解設(shè)計(jì)，并且對于可能出現(xiàn)的內(nèi)存溢出問題進(jìn)行了相應(yīng)的設(shè)計(jì)。對于第二點(diǎn)，冷

4、啟動問題，我們充分利用了我們課題中的第一部分內(nèi)容，我們把SlopeOne的數(shù)據(jù)集分為兩類：訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集是已經(jīng)存在的真實(shí)歷史記錄，而測試數(shù)據(jù)集是通過冷啟動生成的具有適當(dāng)評分的數(shù)據(jù)集，首先我們是想解決SlopeOne的稀疏性問題，因?yàn)榇A(yù)測項(xiàng)目如果沒有任務(wù)評分信息，SlopeOne無法計(jì)算預(yù)測評分。其次，在大數(shù)據(jù)處理過程中，核心是如何對已經(jīng)存在的歷史記錄建模，而用戶對于待預(yù)測的項(xiàng)目也是有一定的要求，而冷啟動方案中可以很