基于Hadoop與Mahout推薦技術(shù)的研究與實(shí)現(xiàn).pdf

1、隨著電子商務(wù)的不斷發(fā)展，在客戶與電商的交互過程中，向客戶做出合理有用的推薦越來越重要。推薦技術(shù)是個(gè)跨學(xué)科的研究領(lǐng)域，它涉及統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、人工智能、模式識別等。通過分析大量的數(shù)據(jù)，挖掘出有價(jià)值的信息并向用戶做出合理的推薦。推薦技術(shù)已經(jīng)成為引領(lǐng)時(shí)代潮流的一個(gè)關(guān)鍵技術(shù)。
　　本文首先對傳統(tǒng)推薦方法中冷啟動、數(shù)據(jù)稀疏性、擴(kuò)展性差三方面進(jìn)行系統(tǒng)研究。本文在前人研究的基礎(chǔ)上，改進(jìn)了基于項(xiàng)目的協(xié)同過濾算法和提出基于用戶特征的推薦算

2、法。本文在Hadoop分布式平臺上，使用Mahout、MapReduce、HBase、Hive等技術(shù)實(shí)現(xiàn)了這些算法。使用交叉策略擴(kuò)展多維數(shù)據(jù)，并整合網(wǎng)絡(luò)中的用戶日志信息，挖掘出用戶愛好特征，提出基于用戶特征的推薦算法緩解冷啟動問題。將傳統(tǒng)的協(xié)同過濾算法與商品粗細(xì)粒度化相結(jié)合，按照商品類別計(jì)算相似度、最后取評分最高的Top(k)個(gè)商品推薦給用戶，從而緩解數(shù)據(jù)稀疏問題。使用分布式和并行化的策略來解決擴(kuò)展性差的問題。最后通過實(shí)驗(yàn)并驗(yàn)證基于用戶

3、特征的推薦算法。
　　Mahout技術(shù)在推薦領(lǐng)域的應(yīng)用剛剛開始，應(yīng)用Hadoop和Mahout技術(shù)，基于分類策略設(shè)計(jì)并現(xiàn)實(shí)一個(gè)郵件推送系統(tǒng)。在系統(tǒng)中，對象排序模型學(xué)習(xí)及元學(xué)習(xí)中使用分組AUC策略，當(dāng)進(jìn)行推薦時(shí)，以分組AUC作為Adaptive Logistic Regression的目標(biāo)來優(yōu)化元參數(shù)學(xué)習(xí)。為了使Mahout分類器的分類速度更快，本文提出了如下三點(diǎn)改進(jìn)方案：
　　(1)將部分編碼的特征變量放入緩存。