基于Hadoop的個性化推薦系統(tǒng)在電子商務的應用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和電子商務應用的不斷擴大，人們在享受電子商務帶來的方便快捷的同時也陷入了信息過載的困境，用戶在大量的電商物品中難以找到自己需要的物品。因此，電子商務個性化推薦系統(tǒng)顯得越來越重要。電子商務推薦系統(tǒng)自動化的為用戶推薦物品，幫助用戶找到需要的物品，順利完成購買過程。協(xié)同過濾技術(shù)是目前推薦系統(tǒng)中應用最為成功和廣泛的推薦技術(shù)之一。然而，協(xié)同過濾推薦系統(tǒng)存在的四個主要問題：推薦系統(tǒng)的數(shù)據(jù)稀疏問題、新用戶新項目問題、協(xié)同過濾推薦算

2、法的可擴展實時性問題以及“跨類型推薦”問題等。
　　本文以傳統(tǒng)的協(xié)同過濾推薦算法為主線，將數(shù)據(jù)挖掘中的聚類算法、群體智能優(yōu)化算法引入到傳統(tǒng)協(xié)同過濾推薦算法中，形成量子粒子群聚類模型協(xié)同過濾推薦算法，提高了推薦效果并最終在搭建的云平臺上解決擴展性問題。針對推薦系統(tǒng)存在的四個主要問題，首先將基于用戶的協(xié)同過濾推薦算法和基于項目的協(xié)同過濾推薦算法結(jié)合，通過k-means聚類算法縮小比例空間，形成用戶和項目雙重聚類的協(xié)同過濾推薦算法，基于

3、項目聚類的協(xié)同過濾算法可以有效的解決數(shù)據(jù)稀疏性問題，在小范圍內(nèi)推薦物品可以提高算法的可擴展性實時性問題，將兩者結(jié)合同時解決了項目推薦無法進行的“擴類型問題”。對于新到來的用戶或者物品，通過聚類將其劃分到相對應的類簇中，在一定程度上也解決了新用戶和新項目問題。通過仿真實驗改進后的算法較之傳統(tǒng)協(xié)同過濾推薦算法的有效性。針對聚類算法易陷入局部最優(yōu)值、對初始聚類中心敏感問題以及后期收斂速度慢的問題，為了進一步提高推薦系統(tǒng)的推薦質(zhì)量，從尋優(yōu)機理的

4、角度出發(fā)，將量子粒子群算法引入到k-means算法中，經(jīng)驗證在很大程度上可以解決聚類算法的不足。經(jīng)研究表明，量子粒子群算法具有收斂速度快優(yōu)點且最終收斂于全局最優(yōu)解，因此將量子粒子群聚類算法應用到推薦系統(tǒng)中驗證算法的有效性。隨著電子商務推薦系統(tǒng)的規(guī)模越來越大，運算量也隨之增加，運算所需要的資源和時間耗費明顯增大。Hadoop平臺給這個瓶頸帶來的曙光，Hadoop所具有的并行處理、容錯處理、本地化計算、負載均衡等優(yōu)點，極大的簡化了并行程度設