統(tǒng)計(jì)視角下面向數(shù)據(jù)稀疏問(wèn)題的協(xié)同過(guò)濾推薦算法研究.pdf

1、隨著網(wǎng)絡(luò)的普及以及電子商務(wù)的飛速發(fā)展，信息資源呈爆發(fā)式增長(zhǎng)，用戶在海量資源中快速而準(zhǔn)確得找到自己喜歡的信息或商品變得越來(lái)越困難。為了解決這個(gè)問(wèn)題，便產(chǎn)生了推薦系統(tǒng)。
　　推薦算法一直是推薦系統(tǒng)的核心技術(shù)。目前，協(xié)同過(guò)濾推薦算法是眾多推薦算法中應(yīng)用最成功且最廣泛的推薦技術(shù)。它主要根據(jù)用戶留在網(wǎng)上的評(píng)分進(jìn)行推薦。然而在實(shí)際應(yīng)用中，由于用戶數(shù)據(jù)和項(xiàng)目數(shù)據(jù)規(guī)模相當(dāng)龐大，且用戶對(duì)自己接觸過(guò)的項(xiàng)目評(píng)分?jǐn)?shù)量又非常有限，從而導(dǎo)致了嚴(yán)重的數(shù)據(jù)稀疏性

2、問(wèn)題，該問(wèn)題是導(dǎo)致傳統(tǒng)的協(xié)同過(guò)濾推薦算法推薦精度較差的主要原因之一。
　　本文試圖站在統(tǒng)計(jì)學(xué)的角度，針對(duì)數(shù)據(jù)稀疏性問(wèn)題對(duì)協(xié)同過(guò)濾推薦算法進(jìn)行研究。實(shí)現(xiàn)了基于描述性統(tǒng)計(jì)的簡(jiǎn)單推薦，并探究了將統(tǒng)計(jì)量填充、聚類(lèi)分析、矩陣分解等方法應(yīng)用到協(xié)同推薦算法中的效果。在詳細(xì)分析了數(shù)據(jù)稀疏性問(wèn)題的起因以及對(duì)協(xié)同推薦的影響途徑基礎(chǔ)上，本文提出了采用統(tǒng)計(jì)量填充的方法緩解數(shù)據(jù)稀疏性問(wèn)題，進(jìn)而用K-Means聚類(lèi)方法對(duì)用戶進(jìn)行聚類(lèi)，根據(jù)輪廓系數(shù)確定用戶類(lèi)別

3、數(shù)，對(duì)每類(lèi)用戶的缺失評(píng)分使用同類(lèi)別的評(píng)分統(tǒng)計(jì)量作為固定值進(jìn)行填充。除了固定值填充缺失評(píng)分外，本文還采用奇異值分解(SVD)降維技術(shù)實(shí)現(xiàn)評(píng)分預(yù)測(cè)，利用預(yù)測(cè)評(píng)分對(duì)原始矩陣進(jìn)行填充，形成新的用戶—項(xiàng)目評(píng)分矩陣，再進(jìn)行協(xié)同推薦。最后從推薦過(guò)程修正的角度出發(fā)，對(duì)傳統(tǒng)的用戶間相似度計(jì)算采用加權(quán)的方式進(jìn)行改進(jìn)，提出了基于用戶偏好相似度與用戶評(píng)分相似度進(jìn)行加權(quán)計(jì)算用戶間相似度的方法。采用MovieLens數(shù)據(jù)集對(duì)上述方法進(jìn)行實(shí)驗(yàn)，通過(guò)平均絕對(duì)偏差(MA