基于受限玻爾茲曼機(jī)的推薦算法研究.pdf

1、隨著互聯(lián)網(wǎng)和信息技術(shù)的快速發(fā)展，互聯(lián)網(wǎng)為用戶提供了越來越多的信息和服務(wù)，但是面對(duì)互聯(lián)網(wǎng)中成指數(shù)增長(zhǎng)的信息資源，用戶不得不花費(fèi)大量的時(shí)間來尋找對(duì)自己有用的信息，即所謂的信息超載問題。為了解決這一問題推薦系統(tǒng)應(yīng)運(yùn)而生，推薦系統(tǒng)能夠根據(jù)用戶的偏好為用戶提供個(gè)性化的推薦服務(wù)。
　　當(dāng)前，協(xié)同過濾算法是應(yīng)用最廣泛、最成功的推薦技術(shù)，但是協(xié)同過濾算法也面臨著嚴(yán)重的數(shù)據(jù)稀疏性、擴(kuò)展性和冷啟動(dòng)等問題。數(shù)據(jù)稀疏性問題是協(xié)同過濾算法面臨的關(guān)鍵的問題之

2、一，評(píng)分?jǐn)?shù)據(jù)的高稀疏性往往會(huì)導(dǎo)致協(xié)同過濾算法的預(yù)測(cè)精度低下。因此，數(shù)據(jù)稀疏性問題的解決對(duì)提高協(xié)同過濾算法的預(yù)測(cè)精度具有重要意義。近年來，隨著社交網(wǎng)絡(luò)的流行，社交關(guān)系變的越來越重要，在社交網(wǎng)絡(luò)中好友的觀點(diǎn)或者意見往往會(huì)影響我們的決定，因此利用社交網(wǎng)絡(luò)中的社交關(guān)系有助于解決數(shù)據(jù)稀疏性問題。
　　當(dāng)前，深度學(xué)習(xí)在眾多領(lǐng)域取得了重大的突破，而受限玻爾茲曼機(jī)模型(RestrictedBoltzmann Machine，簡(jiǎn)記為RBM)作為深度

3、學(xué)習(xí)領(lǐng)域最重要的模型之一，受到了越來越多的關(guān)注。受限玻爾茲曼機(jī)模型被用于解決推薦問題后，取得了良好的效果。目前用于推薦的RBM模型存在一定的缺陷:第一，需要將實(shí)值的評(píng)分?jǐn)?shù)據(jù)轉(zhuǎn)化為一個(gè)K維的0-1向量，這將使模型中參數(shù)的數(shù)量變?yōu)樵瓉淼腒倍，從而造成參數(shù)過多、訓(xùn)練過程復(fù)雜。同時(shí)，此種轉(zhuǎn)化方法只對(duì)整型數(shù)據(jù)有效，如果評(píng)分?jǐn)?shù)據(jù)中有Double型的數(shù)據(jù)就無法轉(zhuǎn)化;第二，模型訓(xùn)練過程中僅使用用戶評(píng)分?jǐn)?shù)據(jù)，但用戶評(píng)分?jǐn)?shù)據(jù)存在著嚴(yán)重的數(shù)據(jù)稀疏性問題，這將

4、在一定程度上影響模型的推薦效果。第三，當(dāng)前正處于一個(gè)大數(shù)據(jù)時(shí)代，在大數(shù)據(jù)環(huán)境下由于RBM模型具有大量的參數(shù)，模型的訓(xùn)練將面臨巨大挑戰(zhàn)。
　　因此，本文針對(duì)基于受限玻爾茲曼機(jī)模型的協(xié)同過濾算法進(jìn)行了相關(guān)研究，主要工作包括:
　　(1)在現(xiàn)有的用于推薦的RBM模型的基礎(chǔ)上，提出了基于實(shí)值的條件受限玻爾茲曼機(jī)(Real-Valued Conditional Restricted Boltzmann Machine，R_CRBM)模

5、型，此模型不需要將評(píng)分?jǐn)?shù)據(jù)轉(zhuǎn)化為一個(gè)K維的0-1向量，并且R_CRBM模型在訓(xùn)練過程中使用訓(xùn)練數(shù)據(jù)中潛在的評(píng)分/未評(píng)分信息，實(shí)驗(yàn)結(jié)果表明潛在的評(píng)分/未評(píng)分信息有助于緩解數(shù)據(jù)稀疏性問題。
　　(2)將本文提出的R CRBM模型與用戶的社交關(guān)系相結(jié)合，提出了基于MoleTrust推理的最近信任好友(Nearest Trusted Friends MoleTrust，NTFMT)R_CRBM算法，該算法利用社交網(wǎng)絡(luò)中的信任關(guān)系。在百度數(shù)

6、據(jù)集和Epinions數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明提出的R_CRBM_NTFMT算法可以很好的解決數(shù)據(jù)稀疏性問題，提高了推薦系統(tǒng)的預(yù)測(cè)精度，并且在訓(xùn)練數(shù)據(jù)越稀疏的情況下效果提升的越多。
　　(3)在大數(shù)據(jù)環(huán)境下，由于數(shù)據(jù)量巨大，普通平臺(tái)無法處理大數(shù)據(jù)問題并且此時(shí)R_CRBM模型的參數(shù)數(shù)量將變的極其巨大對(duì)R_CRBM模型的訓(xùn)練將面臨巨大的挑戰(zhàn)，因此，針對(duì)大數(shù)據(jù)下的R_CRBM模型，本文提出了基于Spark的并行化方案，實(shí)驗(yàn)結(jié)果表明該方案具