基于C-LDA的微博推薦算法.pdf

1、微博作為新興的網(wǎng)絡社交媒介，以其開放互動的特性迅速贏得了大量用戶的青睞。隨著注冊用戶數(shù)量和微博文本信息爆炸式的增長，如何幫助用戶獲取感興趣的信息成為亟需解決的問題。在文本挖掘算法中，隱含狄利特雷分布算法（LDA，Latent Dirichlet Allocation）是一種無監(jiān)督的文檔主題生成模型，將文檔視為由不同主題按比例組成的主題概率向量，可以很好的解決微博主題多樣性的問題。但是LDA模型不適應微博文本短小、互動性高以及時效性強的特

2、點，針對此問題，本文對LDA三層貝葉斯模型以及訓練LDA模型的吉布斯采樣算法做出如下幾點改進。
　　(1)考慮關注與轉發(fā)等社交互動行為對主題概率向量產生的影響，提出C-LDA四層貝葉斯模型。
　　(2)利用微博的轉發(fā)評論數(shù)據(jù)改進基于時間線的詞匯熱度算法。
　　(3)基于艾賓浩斯遺忘曲線，計算隨著時間推移微博權重的變化。
　　(4)綜合詞匯熱度、微博權重以及負樣本反饋因素改進吉布斯采樣算法，使之更加精確的訓練C-L

3、DA模型。
　　單機吉布斯采樣程序在計算大規(guī)模數(shù)據(jù)時的時間復雜度很高。本文基于MapReduce框架實現(xiàn)了吉布斯采樣算法以及詞匯熱度算法的分布式處理，提高了算法的性能和伸縮性。實驗結果表明，C-LDA算法的Perplexity值相較于傳統(tǒng)的LDA算法降低了9.45％。基于C-LDA算法的Top-10推薦結果相較于RT-LDA算法準確率提高了11.23%，召回率提高了14.56%，F(xiàn)值提高了12.53%。在5個節(jié)點的集群上分布式處理