新浪微博的數(shù)據(jù)采集和推薦方案研究.pdf

1、新浪微博作為一種新型的社交應(yīng)用平臺(tái)，經(jīng)過(guò)多年的發(fā)展，已經(jīng)成為社交應(yīng)用的主流。隨著“信息爆炸”時(shí)代的到來(lái)，人們不可能關(guān)注所有的微博信息，推薦系統(tǒng)可以發(fā)現(xiàn)用戶興趣，針對(duì)用戶進(jìn)行個(gè)性化推薦。傳統(tǒng)的微博推薦系統(tǒng)主要從社交網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和用戶注冊(cè)信息的方向來(lái)考慮，生成相應(yīng)推薦結(jié)果。通常這樣給出的結(jié)果與用戶的興趣相似度不高。
　　本文主要從用戶興趣的角度出發(fā)，分析用戶自身發(fā)表過(guò)的所有微博記錄來(lái)預(yù)測(cè)用戶興趣，并給出推薦結(jié)果。這樣的推薦結(jié)果用戶針

2、對(duì)性更強(qiáng)，更加能滿足用戶興趣需求。
　　本文對(duì)微博推薦系統(tǒng)的實(shí)現(xiàn)過(guò)程進(jìn)行了深入的研究，核心的工作主要分為三個(gè)部分:
　　第一部分是新浪微博的數(shù)據(jù)采集:通過(guò)新浪API和網(wǎng)絡(luò)爬蟲這兩種方式采集新浪微博的數(shù)據(jù)，把采集的結(jié)果數(shù)據(jù)作為訓(xùn)練模型的語(yǔ)料庫(kù)，同時(shí)也作為推薦信息的基本來(lái)源。
　　第二部分主要對(duì)用戶進(jìn)行聚類操作，通過(guò)分析用戶發(fā)表的所有微博，提煉出用戶主題模型，然后使用k-means算法對(duì)所有的用戶主題模型進(jìn)行聚類操作，把用

3、戶劃分成k類興趣相似的用戶簇。
　　第三部分關(guān)于微博推薦列表生成:用戶的所有主題詞構(gòu)成一個(gè)用戶主題向量，用基于word2vec的文本相似性度量算法計(jì)算該簇中其它用戶發(fā)表的微博與該用戶主題向量之間的相似性，得到一個(gè)相似度列表。對(duì)相似度列表進(jìn)行排序，取出相似度值最大的N個(gè)值所對(duì)應(yīng)的微博加入推薦列表，針對(duì)用戶進(jìn)行個(gè)性化推薦。
　　最后，利用node.js的express框架和一些前端庫(kù)，搭建了一個(gè)簡(jiǎn)單的微博推薦系統(tǒng)，該系統(tǒng)基本實(shí)現(xiàn)