基于Spark的大規(guī)模社交媒體中用戶興趣建模研究.pdf

1、在大數(shù)據(jù)時(shí)代，挖掘社交媒體用戶的真實(shí)興趣已成為一個(gè)研究熱點(diǎn)問題，用戶興趣在個(gè)性化廣告推送、安全情報(bào)、網(wǎng)絡(luò)輿情等方向具有重要的理論和實(shí)踐意義。社交媒體用戶發(fā)表的內(nèi)容在一定程度上反應(yīng)了用戶的喜好，社交媒體中用戶興趣建模也引起了研究者的關(guān)注。
　　本文深入研究了以微博為代表的社交媒體中的用戶興趣建模問題，并提出了新的用戶興趣模型。該模型同樣適用于微信、Twitter等其它社交媒體。論文主要從構(gòu)建方法和興趣表示開展研究：
　?。?）

2、根據(jù)社交媒體用戶發(fā)表的內(nèi)容和時(shí)間，從主題模型、類別模型、興趣詞模型三個(gè)維度對用戶興趣進(jìn)行建模。
　　在興趣主題模型方面，根據(jù)社交媒體短文本特征改進(jìn)詞袋模型，利用Word2vec構(gòu)建特征之間的語義表示模型，采用句子中特征先后順序構(gòu)建次序圖模型，在此基礎(chǔ)上引入時(shí)間因素，提出了基于時(shí)間的用戶興趣主題模型用于抽取用戶關(guān)注的話題。實(shí)驗(yàn)結(jié)果表明該方法的FM、AA和F等聚類指標(biāo)相比目前新方法FSC-LDA分別提高了200.40％、46.50%、

3、80.05%。
　　在興趣類別模型方面，基于傳統(tǒng)的TF-IDF算法，綜合考慮了詞項(xiàng)、詞性、詞長以及文本歸一化處理，提出了基于貝葉斯的用戶興趣類別模型來抽取用戶愛好類別。實(shí)驗(yàn)結(jié)果表明新算法在微博短文本分類的F1值上表現(xiàn)更好。從而更好地描述用戶興趣類別。
　　在興趣詞模型方面，基于興趣詞之間的語義關(guān)系，提出了用戶興趣詞三層模型（Three-Layer Model, TLM）抽取用戶興趣標(biāo)簽詞，同時(shí)考慮時(shí)間窗口和遺忘函數(shù)來增量更新