面向網(wǎng)絡論壇的動態(tài)主題建模與文本摘要.pdf

1、網(wǎng)絡的發(fā)展帶來了前所未有的技術(shù)革新，而作為一種社交媒體，網(wǎng)絡論壇正在成為人們?nèi)粘＝涣鞯闹匾ぞ?。在網(wǎng)絡論壇中，用戶通過自己的賬戶發(fā)布和回復信息。一個論壇常常涉及各個方面，諸如文化，體育，政治等等。許多參與度極高的論壇不僅成為了參與用戶針對各個問題的發(fā)布個人觀點的平臺，同時也成為了解民意的重要平臺，因為各個敏感事件也往往是首先出現(xiàn)在論壇中。然而，如何在網(wǎng)絡論壇中追蹤動態(tài)變化的主題，掌握論壇文檔的主要內(nèi)容，從而更好的更及時的監(jiān)控與跟蹤敏感話

2、題，正在變成一個極具挑戰(zhàn)性的問題。
　　 同時作為網(wǎng)絡論壇的用戶，每當瀏覽網(wǎng)絡論壇各個文檔的時候，用戶往往會為數(shù)量眾多而冗余度極高的各種帖子所迷惑，從而降低了閱讀效率和質(zhì)量。如何幫助用戶快速的理解網(wǎng)絡論壇文檔的內(nèi)容，也成為一項富有意義的工作。
　　 隨著主題模型的提出，近年來，國內(nèi)外針對網(wǎng)絡中出現(xiàn)的主題追蹤有了一系列的成果，但是針對諸如網(wǎng)絡論壇這種結(jié)構(gòu)復雜的社交媒體中的短文檔流，則一直缺乏很好的研究成果。其原因在于論壇文

3、檔中容易出現(xiàn)主題依賴，主題漂移的現(xiàn)象。同時由于論壇帖子是短文檔，用戶的發(fā)帖往往并不注意語法，修辭與拼寫，這樣就導致了這些短文本的語義稀疏性特點。
　　 本文針對論壇文檔由于自身特點缺乏有效的文檔摘要方法的現(xiàn)狀，提出一種基于LDA主題模型的動態(tài)主題模型：回帖傳播模型(Post Propagation Model)。本文在主題建模中考慮了Web論壇文檔中帖子和帖子之間的回復關(guān)系并把主題的分布變?yōu)殡S文檔變化而變化的一個動態(tài)過程，來解決

4、主題的依賴和偏移問題。為了更精確的推導模型中出現(xiàn)的參數(shù)，本文使用Gibbs EM采樣算法來確定動態(tài)主題模型的參數(shù)，從而推導出網(wǎng)絡論壇中動態(tài)主題在各個不同事件段的分布情況。
　　 為了使用戶能更迅速的理解每一篇論壇文檔中的主要內(nèi)容，基于回帖傳播模型，本文提出了三種論壇文檔摘要方法。通過計算句子中主題權(quán)重的之和來確定各個主題的重要程度；最后根據(jù)動態(tài)主題模型中主題的概率分布計算各句子的權(quán)重并得到文檔的摘要。為了優(yōu)化實驗效果，本文在此基

5、礎上引入了馬爾科夫隨機游走模型，并通過主題敏感的排序過程，來重新為文檔中的句子賦值來生成摘要。
　　 由于缺乏相應的公開實驗數(shù)據(jù)集，本文中作者從目前用戶參與度很高的兩個論壇中爬取了400篇文檔的數(shù)據(jù)，建立了自己的實驗數(shù)據(jù)集。本文首先檢測了主題模型在數(shù)據(jù)集上的主題建模結(jié)果，尤其是針對同一主題在不同時間段的變化。實驗結(jié)果表明本文所建立的回帖傳播模型(Post Propagation Model)具有比LDA等靜態(tài)主題模型更敏感的主題