基于論壇的熱點(diǎn)話題識別與趨勢預(yù)測研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，論壇成為當(dāng)前興起的互聯(lián)網(wǎng)媒體之一，正是因?yàn)檎搲墓蚕硇?、即時性、交互性等特點(diǎn)，成為大量用戶的網(wǎng)絡(luò)聚集地，因此論壇成為獲取信息的主要渠道之一。用戶可以發(fā)表一個主題來討論、提出一個問題來解決、針對社會焦點(diǎn)話題提出自己的觀點(diǎn)，因此也逐漸成為廣大用戶共享信息、瀏覽信息和發(fā)表觀點(diǎn)的平臺。但是論壇每天產(chǎn)生的信息量巨大，傳播速度較快，導(dǎo)致形成的話題較多，在這種情況下，怎樣快速的瀏覽當(dāng)前熱點(diǎn)話題，來迅速了解當(dāng)前社會關(guān)注焦點(diǎn)就顯得非

2、常有意義。
　　本文首先從論壇數(shù)據(jù)的采集著手，論壇的網(wǎng)頁鏈接的重復(fù)性、分頁鏈接的難以識別、隊(duì)列與數(shù)據(jù)庫的設(shè)計、多線程等問題進(jìn)行了研究，將提取的文本數(shù)據(jù)存放在數(shù)據(jù)庫中，作為本文實(shí)驗(yàn)的數(shù)據(jù)來源。
　　其次，在采集的基礎(chǔ)上，對熱點(diǎn)話題發(fā)現(xiàn)進(jìn)行了研究。針對論壇帖子數(shù)據(jù)的特殊性和傳統(tǒng)的VSM僅用一個向量來描述整個文本信息的不足，本文提出了多向量維度策略，具體思想就是把一篇文本按照時間、地點(diǎn)、人物、事件分為四個子向量，對其四個子向量采用

3、各自的計算方法分別計算相似度值，再對這四個相似度值采用加權(quán)平均的方法得出最終的相似度值。最后通過與傳統(tǒng)的VSM進(jìn)行對比，證明了該算法的精確性。
　　在話題檢測方面，針對論壇數(shù)據(jù)是按照時間的順序進(jìn)行每天的疊加和更新，本文提出了在時間維度上采用二次聚類的方法來檢測話題，具體思想是先對當(dāng)天同一時間維度上的帖子數(shù)據(jù)做一次局部聚類形成臨時話題集。若沒有舊話題集，則將這一次的結(jié)果保存等待下一次的聚類；若有舊話題集，則與舊話題集再做一次聚類，重

4、復(fù)訓(xùn)練數(shù)據(jù)，得到最終的話題集合?？紤]到 Single-Pass算法無需在動態(tài)數(shù)據(jù)源下提前確定話題的數(shù)目，而是根據(jù)相似度閾值來自動生成類簇的優(yōu)點(diǎn)，本文采用的是Single-Pass聚類。最后通過實(shí)驗(yàn)證明了提出的算法思想的合理性。
　　最后，在話題趨勢預(yù)測上，采用時間序列 ARIMA模型來進(jìn)行擬合，對話題的某些指標(biāo)進(jìn)行了預(yù)測分析。首先通過介紹 ARIMA模型，針對該模型的優(yōu)點(diǎn)分別給出建模步驟、模型的識別以及參數(shù)的估計、檢驗(yàn)?zāi)Ｐ偷恼_性