基于演化理論的BBS熱點(diǎn)話題發(fā)現(xiàn).pdf

1、BBS是目前最流行的網(wǎng)上討論場(chǎng)所之一。它越來(lái)越受到網(wǎng)絡(luò)用戶(hù)的喜愛(ài),特別在中國(guó)更加受到廣大網(wǎng)民的歡迎。每天,在BBS上會(huì)產(chǎn)生大量新的討論內(nèi)容,使得人們對(duì)熱點(diǎn)話題的獲取越來(lái)越困難。為了解決這個(gè)難題,我們深入研究了BBS帖子發(fā)布、用戶(hù)參與、話題討論等各項(xiàng)特點(diǎn),并提出了基于演化理論的BBS熱點(diǎn)話題發(fā)現(xiàn)方法。首先,BBS中語(yǔ)言更加口語(yǔ)化、非正規(guī)化,大量的縮寫(xiě)、簡(jiǎn)寫(xiě)充斥于內(nèi)容之間,而且有些帖子的內(nèi)容根本沒(méi)有實(shí)際的含義,即使是BBS經(jīng)歷豐富的用戶(hù)也很

2、難理解其中的意思。我們提取了這些無(wú)效帖子的特征進(jìn)行過(guò)濾,保障了后續(xù)話題內(nèi)容提取的質(zhì)量。其次,BBS具有獨(dú)特的話題討論方式。經(jīng)研究發(fā)現(xiàn),雖然每天會(huì)產(chǎn)生大量的討論帖子,但是大多數(shù)帖子討論的只是少量幾個(gè)話題。當(dāng)社會(huì)突發(fā)事件產(chǎn)生時(shí),用戶(hù)可能會(huì)從不同的側(cè)面新建主題進(jìn)行討論,或者BBS中有爭(zhēng)議的主題出現(xiàn)時(shí),用戶(hù)也會(huì)新建主題進(jìn)行不同觀點(diǎn)間的切磋。本論文采用增量聚類(lèi)技術(shù)對(duì)同一話題的主題內(nèi)容進(jìn)行了有效的組織。最后,BBS討論存在話題偏移現(xiàn)象?；谔游恢?/p>

3、信息的主題向量構(gòu)建方法很好的解決了此難題。為了找出符合要求的熱點(diǎn)話題,我們明確定義了BBS熱點(diǎn)話題的四大特征：帖子數(shù)量大,質(zhì)量高,內(nèi)容內(nèi)聚度高,突發(fā)性特征明顯。圍繞此目標(biāo),我們提出的基于演化理論的BBS熱點(diǎn)話題發(fā)現(xiàn)方案主要分為以下三個(gè)步驟。首先,對(duì)需要處理的BBS數(shù)據(jù)進(jìn)行預(yù)處理,并通過(guò)增量單邊聚類(lèi)的方法獲得候選話題。其次,基于這些抽取得到的話題,我們使用演化理論來(lái)計(jì)算每個(gè)話題的熱度。以上兩個(gè)步驟都是按時(shí)間增量進(jìn)行的。最后,根據(jù)熱點(diǎn)話題的

4、定義調(diào)整參與排序的話題,然后根據(jù)每個(gè)話題的能量值按照降序排列,便可得到我們需要的BBS熱點(diǎn)話題。在真實(shí)的BBS數(shù)據(jù)上進(jìn)行的實(shí)驗(yàn)證明我們的方法是相當(dāng)有效的。首先,基于演化理論的熱點(diǎn)話題發(fā)現(xiàn)方法找到的熱點(diǎn)更加全面。其次,由于深入研究了話題在BBS中的討論特點(diǎn),本方法還能找到傳統(tǒng)方法無(wú)法發(fā)現(xiàn)的熱點(diǎn)話題。再者,本方法采用的能量排序方法保證了所發(fā)現(xiàn)的熱點(diǎn)話題具有更強(qiáng)的時(shí)效性。最后,本方法不僅可以很好的發(fā)現(xiàn)短時(shí)間興起的熱點(diǎn)話題,同時(shí)對(duì)延續(xù)時(shí)間較長(zhǎng)的