基于KL距離的微博突發(fā)話題檢測(cè)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)的普及率越來(lái)越高，使得網(wǎng)絡(luò)超越大眾媒體成為廣大群眾獲知、抒發(fā)自己對(duì)各大突發(fā)新聞事件、熱點(diǎn)新聞事件等的看法、觀點(diǎn)、態(tài)度的重要的新的渠道平臺(tái)。因此，如何有效及時(shí)的獲取有效的新聞信息，分析新聞信息，發(fā)現(xiàn)其中的突發(fā)事件、熱點(diǎn)事件成為當(dāng)今信息檢索領(lǐng)域重要的研究重點(diǎn)和熱點(diǎn)。
　　話題檢測(cè)技術(shù)是解決上述問(wèn)題的重要方法，該技術(shù)主要是從網(wǎng)絡(luò)新聞數(shù)據(jù)流中及時(shí)的發(fā)現(xiàn)話題，并對(duì)已發(fā)現(xiàn)的話題進(jìn)行實(shí)時(shí)的后續(xù)關(guān)聯(lián)檢測(cè)，對(duì)相關(guān)話題進(jìn)行全

2、面記錄，更便捷的使人們了解話題的整體概況，此外，同時(shí)為相關(guān)政府人員及時(shí)的了解突發(fā)事件、熱點(diǎn)事件的發(fā)展情況，掌握事件的發(fā)展動(dòng)態(tài)并及時(shí)的控制和引導(dǎo)相關(guān)話題的發(fā)展趨勢(shì)等，提供了極大的便利。
　　目前，在微博突發(fā)話題檢測(cè)中，存在特征詞抽取不全、準(zhǔn)確率不高的問(wèn)題；在話題關(guān)聯(lián)檢測(cè)中，存在靜態(tài)閾值和虛假相關(guān)報(bào)道的問(wèn)題。本文主要是針對(duì)上述問(wèn)題進(jìn)行研究，首先，研究了突發(fā)詞抽取方法，然后研究了關(guān)聯(lián)檢測(cè)中動(dòng)態(tài)閾值和解決虛假相關(guān)報(bào)道的方法。即主要有一下兩

3、個(gè)方面：
　　1)研究微博突發(fā)詞抽取及突發(fā)話題檢測(cè)方法，提出一種基于突發(fā)詞的微博突發(fā)話題檢測(cè)方法
　　越來(lái)越多的人們運(yùn)用微博來(lái)發(fā)表對(duì)某一事件的看法，使得研究微博上的突發(fā)話題具有重要的研究意義和價(jià)值，根據(jù)微博文本短、數(shù)據(jù)量大、用詞不規(guī)范，當(dāng)一個(gè)突發(fā)話題出現(xiàn)時(shí)往往伴隨了大量突發(fā)詞的出現(xiàn)的特點(diǎn)，提出了一種基于突發(fā)詞的微博突發(fā)話題檢測(cè)方法。
　　該方法首先根據(jù)詞語(yǔ)的詞頻和文檔頻次進(jìn)行突發(fā)詞的初步篩選，得到候選突發(fā)詞；然后結(jié)合發(fā)

4、表微博的用戶(hù)信息即用戶(hù)影響力以及詞語(yǔ)的詞頻逆文檔頻率得到詞語(yǔ)的權(quán)重，再然后抽取權(quán)重較高的詞作為表征突發(fā)話題的突發(fā)詞，最后運(yùn)用改進(jìn)的S ingle-Pass聚類(lèi)算法對(duì)抽取出的突發(fā)詞進(jìn)行聚類(lèi)，從而完成微博突發(fā)話題的檢測(cè)。實(shí)驗(yàn)結(jié)果表明該方法提高了突發(fā)詞抽取和檢測(cè)的準(zhǔn)確性。
　　2)研究話題相似度計(jì)算和動(dòng)態(tài)閾值設(shè)定的方法，提出一種基于KL距離的雙重過(guò)濾話題關(guān)聯(lián)檢測(cè)方法
　　在話題關(guān)聯(lián)檢測(cè)中，存在閾值設(shè)置和虛假相關(guān)報(bào)道的相關(guān)問(wèn)題，為了