微博信息流中突現(xiàn)話題檢測技術(shù)研究.pdf

1、自2009年國內(nèi)第一個(gè)大型微博平臺(tái)—新浪微博上線以來，國內(nèi)微博用戶的數(shù)量每年都呈井噴式增長。微博特有的用戶關(guān)系結(jié)構(gòu)和巨大影響力使得它已經(jīng)成為網(wǎng)絡(luò)信息傳播的新勢力?，F(xiàn)在微博用戶每天都會(huì)產(chǎn)生數(shù)百萬條新微博信息，這使得難以通過人工的方法來發(fā)現(xiàn)海量微博信息里隱含的突現(xiàn)話題。如果能提出一種自動(dòng)方法可以及時(shí)全面地從海量微博信息中檢測出剛出現(xiàn)不久的突現(xiàn)話題，對掌握最新的網(wǎng)絡(luò)輿論動(dòng)向和維護(hù)社會(huì)穩(wěn)定有著重大意義。本文對檢測微博信息流中突現(xiàn)話題的主要關(guān)鍵技

2、術(shù)進(jìn)行了研究，主要研究的內(nèi)容包括以下兩個(gè)方面。
　　首先，提出了一個(gè)根據(jù)突現(xiàn)話題的暴發(fā)特征而構(gòu)建的突現(xiàn)關(guān)鍵詞提取模型。該模型定義了一個(gè)名為微博流片段的數(shù)據(jù)結(jié)構(gòu)，然后利用滑動(dòng)窗口、分治和加權(quán)等技術(shù)來提取微博信息流中的突現(xiàn)關(guān)鍵詞。實(shí)驗(yàn)結(jié)果表明本文提出的突現(xiàn)關(guān)鍵詞提取模型可以全面準(zhǔn)確地提取出各個(gè)時(shí)間段內(nèi)的突現(xiàn)關(guān)鍵詞。
　　其次，提出了基于互信息的微博突現(xiàn)話題檢測方法。該方法首先使用lucene的搜索技術(shù)來構(gòu)建突現(xiàn)關(guān)鍵詞集合的互信息

3、矩陣，然后利用互信息矩陣來擴(kuò)展一個(gè)新話題的關(guān)鍵詞。通過不斷地?cái)U(kuò)展新話題的關(guān)鍵詞，實(shí)現(xiàn)對突現(xiàn)關(guān)鍵詞集合中的關(guān)鍵詞進(jìn)行聚類，最后把聚類得到的各個(gè)關(guān)鍵詞子集合作為檢測出來的突現(xiàn)話題。實(shí)驗(yàn)表明該方法可以準(zhǔn)確全面地檢測出各個(gè)時(shí)間段內(nèi)的突現(xiàn)話題。
　　本文基于微博突現(xiàn)話題的暴發(fā)特征，提出了一種新的基于微博平臺(tái)的突現(xiàn)關(guān)鍵詞提取方法和突現(xiàn)話題檢測方法。這兩個(gè)方法可以幫助人們及時(shí)全面地發(fā)現(xiàn)整個(gè)微博空間里的最新突現(xiàn)話題，使得微博輿情監(jiān)管人員可以更好地