面向微博的新詞發(fā)現(xiàn)和話(huà)題檢測(cè)技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和移動(dòng)終端服務(wù)的普及，微博這一新型社交媒體得到了迅速的發(fā)展，受到了個(gè)人、企業(yè)和政府的青睞。如今，許多新聞和熱點(diǎn)話(huà)題都是通過(guò)微博發(fā)表并傳播的，如何從大量微博中及時(shí)發(fā)現(xiàn)重要的信息對(duì)個(gè)人、企業(yè)，甚至政府都有具有重要意義。因此，本文研究了面向微博的新詞發(fā)現(xiàn)和話(huà)題檢測(cè)技術(shù)，主要研究?jī)?nèi)容如下:
　　(1)研究了針對(duì)微博的數(shù)據(jù)采集方法。
　　詳細(xì)介紹了傳統(tǒng)數(shù)據(jù)采集方法和基于微博API的數(shù)據(jù)采集方法的原理，分析了這兩種方

2、法在采集微博數(shù)據(jù)方面的優(yōu)缺點(diǎn)。最后，結(jié)合微博網(wǎng)頁(yè)結(jié)構(gòu)的特征，提出了一種適合微博的數(shù)據(jù)采集方法，并且用該方法采集了300萬(wàn)條微博數(shù)據(jù)，為微博話(huà)題檢測(cè)提供了豐富的語(yǔ)料資源。
　　(2)研究了面向微博的新詞發(fā)現(xiàn)方法。
　　詳細(xì)介紹了新詞發(fā)現(xiàn)的國(guó)內(nèi)外研究現(xiàn)狀，介紹了新詞發(fā)現(xiàn)領(lǐng)域中常用到的統(tǒng)計(jì)量和算法，分析了各種新詞發(fā)現(xiàn)方法的原理和優(yōu)缺點(diǎn)。最后，通過(guò)計(jì)算詞內(nèi)部結(jié)合度和詞邊界自由度發(fā)現(xiàn)新詞，并用該方法參加了COAE2014的相關(guān)評(píng)測(cè)，取

3、得了較好的成績(jī)。
　　(3)研究了面向微博的話(huà)題檢測(cè)方法。
　　詳細(xì)介紹了微博話(huà)題檢測(cè)的國(guó)內(nèi)外研究現(xiàn)狀，介紹了話(huà)題檢測(cè)領(lǐng)域中常用到的聚類(lèi)算法和相似度計(jì)算方法，介紹了LDA主題模型的原理。最后，提出了基于LDA模型和多層聚類(lèi)的話(huà)題檢測(cè)方法。該方法首先用LDA模型對(duì)微博語(yǔ)料建模，提取微博語(yǔ)義信息;然后，結(jié)合微博的時(shí)序性，改進(jìn)了傳統(tǒng)Single-Pass算法，將改進(jìn)的Single-Pass聚類(lèi)和層次聚類(lèi)相結(jié)合進(jìn)行話(huà)題檢測(cè)。