基于語義的個人微博事件提取.pdf

1、微博是一種基于用戶關(guān)系的信息傳播和分享平臺，用戶可以通過Web頁面、手機客戶端等以短文本形式實時發(fā)布自己的狀態(tài)與觀點，發(fā)布的信息會迅速傳播到關(guān)注者，這種短文本模式成為人們傳播信息和發(fā)表意見的主要工具。由于微博發(fā)布的便利性，經(jīng)過幾年的累積后微博的數(shù)據(jù)量將會很大，如果將博主描述同一話題的微博聚在一起，提取博主的主要事件和話題在時光軸上的分布和摘要，可以方便用戶閱讀并可以在很大程度上提高用戶獲取信息的效率。不同于公眾微博數(shù)據(jù)，個人微博數(shù)據(jù)具有

2、數(shù)據(jù)稀疏、無重復(fù)微博，話題時序特征明顯等特點，在進行個人微博聚類時文本間可能并無共現(xiàn)詞，只是在語義上有關(guān)聯(lián)關(guān)系，因此，基于語義相關(guān)的聚類模式由此產(chǎn)生。對于個人微博來說，有的是一條微博對應(yīng)一個話題，有的是多條微博對應(yīng)一個話題，我們的工作就是將時間接近，內(nèi)容上意思相近微博按照一定方法聚在一起。
　　本文提出了一種基于語義特征的個人微博事件提取方法。該方法充分考慮了微博文本的語義特征，可將意義相關(guān)的微博更為準確地聚類。其要點如下：首先，

3、將微博文本預(yù)處理后，形成分詞集合，利用隨機游走算法產(chǎn)生每個詞匯的語義標簽及其概率，游走圖基于知網(wǎng)的語義關(guān)系圖產(chǎn)生；其次，利用排列算法將兩篇微博中詞匯的各個語義項進行相關(guān)度求解，詞匯的相關(guān)度計算采用改進的基于知網(wǎng)的詞語語義相關(guān)度進行計算，得到意思集合；最后，利用余弦相似度計算兩條微博文本的語義相關(guān)度，根據(jù)相關(guān)度聚類后形成個人微博事件。由于微博文本短，又有時序性，只要兩篇微博中有一個詞語的意思相關(guān)，時間接近，就聚在一起。為了提高算法效能，在