中文社交媒體話題關(guān)鍵詞抽取算法.pdf

1、據(jù)2013年互聯(lián)網(wǎng)數(shù)據(jù)中心報(bào)告顯示，預(yù)計(jì)到2020年全球的數(shù)據(jù)總量將超過40ZB，這一數(shù)據(jù)量是2011年的22倍，如何從海量數(shù)據(jù)中快速抽取出用戶所需要的信息是一個(gè)重要的研究課題。關(guān)鍵詞抽取是快速獲得文檔核心語義的重要手段，是自然語言處理和信息檢索等領(lǐng)域的重要組成部分，有著很高的理論和應(yīng)用價(jià)值?，F(xiàn)有的關(guān)鍵詞抽取算法多集中于處理學(xué)術(shù)論文以及新聞等具有一定長(zhǎng)度的文本，然而隨著社交媒體的蓬勃發(fā)展，類似于新浪微博的微型博客在人們生活中發(fā)揮著越來越

2、重要的作用。傳統(tǒng)的長(zhǎng)文本關(guān)鍵詞提取方法不再適用于這樣的短文本，并且也沒有提取社交媒體話題關(guān)鍵詞的現(xiàn)有方法。為了解決類似于新浪微博之類的中文社交媒體話題關(guān)鍵詞的抽取問題，本文做了如下幾個(gè)方面的工作:
　　提出了基于圖模型的話題關(guān)鍵詞抽取方法。根據(jù)詞語的同現(xiàn)關(guān)系構(gòu)建微博文本的圖模型，采用改進(jìn)的TextRank算法，即根據(jù)頂點(diǎn)的詞性以及是否為命名實(shí)體賦予其不同的初始權(quán)重，抽取出排名靠前的N個(gè)詞語。接著使用基于改進(jìn)神經(jīng)網(wǎng)絡(luò)語言模型而來的詞

3、向量工具:Word2vec進(jìn)行話題級(jí)別的訓(xùn)練，充分利用話題下所有微博之間的語義信息，概括生成最終的微博話題關(guān)鍵詞。根據(jù)多個(gè)基于經(jīng)典的、非監(jiān)督的關(guān)鍵詞抽取方法而設(shè)計(jì)的多組對(duì)比實(shí)驗(yàn)結(jié)果來看，該方法有效的提高了微博話題關(guān)鍵詞抽取的性能，尤其提高了查全率。
　　提出基于低秩矩陣分解的話題關(guān)鍵詞抽取方法。本文創(chuàng)造性地將低秩矩陣分解理論應(yīng)用于話題關(guān)鍵詞的抽取。構(gòu)造微博話題的關(guān)鍵詞矩陣，采用魯棒性主成分分析(RPCA)算法進(jìn)行矩陣的分解，獲得關(guān)

4、鍵詞矩陣的低秩矩陣，得出微博話題的關(guān)鍵詞。實(shí)驗(yàn)證明，該方法在所有的方法中獲得了最高的準(zhǔn)確率。
　　構(gòu)建了微博話題語料庫(kù)及測(cè)試數(shù)據(jù)集。本文設(shè)計(jì)了微博文本采集系統(tǒng)，構(gòu)造了首個(gè)微博話題關(guān)鍵詞抽取語料庫(kù)。語料庫(kù)含有100個(gè)熱門話題，每個(gè)話題下約有12萬條有效微博條目。采用人工標(biāo)注的方式構(gòu)建了話題關(guān)鍵詞抽取測(cè)試數(shù)據(jù)集，總共標(biāo)注了涵蓋社會(huì)、娛樂等不同類型的30個(gè)話題。
　　設(shè)計(jì)開發(fā)了微博話題關(guān)鍵詞抽取與展示系統(tǒng)。利用本文提出的基于圖模型