基于主題模型的關(guān)鍵詞抽取算法研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的來(lái)臨，海量信息充斥網(wǎng)絡(luò)，面對(duì)如此復(fù)雜而龐大的數(shù)據(jù)，快速且準(zhǔn)確地獲得關(guān)鍵信息，變得尤為重要。在文本領(lǐng)域，每天都會(huì)有海量數(shù)據(jù)產(chǎn)生，比如網(wǎng)頁(yè)新聞、論文文獻(xiàn)、微博輿論等，鑒于人力物力的有限性，處理如此多的數(shù)據(jù)幾乎是不可能的，而關(guān)鍵詞則能有效地概括反映文章的主題思想，人們可以借助文本的關(guān)鍵詞快速了解文本內(nèi)容，獲取到關(guān)鍵信息。關(guān)鍵詞是表達(dá)一篇文檔核心內(nèi)容的最小單元，在很多領(lǐng)域都扮演著很重要的角色，包括文檔的自動(dòng)摘要、網(wǎng)頁(yè)信息抽取、文

2、檔的分類聚類、信息的檢索等。然而傳統(tǒng)的人工標(biāo)注關(guān)鍵詞耗時(shí)費(fèi)力，所以需要設(shè)計(jì)出能夠自動(dòng)抽取關(guān)鍵詞的算法。
　　針對(duì)以上問(wèn)題，本文進(jìn)行了關(guān)鍵詞抽取算法的研究，引入主題的概念，從主題角度進(jìn)行關(guān)鍵詞抽取。本文的主要工作如下:
　　(1)首先對(duì)關(guān)鍵詞抽取算法進(jìn)行總體概述，根據(jù)關(guān)鍵詞抽取方法的不同，分別從是否需要標(biāo)注語(yǔ)料、抽取的關(guān)鍵詞特征、抽取的文本語(yǔ)料的長(zhǎng)度等角度，介紹了不同的關(guān)鍵詞抽取方法。
　　(2)由于傳統(tǒng)的關(guān)鍵詞抽取沒(méi)有

3、考慮到關(guān)鍵詞與文章的主題關(guān)系，本文引入主題的概念，利用LDA主題模型，結(jié)合n-grams進(jìn)行關(guān)鍵詞抽取。從關(guān)鍵詞的定義中可以得知，關(guān)鍵詞要能最大程度的覆蓋文章的主題，表達(dá)文章的主題思想。該方法通過(guò)將主題語(yǔ)義特征結(jié)合傳統(tǒng)的統(tǒng)計(jì)特征，一定程度上能夠較好地抽取出文章的關(guān)鍵詞。
　　(3)基于圖和LDA主題模型的關(guān)鍵詞抽取算法，利用TextRank圖模型，直接將整個(gè)短語(yǔ)作為圖的節(jié)點(diǎn)，迭代計(jì)算LDA主題得分，得到短語(yǔ)節(jié)點(diǎn)間的相關(guān)性，最終候選