科技論文關(guān)鍵詞抽取技術(shù)的研究.pdf

1、本文以萬方數(shù)據(jù)和會議集作為測試語料，重點介紹了基于PAT-Tree關(guān)鍵詞的抽取方法和知網(wǎng)在關(guān)鍵詞抽取中的應用。首先通過實驗驗證關(guān)鍵詞具有的一些特征并介紹了常用的關(guān)鍵詞的過濾方法。接著介紹了能夠方便快捷地進行全文串頻統(tǒng)計的PAT-Tree數(shù)據(jù)結(jié)構(gòu)以及互信息。在此基礎(chǔ)上提出了基于PAT-Tree關(guān)鍵詞的抽取方法，抽取過程基于從原始文本中得到的統(tǒng)計信息，取出符合篩選條件的字符串?？傮w來說分為四個階段，分別為：對文本進行預處理；在預處理過的文本

2、上建立PAT-Tree，獲取文章詞頻信息；在PAT-Tree上抽取候選關(guān)鍵詞；對關(guān)鍵詞過濾以及選取關(guān)鍵詞。我們把抽取的重點放在了自動過濾符合統(tǒng)計條件的字符串，進一步精選候選關(guān)鍵詞上面。我們在精選過程中采用了新的過濾手段，并借鑒了其它方法的優(yōu)點，形成了一套綜合的過濾手段，有效地提高了精確度，減少了計算量。本文的另外一個特色，考慮到會議集是領(lǐng)域語料，特別使用分治法的思想來處理密集計算，高效地建立PAT-Tree，一方面為抽取領(lǐng)域關(guān)鍵詞提供了