基于文本的關(guān)鍵詞提取方法研究與實現(xiàn).pdf

1、由于數(shù)據(jù)信息的膨脹，文本檢索經(jīng)常涉及海量文檔。除學(xué)術(shù)論文包含關(guān)鍵詞外，大量的文檔沒有關(guān)鍵詞。面對海量文檔的檢索，如果沒有關(guān)鍵詞，幾乎無法處理這類檢索問題。因此，要進(jìn)行海量文檔的信息檢索，必須首先解決對文檔進(jìn)行準(zhǔn)確高效的關(guān)鍵詞自動提取。關(guān)鍵詞自動提取是文本挖掘領(lǐng)域的一個分支，是文檔檢索、文檔比較、摘要生成、文檔分類和聚類等文本處理研究的基礎(chǔ)性工作。
　　本文研究的主要內(nèi)容就是如何從一篇沒有任何標(biāo)引的文本中提取出能說明文章大意的主題詞

2、，即關(guān)鍵詞。傳統(tǒng)的人工的方法準(zhǔn)確度很高，但效率低下，用計算機自動提取關(guān)鍵詞，效率很高，但要解決準(zhǔn)確度不高的問題。本文的主要工作是研究一種效率高、準(zhǔn)確度也高的文本關(guān)鍵詞提取方法?；诖?，本文從關(guān)鍵詞提取的一般算法入手，借助《知網(wǎng)》，結(jié)合統(tǒng)計學(xué)方法，提出新的關(guān)鍵詞提取方法，使得提取的關(guān)鍵詞更加準(zhǔn)確、效率更高。
　　主要工作如下：
　?。?）深入研究《知網(wǎng)》內(nèi)部結(jié)構(gòu)，并對其程序化處理。
　　（2）提出新的詞語相似度計算方法。

3、在概念層次上，引入義原類相似度的概念及計算規(guī)則，結(jié)合詞語概念中主要義原類限制次要義原類和變系數(shù)法對各義原類加權(quán)計算，求得概念相似度；在詞語層次上，引入詞性相似度的概念，取不同詞性的最大值作為詞語相似度。實驗結(jié)果表明，與已有方法相比，該方法有效提高了詞語相似度的精確度和計算效率。
　　（3）采用中科院分詞軟件對文本分詞，對不同段落賦予不同段落因子，結(jié)合相應(yīng)規(guī)則，用詞語相似度模塊處理測試文本分詞結(jié)果。
　?。?）分析現(xiàn)有關(guān)鍵詞提