文本挖掘關(guān)鍵詞提取算法的研究.pdf

1、隨著信息技術(shù)的不斷發(fā)展，大量的文本信息開始以計算機可讀的形式存在，許多領(lǐng)域信息都呈現(xiàn)出爆炸式增長，因此如何在海量的信息當中，快速并準確地提取對讀者有用的信息將是一個重要的課題。關(guān)鍵詞提取就是一種解決上述問題的有效手段，關(guān)鍵詞是對文章主題信息的精煉，使讀者快速掌握該文本的重要信息，提高信息訪問的效率，具有明顯的現(xiàn)實意義。
　　關(guān)鍵詞提取是文本挖掘領(lǐng)域中研究的核心技術(shù)之一，起著十分重要的作用。信息的載體主要以文本為主，然而目前絕大多數(shù)

2、文本信息還尚未提供關(guān)鍵詞，同時目前存在的幾種關(guān)鍵詞提取算法，還無法很好解決多義詞詞義消歧、同義詞冗余表達、構(gòu)建的分類器訓練過程中還可能存在過擬合、構(gòu)建的詞匯鏈不能準確表達文本語義結(jié)構(gòu)等問題，為此本文提出了兩種基于語義分析的改進方法，深入到語義層次，進一步挖掘出表達文本主題的潛在信息，提出的方法較好地解決了多義詞詞義消歧、構(gòu)建的詞匯鏈準確全面地覆蓋文本主題信息等問題，同時避免了同義詞冗余表達，尤其對同義詞較多的文章效果更為明顯。本文主要工

3、作如下:
　　1、基于語義詞典和詞匯鏈的關(guān)鍵詞提取算法中文語義詞典中《同義詞詞林》語義詞典編碼簡單，比其他知識庫擁有更為豐富且易于語義理解的同義詞組的優(yōu)勢，同時詞匯鏈很好地表達了文本的語義結(jié)構(gòu)和多個主題信息。因此本文提出了一個完整的基于語義詞典和詞匯鏈的關(guān)鍵詞提取算法KETCLC(Keyword Extraction based on Tongyici Cilin and Lexical Chain)，通過分析《同義詞詞林》和詞匯

4、鏈的特性，將兩者相結(jié)合并根據(jù)其結(jié)合的優(yōu)勢，對文本分別作預處理、多義詞詞義消歧、同義詞合并、詞匯鏈構(gòu)建、有效特征選取及對權(quán)重綜合計算改進的等處理來提高關(guān)鍵詞提取的質(zhì)量。
　　2、結(jié)合語義擴展度和詞匯鏈的關(guān)鍵詞提取算法目前存在的構(gòu)建詞匯鏈的方法都是單純采用語義相似度或者語義相關(guān)度計算詞語間的語義關(guān)系，但是構(gòu)建出來的詞匯鏈不能準確全面地表達詞語間的關(guān)聯(lián)和語義關(guān)系，從而影響了文章主題表達的精確度和關(guān)鍵詞提取的質(zhì)量。因此，本文在KETCLC

5、算法的實驗驗證基礎(chǔ)上，提出了一個完整的結(jié)合語義擴展度和詞匯鏈的關(guān)鍵詞提取算法KESELC(Keyword Extraction based on Semantic Expansion integrated with Lexical Chain)，基于《同義詞詞林》語義詞典，從語義分析角度，計算語義相似度和語義相關(guān)度，并綜合考慮兩者得出語義擴展度及其計算方法，將語義擴展度和詞匯鏈方法相結(jié)合進行關(guān)鍵詞提取，有助于挖掘出出現(xiàn)頻率不高但對文章具