改進(jìn)TFIDF和譜分割的關(guān)鍵詞自動(dòng)抽取方法研究.pdf

1、關(guān)鍵詞是指文檔中具有專指性且能夠反映文檔主題的詞語(yǔ)或短語(yǔ)。采用自動(dòng)化技術(shù)從文檔中抽取出關(guān)鍵詞的過(guò)程稱為關(guān)鍵詞自動(dòng)抽取。關(guān)鍵詞自動(dòng)抽取是文本自動(dòng)處理中分類、檢索和文摘等工作的基礎(chǔ)與關(guān)鍵技術(shù)之一。
　　 按照理論依據(jù)不同，關(guān)鍵詞抽取的方法可以分為：統(tǒng)計(jì)分析、語(yǔ)言分析和人工智能等方法。關(guān)鍵詞抽取的統(tǒng)計(jì)分析方法根據(jù)統(tǒng)計(jì)信息計(jì)算詞語(yǔ)或短語(yǔ)的權(quán)重，從中抽取權(quán)重大的若干詞語(yǔ)或短語(yǔ)為關(guān)鍵詞。TFIDF(Term Frequency& Inver

2、seDocumentation Frequency)算法是一種應(yīng)用較廣的權(quán)重計(jì)算統(tǒng)計(jì)分析方法。該算法選用詞語(yǔ)或短語(yǔ)的頻率TF與反文檔頻率IDF的乘積來(lái)表示特征項(xiàng)的權(quán)值。完全基于詞頻的傳統(tǒng)TFIDF算法可能出現(xiàn)兩類現(xiàn)象：有些不能代表文檔主題的低頻詞IDF值卻很高；有些能夠很好地代表文檔主題的高頻詞IDF值卻很低。本文綜合考慮詞語(yǔ)或短語(yǔ)的詞頻、詞性、詞長(zhǎng)以及在文檔中出現(xiàn)的位置，設(shè)計(jì)了一種改進(jìn)的TFIDF算法。
　　 詞語(yǔ)同現(xiàn)頻率是關(guān)

3、鍵詞抽取統(tǒng)計(jì)分析方法中的一個(gè)重要的信息。單純地利用候
　　 選關(guān)鍵詞的同現(xiàn)頻率加權(quán)計(jì)算候選關(guān)鍵詞的權(quán)重，進(jìn)行關(guān)鍵詞的抽取，效果不佳。為了進(jìn)一步提高關(guān)鍵詞抽取的準(zhǔn)確性，本文將基于圖像分類的譜分割方法應(yīng)用于關(guān)鍵詞抽取，設(shè)計(jì)了基于譜分割的關(guān)鍵詞抽取方法。其主要思路是首先對(duì)文本中的候
　　 選關(guān)鍵詞基于詞語(yǔ)同現(xiàn)頻率建立相似圖，使用譜分割方法對(duì)圖中候選關(guān)鍵詞進(jìn)行分類，統(tǒng)計(jì)候選關(guān)鍵詞所在分類的詞語(yǔ)總數(shù)，根據(jù)候選關(guān)鍵詞的改進(jìn)TFIDF

4、值和候選
　　 關(guān)鍵詞所在類的詞語(yǔ)總數(shù)計(jì)算候選關(guān)鍵詞的權(quán)重，排序后權(quán)重值較大的若干候選關(guān)鍵詞即為抽取的關(guān)鍵詞。
　　 論文選用“中國(guó)論文下載中心”(http：//www.studa.net/)的民法、科技和經(jīng)濟(jì)三類的論文各100篇作為實(shí)驗(yàn)的數(shù)據(jù)集。分別用基于傳統(tǒng)的TFIDF方法、基于改進(jìn)的TFIDF方法和基于譜分割方法抽取關(guān)鍵詞。實(shí)驗(yàn)結(jié)果表明改進(jìn)的TFIDF方法關(guān)鍵詞抽取的準(zhǔn)確率、召回率和F1值明顯高于傳統(tǒng)的TFIDF方