一種改進的kea 關(guān)鍵詞抽取算法研究

1、心智與計算心智與計算Vol.5，No.2(2011)文章編號：MC20118收稿日期：20110815出版日期：2011930?2007MC–廈門大學(xué)信息與技術(shù)學(xué)院一種改進的一種改進的KEAKEA關(guān)鍵詞抽取算法研究關(guān)鍵詞抽取算法研究陳平，周昌樂，練睿婷（廈門大學(xué)人工智能研究所，福建廈門361005）chengfeng200641@摘要：摘要：本文在關(guān)鍵詞抽取工具KEA（KeyphraseExtractionAlgithm）的基礎(chǔ)上，對候

2、選關(guān)鍵詞的選取方法及其特征屬性抽取進行改進?？紤]到KEA中使用的貝葉斯分類器對特征間的獨立性假設(shè)引起的一些問題，本文采用了與KEA不同的機器學(xué)習(xí)方法—人工神經(jīng)網(wǎng)絡(luò)來訓(xùn)練模型。我們將改進后的模型應(yīng)用于中文關(guān)鍵詞抽取。實驗結(jié)果表明，改進后的關(guān)鍵詞抽取模型對于中文關(guān)鍵詞的抽取效果要優(yōu)于KEA。關(guān)鍵詞：關(guān)鍵詞：關(guān)鍵詞抽??；KEA；機器學(xué)習(xí)AnImprovedApproachtoKeywdExtractionUsingKEACHENPingZHO

3、UChangleLIANRuiting(InstituteofArtificialIntelligenceXiamenUniversityXiamen361005China)chengfeng200641@Abstract:ThecidatekeywdextractionmethodthefeaturesftheclassificationhavebeenimprovedontheKeyphraseExtractionAlgithmto

4、ol(KEA)inthispaper.WithrespecttotheindependenceassumptionofdifferentfeatureswhichareofteninaccurateonBayesclassifieranothermachinelearningalgithm–ArtificialNeuralwkshasbeenreplacedinKEA.Theimprovedapproachhasbeenappliedo

5、nChineseKeyphraseExtraction.TheexperimentalresultsshowthattheimprovedapproachwksbetterthantheiginalKEAftheChinesekeywdscase.Keywds:KeywdExtractionKEAMachineLearning1引言引言隨著因特網(wǎng)的迅速發(fā)展，我們碰到的電子文檔越來越多，面對海量的網(wǎng)絡(luò)資源，人們可能會迷失方向。如果文檔提供

6、了總結(jié)信息，我們就可以通過這些信息了解到文檔的主要內(nèi)容。一些文檔會有作者列出的關(guān)鍵詞，這些關(guān)鍵詞就是非常有用的總結(jié)信息。它們是文檔的濃縮，是對文檔內(nèi)容簡潔精確的描述。它們還有很多更進一步的應(yīng)用，比如文本分類，文本聚類，文本檢索等等。文檔關(guān)鍵詞一般都是作者或者專業(yè)的標(biāo)注者手工標(biāo)注的，但是并不是所有文檔都會有已經(jīng)標(biāo)注好一種改進的KEA關(guān)鍵詞抽取算法研究個單詞的權(quán)值并排序，最后輸出前N個單詞作為關(guān)鍵詞，其中N是你所設(shè)定的抽取關(guān)鍵詞個數(shù)。KEA

7、算法的過程如圖1所示：訓(xùn)練測試圖1KEA訓(xùn)練和抽取過程Fig.1TrainingextractionprocessofKEAKEA主要是針對英文文檔進行關(guān)鍵詞抽取，它并沒有跨語言的通用性。由于中英文的差異性，例如中文沒有英文單詞間的分隔符，KEA對候選關(guān)鍵詞識別方法并不適用于中文。KEA只采用了采用詞的頻率，以及詞在文檔中首次出現(xiàn)的位置等全局的上下文信息作為機器學(xué)習(xí)算法的特征屬性，這顯然是不夠的，缺少針對中文的特征組合。KEA用的是貝葉

8、斯分類器進行訓(xùn)練，貝葉斯分類器是一種假設(shè)獨立的簡單算法，在某些場合獨立性假設(shè)可能非常合理，但是當(dāng)特征間有著復(fù)雜的相關(guān)性時，比如下文我們將介紹的詞的出現(xiàn)范圍這個特征就與詞的首次出現(xiàn)位置有著很大的關(guān)聯(lián)性，這種分類器就會有明顯的缺點，從而導(dǎo)致輸出結(jié)果不夠理想。4改進的改進的KEA關(guān)鍵詞抽取算法描述關(guān)鍵詞抽取算法描述本文在KEA基礎(chǔ)上對候選關(guān)鍵詞的識別方法，詞的特征屬性進行了改進，加入了中文分詞標(biāo)注等自然語言處理技術(shù)，用BP神經(jīng)網(wǎng)絡(luò)代替貝葉斯分

9、類器來訓(xùn)練模型。下面將按照原KEA的流程詳細(xì)介紹改進后的關(guān)鍵詞抽取算法。4.1訓(xùn)練語料庫的建立訓(xùn)練語料庫的建立由于會用到TFIDF這個具有語言依賴性的特征屬性，所以我們需要用中文文檔來進行訓(xùn)練和計算一個詞語的TFIDF值。如果訓(xùn)練文檔與包含這個詞語的文檔的語言是不同的，那么我們將無法計算這個詞語的TFIDF值。我們的訓(xùn)練語料庫是由理工、農(nóng)業(yè)、醫(yī)療衛(wèi)生、文史哲、政治軍事與法律、教育與社會科學(xué)、電子技術(shù)與信息科學(xué)、經(jīng)濟與管理等領(lǐng)域各40篇中