基于模糊邏輯的中文關(guān)鍵詞抽取研究.pdf

1、隨著英特網(wǎng)的迅速發(fā)展,我們接觸到的電子文檔越來越多,如何從海量的電子資源中找出我們所需的內(nèi)容顯得越來越重要。如果一篇文檔提供有關(guān)鍵詞,那么讀者可以快速的判斷出這篇文檔是否與他的信息需求是相關(guān)的。雖然關(guān)鍵詞非常有用,但現(xiàn)存的大多數(shù)文檔并沒有標(biāo)注出關(guān)鍵詞,手工標(biāo)注關(guān)鍵詞費(fèi)時(shí)費(fèi)力。因此,自動(dòng)關(guān)鍵詞抽取技術(shù)是非常具有研究價(jià)值的。
　　 中文關(guān)鍵詞抽取技術(shù)發(fā)展迅速,現(xiàn)在人們已經(jīng)提出了各種各樣的方法。我們可以把抽取關(guān)鍵詞看作是一個(gè)分類過程,

2、即把詞語分為“關(guān)鍵詞"和“非關(guān)鍵詞"兩類,但常規(guī)分類方法是將詞語映射到單一的類別,而且使用一般的分類器對(duì)特征間的獨(dú)立性假設(shè)會(huì)引起一些問題,從而導(dǎo)致抽取結(jié)果不夠理想。
　　 模糊邏輯可以很好的解決這個(gè)問題,但傳統(tǒng)的模糊邏輯控制思想需要預(yù)先設(shè)置控制規(guī)則,而由于專家知識(shí)的局限性以及環(huán)境的可變性,任何一個(gè)專家都無法得到一個(gè)最佳的規(guī)則或最優(yōu)的隸屬函數(shù)。神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力,如果將模糊邏輯與神經(jīng)網(wǎng)絡(luò)結(jié)合,模糊控制規(guī)則和隸屬度函數(shù)就可以

3、通過對(duì)樣本數(shù)據(jù)的學(xué)習(xí)而自動(dòng)地生成,克服了人為選擇模糊控制規(guī)則主觀性較大的缺陷。因此,本文將模糊邏輯與神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用于中文關(guān)鍵詞抽取。
　　 我們首先計(jì)算出作為訓(xùn)練樣本詞語的三個(gè)特征值,然后標(biāo)注詞語屬于兩個(gè)類的隸屬度值。根據(jù)這些樣本訓(xùn)練模糊神經(jīng)網(wǎng)絡(luò)得到中文關(guān)鍵詞抽取模型。在測(cè)試階段,先識(shí)別一篇文檔的候選關(guān)鍵詞,計(jì)算每個(gè)候選關(guān)鍵詞的特征,用模型計(jì)算出詞語屬于兩類的隸屬度,得到詞語的隸屬度后就可以通過排序等手段抽取出所需的關(guān)鍵詞。<