基于網(wǎng)絡文本的多詞表達抽取方法研究.pdf

1、多詞表達(Multiword Expression，MWE)是自然語言中一類固定或半固定搭配的語言單元，特別在網(wǎng)絡文本中，多詞表達頻繁出現(xiàn)且往往缺乏標注信息，給分詞任務和后續(xù)文本理解帶來了巨大挑戰(zhàn)。與此同時，網(wǎng)絡文本的多詞表達抽取對于社交網(wǎng)絡的熱點追蹤和信息檢索等任務都有著至關重要的作用。目前，多詞表達的抽取方法研究已經(jīng)有了一定的成果，但仍然存在很大的改進空間，主要的問題有:目前面向網(wǎng)絡文本的多詞表達抽取研究還很少;采用純規(guī)則或純統(tǒng)計的

2、方法來抽取多詞表達的效果往往不好;多詞表達結構中詞元關系的計算往往需要依賴人工制定的規(guī)則和模板，不適用于抽取包羅萬象的網(wǎng)絡文本中的多詞表達。因此，本文面向網(wǎng)絡文本的多詞表達抽取研究，探討如何結合規(guī)則和統(tǒng)計方法來抽取多詞表達，以及如何減少人工制定規(guī)則的依賴，實現(xiàn)多詞表達的自動抽取。
　　本文對網(wǎng)絡文本中漢語多詞表達的結構特點和語言學特點進行了詳盡的分析和歸納，在此基礎上，設計了基于規(guī)則與統(tǒng)計相融合的多詞表達抽取方法，且根據(jù)多詞表達構

3、成詞的詞性組合規(guī)律制定了正則表達式模板，并改進NC-value統(tǒng)計模型，將其與互信息(Mutual Information，MI)相結合（即MI/NC）來抽取多詞表達。經(jīng)過實驗測試，在1萬條微博語料上，基于規(guī)則與統(tǒng)計相融合的方法抽取多詞表達的F值達到85.85％，相比較于基線系統(tǒng)，性能有了很大的提升。
　　進一步，為了減少對人工規(guī)則的依賴及提升多詞表達抽取的準確率，本文提出了一種基于雙層策略的多詞表達抽取方法。第一層次，我們利用基

4、于左右熵聯(lián)合增強互信息的算法來實現(xiàn)多詞表達的初步抽取;第二層次，我們在第一層次獲得的多詞表達候選列表的基礎上，利用支持向量機(Support Vector Machine，SVM)分類器，構建上下文和詞向量特征，進行多詞表達與非多詞表達的分類，實現(xiàn)多詞表達候選列表的進一步過濾。經(jīng)過實驗驗證，基于雙層策略方法抽取多詞表達的F值達到89.58％，相比較于基線系統(tǒng)和基于規(guī)則與統(tǒng)計相融合的抽取方法，性能有了進一步的提高。
　　綜上所述，本