基于網(wǎng)絡(luò)文本的多詞表達(dá)抽取方法研究.pdf

1、多詞表達(dá)(Multiword Expression，MWE)是自然語言中一類固定或半固定搭配的語言單元，特別在網(wǎng)絡(luò)文本中，多詞表達(dá)頻繁出現(xiàn)且往往缺乏標(biāo)注信息，給分詞任務(wù)和后續(xù)文本理解帶來了巨大挑戰(zhàn)。與此同時(shí)，網(wǎng)絡(luò)文本的多詞表達(dá)抽取對(duì)于社交網(wǎng)絡(luò)的熱點(diǎn)追蹤和信息檢索等任務(wù)都有著至關(guān)重要的作用。目前，多詞表達(dá)的抽取方法研究已經(jīng)有了一定的成果，但仍然存在很大的改進(jìn)空間，主要的問題有:目前面向網(wǎng)絡(luò)文本的多詞表達(dá)抽取研究還很少;采用純規(guī)則或純統(tǒng)計(jì)的

2、方法來抽取多詞表達(dá)的效果往往不好;多詞表達(dá)結(jié)構(gòu)中詞元關(guān)系的計(jì)算往往需要依賴人工制定的規(guī)則和模板，不適用于抽取包羅萬象的網(wǎng)絡(luò)文本中的多詞表達(dá)。因此，本文面向網(wǎng)絡(luò)文本的多詞表達(dá)抽取研究，探討如何結(jié)合規(guī)則和統(tǒng)計(jì)方法來抽取多詞表達(dá)，以及如何減少人工制定規(guī)則的依賴，實(shí)現(xiàn)多詞表達(dá)的自動(dòng)抽取。
　　本文對(duì)網(wǎng)絡(luò)文本中漢語多詞表達(dá)的結(jié)構(gòu)特點(diǎn)和語言學(xué)特點(diǎn)進(jìn)行了詳盡的分析和歸納，在此基礎(chǔ)上，設(shè)計(jì)了基于規(guī)則與統(tǒng)計(jì)相融合的多詞表達(dá)抽取方法，且根據(jù)多詞表達(dá)構(gòu)

3、成詞的詞性組合規(guī)律制定了正則表達(dá)式模板，并改進(jìn)NC-value統(tǒng)計(jì)模型，將其與互信息(Mutual Information，MI)相結(jié)合（即MI/NC）來抽取多詞表達(dá)。經(jīng)過實(shí)驗(yàn)測試，在1萬條微博語料上，基于規(guī)則與統(tǒng)計(jì)相融合的方法抽取多詞表達(dá)的F值達(dá)到85.85％，相比較于基線系統(tǒng)，性能有了很大的提升。
　　進(jìn)一步，為了減少對(duì)人工規(guī)則的依賴及提升多詞表達(dá)抽取的準(zhǔn)確率，本文提出了一種基于雙層策略的多詞表達(dá)抽取方法。第一層次，我們利用基

4、于左右熵聯(lián)合增強(qiáng)互信息的算法來實(shí)現(xiàn)多詞表達(dá)的初步抽取;第二層次，我們?cè)诘谝粚哟潍@得的多詞表達(dá)候選列表的基礎(chǔ)上，利用支持向量機(jī)(Support Vector Machine，SVM)分類器，構(gòu)建上下文和詞向量特征，進(jìn)行多詞表達(dá)與非多詞表達(dá)的分類，實(shí)現(xiàn)多詞表達(dá)候選列表的進(jìn)一步過濾。經(jīng)過實(shí)驗(yàn)驗(yàn)證，基于雙層策略方法抽取多詞表達(dá)的F值達(dá)到89.58％，相比較于基線系統(tǒng)和基于規(guī)則與統(tǒng)計(jì)相融合的抽取方法，性能有了進(jìn)一步的提高。
　　綜上所述，本