面向依存句法分析優(yōu)化技術(shù)的研究.pdf

1、句法分析作為自然語(yǔ)言處理領(lǐng)域的基本任務(wù)之一，一直受到學(xué)術(shù)界和工業(yè)界的關(guān)注?；谝来嫖姆ǖ木浞ńY(jié)構(gòu)（依存句法結(jié)構(gòu)），由于其結(jié)構(gòu)簡(jiǎn)單，表達(dá)方式靈活，訓(xùn)練語(yǔ)料的標(biāo)注相對(duì)容易等優(yōu)點(diǎn)，使得依存句法分析逐漸成為句法分析研究中的熱點(diǎn)問(wèn)題。此外，越來(lái)越多的上層應(yīng)用利用依存句法分析器作為其核心模塊之一，例如統(tǒng)計(jì)機(jī)器翻譯系統(tǒng)利用依存句法分析的結(jié)果進(jìn)行預(yù)調(diào)序，信息抽取系統(tǒng)根據(jù)依存句法結(jié)構(gòu)定義實(shí)體抽取模板等。
　　隨著機(jī)器學(xué)習(xí)技術(shù)的日趨完善以及計(jì)算機(jī)硬件

2、的飛速發(fā)展，數(shù)據(jù)驅(qū)動(dòng)的依存句法分析系統(tǒng)的性能也在不斷改進(jìn)。為了進(jìn)一步提高依存句法分析系統(tǒng)的性能，本文從不同角度對(duì)依存句法分析系統(tǒng)進(jìn)行優(yōu)化。統(tǒng)計(jì)依存句法分析系統(tǒng)主要包括三大核心模塊:特征表示，解碼算法以及參數(shù)學(xué)習(xí)。本文針對(duì)特征模塊以及參數(shù)學(xué)習(xí)模塊進(jìn)行優(yōu)化，主要貢獻(xiàn)包括:
　　本文提出了一種詞性標(biāo)注-依存句法分析的聯(lián)合模型。詞性特征是句法分析系統(tǒng)中利用的重要特征之一，詞性標(biāo)注的質(zhì)量嚴(yán)重影響依存句法分析系統(tǒng)的準(zhǔn)確率。傳統(tǒng)的級(jí)聯(lián)方法是首先

3、利用詞性標(biāo)注系統(tǒng)對(duì)句子進(jìn)行標(biāo)注，然后將已標(biāo)好詞性的句子作為句法分析系統(tǒng)的輸入。本文提出了一種詞性標(biāo)注-句法分析的聯(lián)合模型，與傳統(tǒng)的級(jí)聯(lián)方法相比，能夠?yàn)樵~性消歧提供部分句法結(jié)構(gòu)信息，提高詞性標(biāo)注的質(zhì)量，從而提高句法分析的準(zhǔn)確率。
　　本文提出了基于神經(jīng)元網(wǎng)絡(luò)的詞性標(biāo)注系統(tǒng)。當(dāng)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)屬于不同領(lǐng)域時(shí)，依存句法分析系統(tǒng)的性能顯著下降，其原因之一是目標(biāo)領(lǐng)域詞性標(biāo)注質(zhì)量的降低。針對(duì)此問(wèn)題，本文提出兩階段模型，為句法分析系統(tǒng)提供目標(biāo)

4、領(lǐng)域的高質(zhì)量詞性特征。在第一階段，我們利用編碼器從大規(guī)模無(wú)標(biāo)注的目標(biāo)領(lǐng)域語(yǔ)料中學(xué)習(xí)目標(biāo)領(lǐng)域文本的規(guī)律。在第二階段，我們將編碼器中的信息集成到基于神經(jīng)元網(wǎng)絡(luò)的詞性標(biāo)注系統(tǒng)。最后，我們通過(guò)實(shí)驗(yàn)證明本文中方法的有效性。
　　本文提出了基于偽歧義的全局訓(xùn)練方法。偽歧義性指能夠通過(guò)不同的動(dòng)作序列生成相同的句法結(jié)構(gòu)。偽歧義系統(tǒng)，例如基于轉(zhuǎn)移動(dòng)作的依存句法分析系統(tǒng)，意味著能夠從一個(gè)人工標(biāo)注的句子中抽取多個(gè)動(dòng)作序列，用于訓(xùn)練模型參數(shù)。然而，傳統(tǒng)的

5、方法為了簡(jiǎn)化訓(xùn)練算法，利用約束條件將可抽取的動(dòng)作序列數(shù)量限制為1。與傳統(tǒng)方法相比，本文中的算法能夠讓所有生成人工標(biāo)注的動(dòng)作序列參與到模型訓(xùn)練，充分利用樹(shù)庫(kù)信息，從而提高句法分析的準(zhǔn)確率。
　　本文提出了基于向上傳遞的依存分析標(biāo)點(diǎn)處理方法。本文針對(duì)標(biāo)點(diǎn)在句法結(jié)構(gòu)中的作用以及對(duì)依存句法分析系統(tǒng)性能的影響進(jìn)行了詳細(xì)的討論，實(shí)驗(yàn)與總結(jié)。在此基礎(chǔ)上，我們提出僅對(duì)普通單詞進(jìn)行依存分析，而將標(biāo)點(diǎn)信息作為單詞的屬性，并將這些屬性隨著依存關(guān)系的構(gòu)建