漢語歧義結(jié)構(gòu)及面向留學(xué)生的教學(xué)策略_14510.pdf

1、句法分析是自然語言處理中的一個關(guān)鍵性問題。句法分析是語義分析、機器翻譯、信息抽取等許多自然語言處理任務(wù)的基礎(chǔ)，這些任務(wù)的最終效果依賴于句法分析的準確率。自然語言中句法分析研究的是句子中詞或者短語在句子中起到的作用和相互之間的關(guān)系，分析的最終結(jié)果往往以樹的形式表示，對句法分析的研究有著重要的理論和實用價值。相對于英語的句法分析，漢語句法分析起步較晚，加之用于實驗的己標注樹庫資源的匱乏，其發(fā)展較英語句法分析也相對落后。目前漢語句法分析的技術(shù)

2、還遠不能滿足各種信息處理系統(tǒng)的需求，所以對漢語句法分析的研究有著迫切的現(xiàn)實需求。
　　 歧義問題也是自然語言處理中常見的研究熱點，漢語中的歧義結(jié)構(gòu)有很多，幾乎每一種短語結(jié)構(gòu)都是存在歧義的，本論文主要從賓州漢語樹庫CTB5.1統(tǒng)計出常見歧義結(jié)構(gòu)進行研究。自然語言處理中要解決的歧義問題，是子句字符串的字面形式與實際意義之間的矛盾，同一個字面形式可能對應(yīng)多個不同的解釋意義，在本論文中，對于歧義結(jié)構(gòu)的不同意義，使用句法分析的樹結(jié)構(gòu)來表達

3、出不同的意義解釋。歧義的存在往往影響自然語言處理任務(wù)的最后效果，成為自然語言處理的巨大障礙。因此，深入研究漢語中常見歧義結(jié)構(gòu)的消除排解方法對漢語句法分析甚至自然語言處理都具有重要的作用。
　　 本論文的研究重點有三部分，一部分是使用基于超圖的K-best漢語句法分析模型產(chǎn)生包含k個侯選樹的分析樹集合；一部分用引入樹核的投票感知機方法對K個侯選樹進行重排序；最后一部分是使用機器學(xué)習(xí)的方法對漢語中常見歧義結(jié)構(gòu)進行歧義消解，并通過將歧

4、義結(jié)構(gòu)的歧義消解工作引入到K-best模型的重排序過程中從而最終提升句法分析的效果。本論文在漢語句法分析的工作中，將基于概率上下文無關(guān)文法的漢語句法分析分為K-best基礎(chǔ)模型和重排序兩個階段，第一階段使用基于PCFG的CKY算法，在性能的提升上引入了超圖的思想，提高了分析的效率；第二個階段為對第一階段產(chǎn)生的多重結(jié)果的重排序技術(shù)，本論文所介紹的重排序技術(shù)有三個特色：一是實現(xiàn)排序問題到分類問題的轉(zhuǎn)化并通過改進的投票感知機算法實現(xiàn)重排序；二

5、是引入樹核方法到漢語句法分析中，并對樹核做了區(qū)別對待產(chǎn)生式規(guī)則，引入聚合產(chǎn)生式規(guī)則和引入λ參數(shù)的三個改進；三是引入漢語常見歧義結(jié)構(gòu)的統(tǒng)計消解方法到重排序任務(wù)中，有效地提高了重排序的效率和效果。
　　 在常見歧義結(jié)構(gòu)的歧義消解方面，本論文通過對賓州中文樹庫(CTB)5.1進行統(tǒng)計分析，識別出常見歧義結(jié)構(gòu)，對常見歧義結(jié)構(gòu)的內(nèi)部詞匯化和上下文結(jié)構(gòu)信息進行研究分析，創(chuàng)建相應(yīng)的特征模板，對歧義結(jié)構(gòu)對應(yīng)的字串在分析樹中的子樹結(jié)構(gòu)的前后相鄰結(jié)