基于雙向搜索的ILP算法構(gòu)建漢語(yǔ)語(yǔ)義自動(dòng)切分系統(tǒng).pdf

1、自然語(yǔ)言理解主要有兩種途徑。一種是利用各種語(yǔ)言規(guī)則對(duì)自然語(yǔ)句進(jìn)行分析，得到句中各組成成分間的關(guān)系結(jié)構(gòu)。另一種是基于數(shù)據(jù)分析方法，被稱為自然語(yǔ)言理解中的“經(jīng)驗(yàn)主義”，或稱實(shí)證方法，它主要是利用大規(guī)模的語(yǔ)料庫(kù)，采用概率的方法得到各語(yǔ)言現(xiàn)象共存的概率，在分析新語(yǔ)料時(shí)以共存概率的大小來(lái)確定語(yǔ)言成分之間的關(guān)系?；谝?guī)則的理性方法，本質(zhì)是一種確定性的演繹推理方法。其優(yōu)點(diǎn)在于根據(jù)上下文對(duì)確定事件的定性描述，能夠充分利用現(xiàn)有的語(yǔ)言學(xué)成果。缺點(diǎn)是對(duì)一些不

2、確定的事件則無(wú)能為力，同時(shí)規(guī)則的相容性和適應(yīng)性也存在著限制?；诮y(tǒng)計(jì)的方法是一種經(jīng)驗(yàn)主義的方法，其優(yōu)勢(shì)在于它的全部知識(shí)都是通過(guò)對(duì)大規(guī)模的語(yǔ)料庫(kù)加工分析而得到的，可以獲得很好的一致性和覆蓋性?；诮y(tǒng)計(jì)的方法是一種非確定性的定量分析方法，這種定量分析是基于概率的，因此必然會(huì)掩蓋小概率事件的發(fā)生。本文考察一種新的實(shí)證途徑，采用結(jié)構(gòu)化的知識(shí)表示，應(yīng)用ILP方法解決自然語(yǔ)言語(yǔ)句切分分析器的獲取問(wèn)題。 自然語(yǔ)言語(yǔ)義結(jié)構(gòu)的分析是自然語(yǔ)言理解的

3、基礎(chǔ)，可分為二個(gè)層次，其一是研究能充分表達(dá)自然語(yǔ)句內(nèi)各成份間語(yǔ)義關(guān)系的表示方法；其二是研究如何將自然語(yǔ)句轉(zhuǎn)換成某種期望的語(yǔ)義表示形式，即在自然語(yǔ)言語(yǔ)句和其對(duì)應(yīng)的語(yǔ)義表示間建立正確的映射，完成這種映射也稱為自然語(yǔ)言語(yǔ)句的語(yǔ)義切分分析，這也是本文研究的重點(diǎn)之一，本文給出了一種基于ILP算法的自動(dòng)語(yǔ)義切分器的構(gòu)建系統(tǒng)ICASP，并通過(guò)一個(gè)切分示例來(lái)說(shuō)明ICASP構(gòu)建的切分器將自然語(yǔ)句映射成論旨角色語(yǔ)義表示的方法途徑。論旨角色語(yǔ)義分析的基本思想

4、是：在句中起中心作用的動(dòng)詞，同參與動(dòng)作的各個(gè)成分個(gè)體一起構(gòu)成句子的“語(yǔ)義格”框架，以此描述自然語(yǔ)句中各組成成分間的深層語(yǔ)義關(guān)系，表達(dá)施事(誰(shuí)做的)、受事(對(duì)誰(shuí)做的)、工具(用什么工具)等概念所表示的語(yǔ)法語(yǔ)義關(guān)系。 “切分”一詞常用來(lái)表達(dá)將句子轉(zhuǎn)換成能夠明確描述句子語(yǔ)法關(guān)系的一種層次結(jié)構(gòu)，依據(jù)某一上下文無(wú)關(guān)文法，自然語(yǔ)句可能可被切分為由句子成分加入適當(dāng)?shù)臉?biāo)注組成的層次結(jié)構(gòu)，然而局限在語(yǔ)法結(jié)構(gòu)上的切分只是自然語(yǔ)言語(yǔ)句理解問(wèn)題中的一小

5、部分，事實(shí)上，自然語(yǔ)言理解要考慮的是深層的、面向語(yǔ)義上的問(wèn)題，至少對(duì)句子的切分分析要指出句中成分的一些重要語(yǔ)義關(guān)系，諸如誰(shuí)對(duì)誰(shuí)做了什么等等，對(duì)自然語(yǔ)句語(yǔ)義層次上的切分分析稱為語(yǔ)義切分。 針對(duì)自然語(yǔ)句旨角色語(yǔ)義表示，本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于ILP算法的自然語(yǔ)句語(yǔ)義切分器構(gòu)建系統(tǒng)ICASP，ICASP采用一種新穎的ILP算法ICCR從語(yǔ)料中歸納學(xué)習(xí)控制規(guī)則，ICASP構(gòu)建的語(yǔ)義切分器就是在這些控制規(guī)則的指導(dǎo)下完成對(duì)自然語(yǔ)言語(yǔ)句的切分

6、操作，ICCR融合了自頂向下和自底向上的ILP算法思想，在保留其基本的方法的同時(shí)有效地克服了各自的弱點(diǎn)，自底向上的歸納技術(shù)保證ICCR可以很好的處理具有高結(jié)構(gòu)化特征的樣例；自頂向下的逐步特殊化方式，使得ICCR在具有以增強(qiáng)、相對(duì)抽象的方式表達(dá)的背景知識(shí)時(shí)，仍能有效地進(jìn)行歸納。ICCR可以使用增強(qiáng)形式表示的背景知識(shí)，無(wú)需顯式的構(gòu)造謂詞便可以處理包括函數(shù)的樣例，能以簡(jiǎn)捷的方式學(xué)習(xí)遞歸方式描述的子句，并在一個(gè)簡(jiǎn)單的框架中根據(jù)歸納需要發(fā)明新謂詞

7、。 ICCR是一個(gè)雙向搜索ILP算法，在自頂向下的搜索過(guò)程中采用了基于綁定的一階規(guī)則評(píng)估函數(shù)，相比常用的基于規(guī)則所覆蓋的正、負(fù)樣例數(shù)目的規(guī)則評(píng)估函數(shù)，新的規(guī)則評(píng)估函數(shù)能更好地量化一階規(guī)則啟發(fā)式性能，并能有效地區(qū)分等價(jià)規(guī)則的優(yōu)劣，可提高算法的搜索效率和規(guī)則的可讀性，引導(dǎo)算法沿著正確、高效的路徑搜索。 在某種意義上，機(jī)器學(xué)習(xí)算法可以描述為在一個(gè)很大的由可能的假設(shè)組成的空間中進(jìn)行搜索，以確定其中最符合學(xué)習(xí)者所觀察到的數(shù)據(jù)和任何