基于海量文本的語(yǔ)義構(gòu)建方法研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和信息量的急劇增加，如何快速、有效的獲取信息越來(lái)越受到人們的關(guān)注。傳統(tǒng)的自然語(yǔ)言處理方法已經(jīng)逐漸不能人們的要求，如何使用智能化的手段對(duì)信息進(jìn)行加工和處理已經(jīng)成為一個(gè)十分重要的問(wèn)題。
　　對(duì)文本信息進(jìn)行自動(dòng)化處理的基礎(chǔ)和關(guān)鍵是理解文本的語(yǔ)義，即使用形式化的語(yǔ)義結(jié)構(gòu)表示文本的含義，并且這種語(yǔ)義結(jié)構(gòu)應(yīng)該是可以被計(jì)算機(jī)所理解和處理的。目前將文本轉(zhuǎn)化為語(yǔ)義結(jié)構(gòu)的方法主要有基于專(zhuān)家知識(shí)的方法和基于數(shù)據(jù)統(tǒng)計(jì)的方法兩種，但由于

2、自然語(yǔ)言文本和形式化的語(yǔ)義結(jié)構(gòu)之間存在巨大的差距，因此難以實(shí)現(xiàn)良好的轉(zhuǎn)換效果。
　　為了避免直接從自然語(yǔ)言映射到語(yǔ)義結(jié)構(gòu)十分困難的問(wèn)題，研究人員提出了以“謂詞-論元結(jié)構(gòu)”為核心的淺層語(yǔ)義分析理論，又稱(chēng)語(yǔ)義角色標(biāo)注。該理論著眼于詞匯層面，主要目的是建立語(yǔ)句中各詞匯或短語(yǔ)等句法成分之間的語(yǔ)義關(guān)系。淺層語(yǔ)義分析可以被看作是一種通用的語(yǔ)義抽取技術(shù)，并且可以作為深層語(yǔ)義分析的基礎(chǔ)，因此得到了快速的發(fā)展，并被廣泛應(yīng)用于自然語(yǔ)言處理的各個(gè)相關(guān)領(lǐng)

3、域中。
　　本文在以上成果的基礎(chǔ)上，對(duì)基于淺層語(yǔ)義分析的海量文本語(yǔ)義構(gòu)建方法進(jìn)行了研究，主要包括以下幾方面工作:
　　1.提出了一個(gè)基于海量文本的語(yǔ)義構(gòu)建框架。該框架以“謂詞-論元結(jié)構(gòu)”為核心，通過(guò)語(yǔ)義角色歸納實(shí)現(xiàn)了對(duì)海量文本的語(yǔ)義角色標(biāo)注，然后根據(jù)“謂詞-論元結(jié)構(gòu)”與語(yǔ)義結(jié)構(gòu)之間的映射關(guān)系，實(shí)現(xiàn)了文本的深層語(yǔ)義構(gòu)建。
　　2.提出了一種基于多特征的語(yǔ)義角色歸納算法。該方法將語(yǔ)義角色歸納視為一個(gè)聚類(lèi)問(wèn)題，對(duì)于給定的謂詞

4、，首先從大規(guī)模文本中找到給定謂詞的所有論元，然后根據(jù)論元的語(yǔ)法結(jié)構(gòu)復(fù)雜程度將論元集合劃分為簡(jiǎn)單論元和復(fù)雜論元兩種類(lèi)型，并針對(duì)不同類(lèi)型論元，使用不同的特征進(jìn)行對(duì)論元集合進(jìn)行劃分。然后使用一種經(jīng)過(guò)改進(jìn)的層次聚類(lèi)算法對(duì)劃分結(jié)果進(jìn)行進(jìn)一步合并，最終聚類(lèi)所得的每一個(gè)簇代表謂詞的一個(gè)語(yǔ)義角色。該方法不需要人工標(biāo)注的數(shù)據(jù)，能夠自動(dòng)從大規(guī)模文本中得到各謂詞的“謂詞-論元結(jié)構(gòu)”。
　　3.提出了一種基于語(yǔ)義相似度的謂詞-論元結(jié)構(gòu)與本體的映射算法。本

5、文使用本體作為文本語(yǔ)義的描述方式。面向語(yǔ)義構(gòu)建的本體大多以事件為核心進(jìn)行組織。本文提出的方法通過(guò)計(jì)算“謂詞-論元結(jié)構(gòu)”與本體中謂詞相關(guān)事件的語(yǔ)義相似度，建立了“謂詞-論元結(jié)構(gòu)”到本體中事件的映射關(guān)系，這一映射關(guān)系將語(yǔ)言層面的內(nèi)容與語(yǔ)義層面的內(nèi)容聯(lián)系在一起。對(duì)于文本來(lái)說(shuō)，在經(jīng)過(guò)句法分析和語(yǔ)義角色標(biāo)注后，可以通過(guò)該映射關(guān)系轉(zhuǎn)化為語(yǔ)義結(jié)構(gòu)，形成一個(gè)完成的語(yǔ)義構(gòu)建過(guò)程。
　　4.提出了一種語(yǔ)義構(gòu)建結(jié)果的自評(píng)價(jià)機(jī)制。針對(duì)不同的語(yǔ)義構(gòu)建算法對(duì)

6、不同文本適用能力不同的現(xiàn)象，本文提出了一種自評(píng)價(jià)機(jī)制。該機(jī)制從三個(gè)層面對(duì)整個(gè)語(yǔ)義構(gòu)建過(guò)程中不同階段的結(jié)果進(jìn)行評(píng)價(jià)，給出了結(jié)果的可信度的度量辦法。利用該可信度，可以從結(jié)果集中篩選出相對(duì)正確的部分。
　　本文提出海量文本語(yǔ)義構(gòu)建方法一方面利用海量文本的規(guī)模優(yōu)勢(shì)，實(shí)現(xiàn)了文本語(yǔ)義角色的無(wú)監(jiān)督標(biāo)注，克服了有監(jiān)督的方法需要大量訓(xùn)練數(shù)據(jù)的問(wèn)題，使得語(yǔ)義標(biāo)注可以在不同領(lǐng)域和語(yǔ)言之間方便的擴(kuò)展。另一方面，通過(guò)“謂詞-論元結(jié)構(gòu)”到本體映射關(guān)系的自動(dòng)建