基于XML的漢語語料標(biāo)注問題研究.pdf

1、語料庫語言學(xué)是當(dāng)代計算學(xué)語言學(xué)中經(jīng)驗主義方法論取得顯著成效從而在計算語言學(xué)領(lǐng)域占有一定的優(yōu)勢地位的新學(xué)科方向。語料庫不僅是自然語言處理領(lǐng)域的基礎(chǔ)性資源，并且由此產(chǎn)生很多不同于理性主義方法的理論和方法。因此語料庫建設(shè)和研究就成為計算語言學(xué)的奠基工作。實踐證明一個好的語料庫應(yīng)該具有可重用性和可擴(kuò)展性，而語料標(biāo)注的標(biāo)準(zhǔn)化對于語料庫建設(shè)具有十分重要的意義。語料標(biāo)注跨越語言學(xué)和計算機(jī)科學(xué)，需要對標(biāo)注的內(nèi)容(即標(biāo)注哪些信息)、目的(即為什么要標(biāo)注)

2、、手段(即怎樣實現(xiàn)標(biāo)注)等問題進(jìn)行逐一的回答，而語料標(biāo)注的標(biāo)準(zhǔn)化也需要在這些問題上有一個明確的答案之后才得以進(jìn)行。但是目前中文語料標(biāo)注的工作主要集中在標(biāo)注內(nèi)容的研究上，更多地從語言學(xué)的角度研究漢語詞性標(biāo)注和切分的問題，對于語料標(biāo)注的手段問題特別是編碼格式的問題很少涉及，這樣也就達(dá)不到語料的標(biāo)準(zhǔn)化。 XML作為網(wǎng)絡(luò)間數(shù)據(jù)交換的標(biāo)準(zhǔn)語言在許多垂直行業(yè)特別是電子商務(wù)中得到了廣泛運用，同時目前在語料標(biāo)注領(lǐng)域也出現(xiàn)了將XML作為標(biāo)注的標(biāo)記

3、語言的趨勢。 本文對漢語語料標(biāo)注的問題進(jìn)行了研究，主要包括： 1，比較了國內(nèi)外語料標(biāo)注的理論研究和工程項目，指出了國內(nèi)語料標(biāo)注研究的兩大不足，即對語料標(biāo)注的編碼格式的關(guān)注程度不夠；對于標(biāo)注更多集中在切分標(biāo)注層次上，而沒有一個分層體系下的標(biāo)注研究2，提出語料標(biāo)注應(yīng)該著眼于語料的相互交換，而不是語料的本地處理 3，基于上述的認(rèn)識明確提出了標(biāo)注語義和標(biāo)注表示的區(qū)分，該劃分具有十分重要的意義，該劃分廓清了語料標(biāo)注領(lǐng)域中的

4、認(rèn)識誤區(qū)，將語料標(biāo)注問題的研究分成兩個相對獨立的部分，從而可以相對獨立地發(fā)展關(guān)于標(biāo)注語義和標(biāo)注表示地研究。并將標(biāo)注表示的問題歸結(jié)為一系列對標(biāo)注表示的要求，這些要求需要有一個分層次的語料標(biāo)注模型。 4，目前國內(nèi)還沒有出現(xiàn)關(guān)于語料標(biāo)注抽象數(shù)據(jù)模型研究的資料，本文則給出了一個基于集合論和圖論的形式化描述分層語料標(biāo)注模型(MCAMMultilevelCorpusAnnotationModel)，并且在定義該模型的同時將該抽象模型和具體的

5、語料標(biāo)注過程進(jìn)行了對應(yīng)，分析了分層標(biāo)注模型的優(yōu)點，并且給出了MCAM模型的XML表示，從而說明了該抽象模型現(xiàn)實的可行性。 5，最后則根據(jù)工作的實際，給出了一個MCAM模型下切分標(biāo)注的XML規(guī)范表示，并編寫了程序?qū)崿F(xiàn)語料的內(nèi)部格式到XML格式之間轉(zhuǎn)化的程序6，本文的研究還包括對《語法信息詞典》的XML改造。在分析了語法信息詞典在形式上的諸多不足之后，給出了一個XML的規(guī)范，并根據(jù)該規(guī)范將詞典的部分轉(zhuǎn)換成了XML格式，轉(zhuǎn)換的過程沒有