面向普通未登錄詞識別和理解的二字詞語義構(gòu)詞研究.pdf

1、近年來隨著“詞匯主義”思潮的興起，詞匯語義學(xué)成為中文信息處理的前沿課題之一。作為語言的子系統(tǒng)，詞匯內(nèi)部的特異性大，自身變動頻繁，研究難度相對較大。與詞相比，作為構(gòu)詞基本部件的詞素在數(shù)量上相對有限，在表義功能上相對穩(wěn)定，因此把詞素作為基本資源，從語義上尋找他們組合成詞的規(guī)律，用來輔助自然語言理解的思路受到了越來越多的關(guān)注。
　　漢語自動分詞是中文信息處理的基礎(chǔ)環(huán)節(jié)。在基于詞表的分詞方法中，未登錄詞是影響分詞精度最主要的因素之一，而未

2、登錄詞中的普通新詞，構(gòu)成方式多種多樣，功能變幻不定，數(shù)目不可窮盡，現(xiàn)有的基于統(tǒng)計的分詞方法只能識別出高頻詞，對低頻詞的識別則有些無能為力。
　　本文以《現(xiàn)代漢語詞典》（第六版）中的二三字詞作為選取范圍，建立起現(xiàn)代漢語詞素數(shù)據(jù)庫，在此基礎(chǔ)上選出50個高頻詞素，進(jìn)而把含有這些詞素的8984個二字詞作為封閉考察對象。首先參照《現(xiàn)代漢語詞典》（第六版），標(biāo)注8984個二字詞的詞義，繼而基于詞義和知網(wǎng)(HowNet)，標(biāo)注前后詞素的義項和對

3、應(yīng)義類，然后從意合結(jié)構(gòu)、意根分布、意指方式、意變類型四個角度標(biāo)注詞素間的詞化意義，最后綜合詞素意義和詞化意義，在定量統(tǒng)計的基礎(chǔ)上建立一個二字詞的語義描寫體系。
　　二字詞的語義描寫體系主要包括8984個詞的釋義模式，詞素-義類數(shù)據(jù)庫，詞素意義分布表，詞化意義分布表和釋義模式分布表。利用二字詞的語義描寫體系分別對《現(xiàn)代漢語詞典》（第六版）新出現(xiàn)的1413個新詞和取自論壇的自然語篇進(jìn)行識別和理解，發(fā)現(xiàn)二字詞的語義構(gòu)詞研究在普通未登錄詞