漢語(yǔ)語(yǔ)素構(gòu)詞知識(shí)庫(kù)的構(gòu)建及其在未登錄詞理解上的應(yīng)用.pdf

1、漢語(yǔ)的詞匯系統(tǒng)總是在不斷地發(fā)展和變化，因而未登錄詞的數(shù)量是無(wú)限的。但是語(yǔ)素作為漢語(yǔ)中詞語(yǔ)的構(gòu)詞成分，在數(shù)量上是有限的，且其表義功能是相對(duì)穩(wěn)定的。因此在自然語(yǔ)言處理中，可以把語(yǔ)素作為基礎(chǔ)資源，獲取語(yǔ)素構(gòu)詞的知識(shí)，用來(lái)識(shí)別和理解未登錄詞。然而，目前建立的語(yǔ)素構(gòu)詞知識(shí)庫(kù)大多只用于語(yǔ)素構(gòu)詞規(guī)律的統(tǒng)計(jì)，和未登錄詞的應(yīng)用研究之間存在脫節(jié)現(xiàn)象。
　　為了得到更有利于機(jī)器計(jì)算的語(yǔ)素構(gòu)詞知識(shí)，本文以《現(xiàn)代漢語(yǔ)詞典》第5版、《知網(wǎng)》2009版和《同義

2、詞詞林》擴(kuò)展版這三個(gè)資源所共有的雙字詞為收錄對(duì)象，構(gòu)建了《漢語(yǔ)語(yǔ)素構(gòu)詞知識(shí)庫(kù)》。每一個(gè)詞語(yǔ)義項(xiàng)形成一個(gè)記錄，共39102個(gè)記錄，并對(duì)每一個(gè)記錄標(biāo)注19個(gè)屬性，其中顆粒度最小的是基于《知網(wǎng)》和《現(xiàn)代漢語(yǔ)詞典》的兩種語(yǔ)素義。本文利用《漢語(yǔ)語(yǔ)素構(gòu)詞知識(shí)庫(kù)》，主要做了以下幾個(gè)方面的研究:
　　第一，本文從語(yǔ)義類、語(yǔ)素性類組合、語(yǔ)素義類組合、構(gòu)詞方式、詞義和語(yǔ)素義的關(guān)系五個(gè)方面統(tǒng)計(jì)和分析了《漢語(yǔ)語(yǔ)素構(gòu)詞知識(shí)庫(kù)》所收錄的名詞、動(dòng)詞和形容詞的語(yǔ)

3、素構(gòu)詞知識(shí)，再按構(gòu)詞方式統(tǒng)計(jì)和分析了各詞性的語(yǔ)素性類組合、語(yǔ)素義類組合、詞義和語(yǔ)素義的關(guān)系。
　　第二，本文基于《漢語(yǔ)語(yǔ)素構(gòu)詞知識(shí)庫(kù)》已登錄詞的語(yǔ)素構(gòu)詞知識(shí)，采用了分階段的算法自動(dòng)預(yù)測(cè)未登錄詞的語(yǔ)素構(gòu)詞知識(shí)。通過素義組合或素類組合的匹配，先預(yù)測(cè)語(yǔ)義層面的知識(shí)，再確定相應(yīng)語(yǔ)素項(xiàng)，最終獲得未登錄詞多層面的語(yǔ)素構(gòu)詞知識(shí)。本算法簡(jiǎn)單、直觀、合理，在首素性類、首素義類、首素義、尾素性類、尾素義類、尾素義、構(gòu)詞方式這七項(xiàng)預(yù)測(cè)內(nèi)容全部正確的標(biāo)準(zhǔn)

4、下，實(shí)驗(yàn)結(jié)果預(yù)測(cè)正確率為62.32％，召回率為61.72％。
　　第三，本文在未登錄詞語(yǔ)素構(gòu)詞預(yù)測(cè)的基礎(chǔ)上，將基于語(yǔ)素構(gòu)詞的詞語(yǔ)相似度作為手段，在《漢語(yǔ)語(yǔ)素構(gòu)詞知識(shí)庫(kù)》中查找與未登錄詞相似度最大的詞語(yǔ)作為未登錄詞的匹配詞，以此實(shí)現(xiàn)對(duì)未登錄詞的語(yǔ)義理解。根據(jù)實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)，閾值為0.8時(shí)，未登錄詞語(yǔ)義理解有效率為51.69％。
　　綜上所述，本文構(gòu)建的《漢語(yǔ)語(yǔ)素構(gòu)詞知識(shí)庫(kù)》在未登錄詞的應(yīng)用研究中取得了較好的效果，對(duì)自然語(yǔ)言處理具