基于大規(guī)模語料庫的中文新詞識別.pdf

1、互聯(lián)網(wǎng)對于信息傳播的巨大推動作用，越來越多的新詞出現(xiàn)在人們的生活之中。這些新詞反映了詞匯學的發(fā)展和演進的趨勢，成為語言學關(guān)注的焦點，也是自然語言處理無法回避的一大挑戰(zhàn)。新詞的自動識別，在漢語詞典編纂、信息抽取、漢語自動分詞等多領(lǐng)域都具有重要意義。 新詞是指詞法分析器使用的詞典里沒有收錄的詞。漢語自動分詞面臨的一個主要難題就是新詞的自動識別。含有新詞的文本經(jīng)過分詞后，大多被切分成碎片的形式。本文對Internet下載的新聞?wù)Z料進行

2、漢語分詞和詞性標注，然后進行串頻統(tǒng)計，得到潛在新詞。 對于單字串模式的新詞，本文提出了一種新的基于大規(guī)模語料庫的新詞識別方法，利用漢字與相鄰的切分標注的共現(xiàn)頻度，建立局部二元模型。該模型考察構(gòu)成新詞的漢子和上下文之間的關(guān)系，使用局部二元統(tǒng)計量來篩選新詞。兩個相鄰漢字的互信息度量了它們之間的緊密程度，對于大于兩字的單字串，我們引入平均互信息的概念，計算潛在新詞的相鄰漢字互信息的平均值，并將其應(yīng)用到單字串模式的新詞識別中。實驗結(jié)果表

3、明，使用局部二元模型的新詞識別效果好于使用平均互信息，前者的F-值可達到79.05％，高于后者的71.37％，表明了局部二元模型的有效性。我們進行了將平均互信息和局部二元統(tǒng)計量結(jié)合起來使用的實驗，F(xiàn)-值可達到79.94％。 對于“雙字詞+單字”模式的新詞，本文將其定義為后綴模式。首先使用人工歸納出的后綴集合，以及根據(jù)詞表統(tǒng)計出作為三字詞尾字的漢字集合，分別進行了實驗，又將兩個后綴集合合并起來，實驗結(jié)果高于單獨使用一種方法的效果。