現(xiàn)代漢語(yǔ)新詞提取研究.pdf

1、現(xiàn)代漢語(yǔ)新詞提取研究的目的是從文本中自動(dòng)識(shí)別并提取出新詞，也是中文信息處理中未登錄詞識(shí)別的一種特殊情況。隨著社會(huì)的發(fā)展，新詞大量涌現(xiàn)，新詞的識(shí)別和提取研究就越來(lái)越受到人們的重視。作為在中文信息處理中具有關(guān)鍵性作用的分詞技術(shù)的重要環(huán)節(jié)，現(xiàn)代漢語(yǔ)新詞提取具有重要的研究意義。
　　 目前，語(yǔ)言學(xué)家對(duì)現(xiàn)代漢語(yǔ)新詞研究的許多成果都無(wú)法直接在計(jì)算機(jī)上實(shí)現(xiàn)，僅有有限的構(gòu)詞規(guī)則能運(yùn)用到新詞識(shí)別當(dāng)中去。而基于統(tǒng)計(jì)的方法力圖用成詞概率、互信息等大量

2、詞語(yǔ)的統(tǒng)計(jì)特征來(lái)進(jìn)行新詞識(shí)別，但是統(tǒng)計(jì)得出的規(guī)律受所用語(yǔ)料的影響較大，很難反映出新詞結(jié)構(gòu)的真正特點(diǎn)和本質(zhì)規(guī)律。因此，新詞識(shí)別和提取仍是有待解決的難題。
　　 本文嘗試把新詞的提取分成兩個(gè)階段：新詞語(yǔ)素的識(shí)別：含新詞語(yǔ)素的新詞提取。針對(duì)不同階段的特點(diǎn)提出相應(yīng)的方法：首先，提出了基于決策樹(shù)的新詞語(yǔ)素識(shí)別，把新詞語(yǔ)素識(shí)別看作一個(gè)二值分類(lèi)問(wèn)題，選取單字成詞概率、單字詞性等作為描述屬性，用C5算法構(gòu)建決策樹(shù)；然后，在找到新詞構(gòu)詞語(yǔ)素的基礎(chǔ)