基于Helmholtz原理的中文新詞識別.pdf

1、在新詞識別領(lǐng)域，研究者的研究階段處于有效的新詞特征挖掘和新詞檢測模型選擇。現(xiàn)有的新詞特征主要包括語言知識特征和統(tǒng)計特征。常用的語言知識特征有前后綴、串長，統(tǒng)計特征有詞頻、互信息、左熵、右熵、色子矩陣(Dice)。新詞，為何新？“新”可以跟時間對比，在某個時間點(diǎn)之前新詞從未出現(xiàn)過，這個時間點(diǎn)后新詞出現(xiàn)了，并被人們廣泛使用，但新詞出現(xiàn)的這個時間點(diǎn)很模糊，無法具體界定。針對新詞時間分布特性難以描述的問題，本文提出一種量化新詞時間分布特性的方法

2、，并用于新詞檢測。
　　本文采用候選新詞詞頻與Helmholtz原理相結(jié)合來量化新詞的時間分布特性。詞頻體現(xiàn)人們某段時間對某個詞的使用頻度，本文將詞的時間分布特性量化為語料中文檔詞的詞頻分布。Helmholtz原理觀察事件是否遠(yuǎn)偏離事件發(fā)生的隨機(jī)分布，如果事件觀察結(jié)果明顯偏離隨機(jī)分布，則該事件是有意義的。文檔詞的詞頻分布是Helmholtz原理的觀察對象，新詞在連續(xù)時間段內(nèi)從無到出現(xiàn)，然后被廣為傳播使用表現(xiàn)為新詞的詞頻劇增，相比于

3、詞典詞的詞頻分布，候選新詞的詞頻分布可能會被Helmholtz原理觀察為偏離隨機(jī)分布的事件。
　　本文解決了時間分布特性量化的難題，并用于新詞檢測。在實(shí)驗(yàn)階段，采用支持向量機(jī)(SVM)作為新詞檢測模型，融合互信息、左熵、右熵、Dice的組合特征做實(shí)驗(yàn)的Baseline，新詞識別準(zhǔn)確率為85.6093％。在Baseline的基礎(chǔ)上，新詞特征增加串長、詞頻，新詞識別的準(zhǔn)確率為87.5328％。在此基礎(chǔ)上，新詞特征增加以詞頻與Helmh