基于感知器算法的中文分詞增量系統(tǒng)設計與實現(xiàn).pdf

1、文本提出了一種基于感知器的中文分詞增量訓練方法，可在訓練好的模型基礎上添加目標領域標注數(shù)據(jù)繼續(xù)訓練，解決了大規(guī)模切分數(shù)據(jù)難于共享，源領域與目標領域數(shù)據(jù)混合需要重新訓練等問題。在CTB5.0新聞領域和誅仙小說領域的實驗表明，增量訓練可以有效解決領域適應問題。達到與傳統(tǒng)數(shù)據(jù)混合相類似的效果。進一步的實驗分析表明，增量訓練產(chǎn)生的模型遠小于混合訓練方式產(chǎn)生的模型，增量訓練在小規(guī)模數(shù)據(jù)集上能夠更快速的完成訓練。
　　針對基于感知器的中文分詞

2、模型過大問題，本文實現(xiàn)了一種啟發(fā)式的特征篩選方法，以迭代訓練中參數(shù)的更新次數(shù)為閾值進行特征篩選。這種方式有效的避免了自然語言處理中的長尾效應，能夠更好的選擇有用特征。在基于感知器的中文分詞、詞性標注、依存句法分析三個任務上的實驗表明，在準確度幾乎不變的前提下，均可以使模型成倍的縮小。
　　基于增量訓練算法和模型壓縮算法，本文實現(xiàn)了一個在線的個性化分詞服務系統(tǒng)。用戶可以上傳目標領域詞典和訓練語料，系統(tǒng)在后臺自動完成增量訓練算法，為用