基于統(tǒng)計學習的中文分詞改進及其在面向應用分詞中的應用.pdf

1、在漢語中，句子由連續(xù)的漢字組成，中文分詞完成句子從有字的序列轉化為詞的序列的任務。傳統(tǒng)的機械分詞方法基于人工維護的辭典，需要大量的維護成本。本文提出一種基于統(tǒng)計學習的分詞方法，以期在最小人工干預的條件下達到盡可能高的分詞性能。
　　 本文首先對中文分詞技術做了概述。指出了當前中文分詞領域中存在的一些難點問題，并對常見的分詞理論和技術進行了回顧，為論文的研究奠定了理論基礎。
　　 第三章詳細描述了本文提出的基于統(tǒng)計學習的分

2、詞方法。該方法在傳統(tǒng)的統(tǒng)計方法基礎上做了亮點改進:1、引入了基于對數似然比的漢字間關聯度描述，并與逐點互信息和信息熵相結合，提出了一種混合漢字間關聯度度量方法;2、將常用的二元語法擴展為三元語法，提出了一種性能優(yōu)化的三元語法獲取和使用方法。
　　 根據不同自然語言處理應用對分詞的需求并不相同這一基本事實，本文第四章中提出了一種面向應用的分詞架構，將基于統(tǒng)計學習的分詞方法用于未登錄詞識別和分詞粒度調整。面向應用的分詞方法有效彌補了