基于字位的中文分詞方法研究與實現(xiàn).pdf

1、自動分詞是中文信息處理領(lǐng)域的一項基本技術(shù)，也是智能化中文信息處理的關(guān)鍵，它在機器翻譯、信息檢索、文本分類等中文信息處理的各項任務(wù)中都發(fā)揮著基礎(chǔ)性的重要作用。 本文在分析中文分詞技術(shù)現(xiàn)狀和問題的基礎(chǔ)上，采用和試驗了一種基于字位的新的分詞方法。此分詞方法以中文字在詞中的位置分布為依據(jù)進行切分，平衡地看待詞表詞和未登錄詞，因此在未登錄詞識別方面有比其它方法更優(yōu)秀的表現(xiàn)。本論文分別使用最大熵和條件隨機場這兩種機器學(xué)習(xí)模型來實現(xiàn)并通過實驗

2、得出結(jié)果的比較分析。最后對本文的研究工作進行總結(jié)，并對未來的繼續(xù)研究方向和發(fā)展前景做出展望。 本文的貢獻和創(chuàng)新主要有以下五個方面：(1)探索研究了最新的基于字位的中文分詞方法：此方法通過確定每個字在詞中的位置來確定分詞，把分詞問題轉(zhuǎn)變?yōu)榉诸悊栴}。(2)運用試驗了最大熵和條件隨機場兩種具體的處理方法在字位分詞中的應(yīng)用。(3)對特征模板選取和訓(xùn)練模型進行了較為深入的研究：分別使用最大熵和條件隨機場比較6特征模極和10特征模板的分詞準