現(xiàn)代漢語自動分詞研究及幾個算法的實現(xiàn).pdf

1、隨著中國正在向信息化社會迅速前進(jìn)，其突出特征是Internet上中文網(wǎng)頁的急劇增加和中文電子出版物，中文數(shù)字圖書館的迅速普及。以及受限文本為主要對象的中文自然語言處理研究于是也水漲船高，重要性日益顯著。而漢語自動分詞是任何中文處理系統(tǒng)都難以回避的第一道“工序”，其作用是怎么估計都不會過分。只有逾越這個障礙，中文處理系統(tǒng)才稱得上初步打上了“智能”的印記，構(gòu)建于詞平面的各種后續(xù)語言分析手段才有展示身手的舞臺。否則，系統(tǒng)便只能被束縛在字平面上

2、，成不了太大氣候。
　　本論文正是針對上述問題，討論了現(xiàn)代漢語自動分詞的現(xiàn)實性、必要性和可行性。并介紹了現(xiàn)代漢語自動分詞在軟件中的應(yīng)用和理論中的應(yīng)用。詳細(xì)討論并實現(xiàn)了目前常用的現(xiàn)代漢語分詞算法：最大匹配法、逆向掃描算法、最大概率法和中文姓名的識別算法。為了便于分析分詞后的數(shù)據(jù)我設(shè)計了一個通用平臺可將以上各種算法集合一起。通過這個平臺，可以很方便的將新的分詞算法掛上去，并了解整個分詞的流程。為以后的研究提供了方便。
　　通過對