中文分詞中的關鍵技術與算法簡介.pdf

1、中文分詞技術是中文信息處理的基礎環(huán)節(jié)，中文分詞的主要任務就是通過計算機自動完成對中文句子的切分，識別出獨立的詞，并在詞與詞之間用空格分割開。計算機無法直接從大量的信息中根據(jù)關鍵詞找到對應的文本及信息，從而無法完成對漢語信息的收集，分類等工作，只有實現(xiàn)了中文分詞技術，計算機才可能具有這些能力。 在信息化社會逐漸來臨的時代，中文網(wǎng)頁、電子出版物、數(shù)字信息越來越多的出現(xiàn)在各個領域，對中文分詞的實際需求和應用也越來越多。中文分詞應用在很

2、多領域：中文信息自動檢索、過濾、分類及摘要，文本校對，機器翻譯，以及在這些基礎之上的語音識別，語義識別等。 由于中文的特殊性，在中文自動分詞的研究過程中的主要難題是歧義切分和生詞識別。眾所周知，中文的詞的劃分無法像西方語系那樣憑借空格來實現(xiàn)，而且同一個字在不同上下文中，沒有非常規(guī)范的語言結構來劃分出詞的組合，因此，如何正確有效的識別出一個有實際意義的真正的詞是中文分詞研究的基礎問題。 對中文分詞的研究已經(jīng)進行了十幾年，中

3、文分詞技術大體可以總結為三大類：基于詞庫的，基于語義的，基于統(tǒng)計的。其中基于語義的中文分詞受限于漢語語言知識的局限，還未取得明顯進展，而針對另外兩種分詞算法的研究已經(jīng)取得了一定的成果。由于每種算法都有其自身的優(yōu)缺點，因此在很多研究和應用中，都是結合了“基于詞庫”和“基于統(tǒng)計”分詞算法的優(yōu)勢，進行進一步的研究。 本文闡述了中文分詞在現(xiàn)代信息學中的意義，中文分詞的研究現(xiàn)狀。詳細描述了國際上流行的隱馬爾科夫數(shù)學模型、EM算法在中文分詞

4、中的應用。以數(shù)學統(tǒng)計模型為基礎，對中文分詞的方法及可行性進行了研究。介紹了當前中文分詞取得的成就和常用方法，對不同的算法進行了比較。 進行的主要工作包括：1．在對基于詞典的分詞方法、基于語義的分詞方法及基于統(tǒng)計的分詞方法的研究改進的基礎之上，完成了一個基于動態(tài)詞典的中文分詞的方法；2．合理有效的將數(shù)學統(tǒng)計方法、置信度算法、倒排文件索引等方法、算法運用于該分詞方法之中；3．著重于優(yōu)化在基于統(tǒng)計的中文分詞中遇到的性能低下的問題。該方