面向漢外機器翻譯的自動分詞系統(tǒng).pdf

1、自動分詞技術是漢外機器翻譯的基礎工程。 漢語自動分詞不僅是漢外機器翻譯的必要環(huán)節(jié)，也是各種漢語信息處理包括語音處理、詞頻統(tǒng)計、主題詞索引、文摘生成、情報檢索、漢語句法分析等工作的基礎工程。 本文首先介紹了自動分詞系統(tǒng)的總體框架。面向漢外機器翻譯的漢語自動分詞系統(tǒng)主要包括三個模塊，即：粗切分模塊、規(guī)范化處理過程模塊以及專名識別模塊。 針對組合歧義，本文總結(jié)了組合歧義的組成結(jié)構(gòu)特點，提出了“窮盡標注，向上傳遞”的實用

2、處理策略，并對組合歧義的發(fā)現(xiàn)策略給出了初步的觀點。本文提出了一種切分規(guī)則庫與基于歧義資料庫相結(jié)合的交集型歧義處理策略。在實際語料中，有一些歧義實際上是機器形式上的歧義，即從一個人的角度來看，真正可能的切分形式只有一種。本文收集所有這些偽歧義組成了偽歧義表，當系統(tǒng)進行歧義切分時，首先查詢偽歧義表，從而可以極大提高交集型歧義的切分精度。 本文通過對大規(guī)模實際語料庫的統(tǒng)計和分析，按照歧義字段的交段個數(shù)，把交集型歧義字段分為四類，分別針

3、對這些字段共總結(jié)出20余條消歧規(guī)則。通過開放性測試，這些規(guī)則證明對交集型歧義的消除是很有效果的。 在專名識別技術中，本文提出了一種基于模板和統(tǒng)計概率的專名識別方法。本文首先通過大規(guī)模實際網(wǎng)絡語料，得到專名內(nèi)部用字的使用頻率，進而對專名進行初步篩選，得到候選專名。而專名的最終確定需要通過各個專名模板進行統(tǒng)一處理。專名模板是指從實際語料中抽取出來的，由專名及其上下文語境組成的一個包含變量與常量的模式匹配字符串。 在開放測試中