漢語句法分析及其在漢英統(tǒng)計翻譯中的應(yīng)用.pdf

1、本文是對漢語句法分析和基于句法的統(tǒng)計機(jī)器翻譯的一個初步研究。文中對句法分析和機(jī)器翻譯的重要技術(shù)和發(fā)展脈絡(luò)進(jìn)行了整理和分析，并在此基礎(chǔ)上分別設(shè)計并實(shí)現(xiàn)了一個漢語句法分析系統(tǒng)和一個基于句法的統(tǒng)計機(jī)器翻譯原型系統(tǒng)。 句法分析方面，我們主要的工作是將詞性標(biāo)注的過程和句法分析的過程進(jìn)行融合，將詞性標(biāo)注和句法分析一體化，探討最終避免詞性標(biāo)注錯誤傳播的途徑。我們將詞性標(biāo)注看作分析的初始化過程，將單詞的詞性看成一種特殊的邊，對于每個單詞上的每種

2、可能詞性標(biāo)注都生成一條邊，并根據(jù)隱馬爾可夫過程假設(shè)計算該邊的優(yōu)先級。而對于具體的分析過程，我們采用Collins的基于核心節(jié)點(diǎn)的馬爾可夫擴(kuò)展方式和Chamiak的基于邊的最佳優(yōu)先算法。最終的實(shí)驗(yàn)結(jié)果表明，這樣的嘗試是成功的，我們在濱州樹庫1.0上取得F1為80.36％，詞性標(biāo)注準(zhǔn)確率為92.74％。同時，我們進(jìn)行了對比實(shí)驗(yàn)，我們采用Adwait的最大熵詞性標(biāo)注器給出最優(yōu)的標(biāo)注，后進(jìn)行句法分析，得到句法分析F1為76.07％，詞性標(biāo)注準(zhǔn)確

3、率為92.8％。這進(jìn)一步證明了我們的融合思想的正確性，即在詞性標(biāo)注準(zhǔn)確率相同的情況下，詞性標(biāo)注和句法分析的融合可以有效地減少錯誤傳播。 機(jī)器翻譯方面，我們主要是對Graehl和Kevin Knight的模型進(jìn)行演化改進(jìn)，提出了廣義葉子節(jié)點(diǎn)的概念。我們采用自底向上的策略，將已找到對齊的子樹縮成一點(diǎn)，用該子樹的根節(jié)點(diǎn)代替該子樹作為新的葉子節(jié)點(diǎn)；這種新生成的葉子節(jié)點(diǎn)，我們稱之為廣義葉子結(jié)點(diǎn)。在這自底向上的過程中，當(dāng)找到對齊時，我們用子