利用web抽取雙語翻譯對的研究與實(shí)現(xiàn).pdf

1、重慶大學(xué)碩士學(xué)位論文利用web抽取雙語翻譯對的研究與實(shí)現(xiàn)碩士研究生：樊聰指導(dǎo)教師：王時(shí)龍教授學(xué)科、專業(yè)：計(jì)算機(jī)軟件與理論(軟件工程領(lǐng)域)重慶大學(xué)軟件學(xué)院二OO七年十月摘要近年來，在自然語言處理的研究和開發(fā)中，雙語翻譯對（包括句子，短語，詞匯）的作用日益突顯出來，它為跨語言檢索和機(jī)器翻譯等自然語言處理應(yīng)用提供基礎(chǔ)資源。大量的雙語翻譯對可以明顯改進(jìn)上述基于實(shí)例的自然語言應(yīng)用系統(tǒng)的性能。因而人們提出了很多抓取雙語翻譯的方法，早期的方法主要是從

2、平行語料里進(jìn)行抽取。這類方法存在規(guī)模不足，領(lǐng)域局限，不能很好處理新詞等問題。隨著互聯(lián)網(wǎng)得飛速發(fā)展，大量網(wǎng)頁中包含了雙語翻譯對。并且由于互聯(lián)網(wǎng)自身的多樣性和實(shí)時(shí)性，互聯(lián)網(wǎng)上的翻譯對覆蓋面廣，而且包含了大量新詞。因此，從互聯(lián)網(wǎng)上抽取雙語翻譯對已成為了當(dāng)今信息抽取領(lǐng)域里的研究熱點(diǎn)。本文提出了一種新穎的從互聯(lián)網(wǎng)上獲取雙語平行翻譯對的方法，該方法基于雙語平行翻譯對在網(wǎng)上會集群式出現(xiàn)的特點(diǎn)，通過一個(gè)循環(huán)迭代的挖掘方法自動的從互聯(lián)網(wǎng)上發(fā)現(xiàn)，抽取高質(zhì)量

3、的翻譯對。首先利用種子數(shù)據(jù)從搜索引擎上獲取包含種子數(shù)據(jù)的網(wǎng)頁，然后使用一個(gè)啟發(fā)式的評估方法從網(wǎng)頁中發(fā)現(xiàn)雙語平行翻譯對。對這些包含集群式出現(xiàn)的雙語翻譯對的信息區(qū)域，我們使用了PAT樹的數(shù)據(jù)結(jié)構(gòu)自動構(gòu)建抽取模板，然后，根據(jù)模板的抽取性能（使用Fmeasure進(jìn)行評測）采用RankingSVM對這些模板進(jìn)行排序，使用排序后的前10個(gè)模板聯(lián)合表面模板（SurfacePattern）進(jìn)行翻譯對的抽取。最后，再通過使用一個(gè)基于源語言和目標(biāo)語言翻譯相