英漢可比較語料庫的構(gòu)建與應(yīng)用研究.pdf

1、雙語平行語料在計算語言學(xué)和自然語言處理研究領(lǐng)域具有廣泛的應(yīng)用，它為統(tǒng)計機(jī)器翻譯模型提供不可或缺的訓(xùn)練數(shù)據(jù)，同時也是詞典編纂和跨語言信息檢索等應(yīng)用的重要資源。然而，大規(guī)模的雙語平行語料庫并不容易獲取，現(xiàn)有的真正可以利用的具有高質(zhì)量對齊的平行語料庫資源非常有限。雖然有一些研究者提出了基于網(wǎng)絡(luò)的雙語平行語料自動挖掘方法，但是由于網(wǎng)絡(luò)的復(fù)雜多樣性，實(shí)際應(yīng)用中往往很難獲取大規(guī)模高質(zhì)量的平行語料。
　　 針對平行語料存在的規(guī)模不足、領(lǐng)域局限

2、、不能很好地處理新詞等問題，許多學(xué)者開展了可比較語料庫的研究。與平行語料相比，可比較語料的限制少、易于更新、并且容易獲得。因此，可比較語料庫的構(gòu)建及應(yīng)用已成為當(dāng)前研究的熱點(diǎn)。
　　 本文主要研究了基于網(wǎng)絡(luò)的英漢可比較語料庫的構(gòu)建方法以及可比較語料庫在翻譯等價對抽取和跨語言信息檢索中的應(yīng)用。
　　 在構(gòu)建可比較語料庫之前，首先研究了如何從互聯(lián)網(wǎng)上獲得大規(guī)模雙語文本，提出一種從新聞網(wǎng)站構(gòu)建特定領(lǐng)域文檔集的方法，為可比較語料庫

3、的構(gòu)建打下基礎(chǔ)。獲得大規(guī)模英漢雙語文本后，采用跨語言信息檢索技術(shù)，從目標(biāo)語言文檔集合中檢索與源語言文檔相關(guān)的文檔，從而建立源語言文檔與目標(biāo)語言文檔之間的映射關(guān)系，即建立英文文檔與中文文檔之間的映射關(guān)系，最終得到英漢可比較語料庫。
　　 在可比較語料庫的應(yīng)用方面，首先研究基于可比較語料庫進(jìn)行翻譯等價對的抽取，采用的是基于上下文向量的方法。實(shí)驗(yàn)證明了上下文向量抽取方法的有效性，并比較了不同上下文向量構(gòu)建方法的性能。接著，將所抽取的翻