基于WEB的雙語句對齊語料的獲取和過濾.pdf

1、近年來，語料庫資源對于自然語言處理研究的巨大價(jià)值已經(jīng)得到越來越多的認(rèn)可。特別是平行雙語語料庫，它是一種包含有兩種語言互譯信息的特殊的語料庫。它能夠提供兩種語言之間豐富的匹配信息，在翻譯知識(shí)的獲取、雙語詞典的建立、基于統(tǒng)計(jì)或?qū)嵗臋C(jī)器翻譯、詞義消歧等領(lǐng)域有著重要的應(yīng)用價(jià)值，但是大規(guī)模、高質(zhì)量的平行雙語語料的獲取卻存在很多的困難。本文面向互聯(lián)網(wǎng)領(lǐng)域，實(shí)現(xiàn)了一套基于WEB的雙語句對齊語料的獲取和過濾的系統(tǒng)，主要就是為了解決大規(guī)模和高質(zhì)量的平行

2、雙語語料資源獲取的問題。
　　本文首先對互聯(lián)網(wǎng)的平行雙語資源進(jìn)行調(diào)查和分析，對不同類別的雙語資源提出了不同的處理方法。本文發(fā)現(xiàn)大量的雙語句對齊語料可以從經(jīng)過篇章級(jí)對齊處理的雙語語料中獲取，所以首先本文研究如何獲取雙語篇章級(jí)對齊語料。然后對于這些從網(wǎng)絡(luò)上獲取的平行雙語文本，本文進(jìn)行句對齊處理，將其轉(zhuǎn)化成雙語句對齊語料。最后，采取了分類的思想將所得到的平行雙語語料進(jìn)行過濾，得到了高質(zhì)量的雙語句對齊語料。
　　本文在第二章分析了互

3、聯(lián)網(wǎng)上現(xiàn)存的平行雙語資源，并有針對性的提出了本文的研究研究重點(diǎn)。在第三章中提出了一種利用由數(shù)字和NE構(gòu)成的網(wǎng)頁指紋進(jìn)行候選網(wǎng)頁獲取的方法，這種方法克服了以前研究中對URL命名相似性過度依賴而導(dǎo)致召回率過低的缺點(diǎn)，獲得了大量的篇章級(jí)平行語料。面對真實(shí)網(wǎng)絡(luò)環(huán)境的雙語文本，本文在第四章提出了一種利用句子長度和位置信息的雙語文本的句子對齊方法來獲得句對齊語料，通過實(shí)驗(yàn)也獲得了較高的準(zhǔn)確率和健壯性。本文在最后一章主要解決如何獲得高質(zhì)量句對的問題，