基于Web的中越雙語(yǔ)平行語(yǔ)料自動(dòng)獲取技術(shù)研究.pdf

1、目前的統(tǒng)計(jì)機(jī)器翻譯的發(fā)展,由于其對(duì)大規(guī)模平行語(yǔ)料庫(kù)的依賴,還主要集中在平行語(yǔ)料庫(kù)相對(duì)容易獲得的英法、英漢等語(yǔ)言之間。由于獲取途徑的限制,即使像英語(yǔ),漢語(yǔ),法語(yǔ)這些常用的官方語(yǔ)言間的對(duì)照語(yǔ)料,得到的平行語(yǔ)料庫(kù)就算是有一定的規(guī)模,也多半都是很不平衡的,主要都是政府性或新聞性的題材,其他專業(yè)領(lǐng)域的平行語(yǔ)料庫(kù)則少之又少,至于其他一些國(guó)際上不常用的語(yǔ)言間的平行語(yǔ)料庫(kù),即使是這種非平衡的資源也很難獲得,對(duì)于目前尚不成熟的中越兩國(guó)語(yǔ)言的平行語(yǔ)料,此種

2、問(wèn)題則更為突出。本文致力于構(gòu)建一個(gè)基于Web的大規(guī)模中越雙語(yǔ)平行語(yǔ)料庫(kù)自動(dòng)獲取系統(tǒng)。取得主要成果有以下幾方面:
　　 1.提出基于圖片鏈接信息對(duì)齊URL無(wú)命名規(guī)律的中越雙語(yǔ)平行網(wǎng)頁(yè)的算法
　　 目前主流的中越雙語(yǔ)平行網(wǎng)站的URL命名無(wú)規(guī)律性同時(shí)又含有大量附圖鏈接并且鏈接所指向的網(wǎng)頁(yè)含有豐富的中越雙語(yǔ)平行語(yǔ)料資源這一特性,通過(guò)提取以上雙語(yǔ)平行網(wǎng)頁(yè)以及目前主流網(wǎng)站的附圖鏈接的網(wǎng)頁(yè)的HTML源代碼并對(duì)其附圖鏈接的代碼部分進(jìn)行詳

3、盡的結(jié)構(gòu)比較、分析,發(fā)現(xiàn)了所有網(wǎng)站在附圖鏈接源代碼上的一個(gè)統(tǒng)一的固定結(jié)構(gòu),并成功實(shí)現(xiàn)抽取這一固定結(jié)構(gòu)及其中的圖片鏈接信息和對(duì)應(yīng)候選平行網(wǎng)頁(yè)URL的算法,從而成功實(shí)現(xiàn)利用雙語(yǔ)平行網(wǎng)頁(yè)的圖片鏈接信息相同的這一特征來(lái)對(duì)齊中越雙語(yǔ)候選平行網(wǎng)頁(yè)的方法,從而可以找出盡可能多可信的中越候選網(wǎng)頁(yè)對(duì)。
　　 2.對(duì)基于句子長(zhǎng)度、詞匯的對(duì)齊特征抽取進(jìn)行對(duì)應(yīng)中越雙語(yǔ)的適應(yīng)性改進(jìn)
　　 基于中越兩國(guó)語(yǔ)言的淵源關(guān)系以及在句子長(zhǎng)度、詞匯互譯上的相似

4、之處,本文在現(xiàn)有中越雙語(yǔ)平行語(yǔ)料庫(kù)的基礎(chǔ)上對(duì)中越雙語(yǔ)平行句對(duì)的句子長(zhǎng)度進(jìn)行了科學(xué)統(tǒng)計(jì),總結(jié)出了長(zhǎng)度比例、概率分布、拒絕域的重要句子對(duì)齊特征;基于現(xiàn)有尚不成熟完善的漢越雙語(yǔ)詞典提出了引入《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》進(jìn)行越漢詞典的詞條擴(kuò)展、合并本來(lái)不應(yīng)被切分開(kāi)的詞語(yǔ)、互譯詞匯查找的模糊匹配,三種處理策略,顯著提高了中越雙語(yǔ)平行句對(duì)的詞匯匹配率,同時(shí),通過(guò)對(duì)以上處理策略的數(shù)據(jù)收集、統(tǒng)計(jì),為多語(yǔ)種項(xiàng)目日后的漢越詞典的完善、翻譯概率的