智能雙語搜索方法及搜索引擎的研究.pdf

1、隨著我國經濟與對外交流的不斷發(fā)展，翻譯市場規(guī)模迅速擴大，利用計算機軟件等翻譯工具越來越受到用戶的青睞，各類機器翻譯的技術和方法層出不窮。機器翻譯的方法主要分為兩大類，分別是基于規(guī)則的方法和基于語料庫的方法?；谝?guī)則的機器翻譯最大的難題就是語言歧義的消解；基于語料庫的方法是采取翻譯記憶的模式，用戶利用已有的原文和譯文，建立起一個或多個語料庫，在翻譯過程中，系統(tǒng)自動搜索庫中相同或相似的翻譯資源，并給出參考譯文。 但是，目前大量基于翻

2、譯記憶模式的翻譯軟件所依賴的語料庫都是人工構建的，語料庫容量有限，且更新緩慢。隨著因特網的發(fā)展，基于Web的全文搜索引擎越來越成為信息檢索的主要手段，若能將翻譯技術與Web信息搜索技術結合起來，就可以為用戶提供完善的、實時的和動態(tài)的翻譯服務。 從研究對象的角度來看，Internet所包含的數(shù)據呈現(xiàn)出海量性、半結構化、多樣性、動態(tài)性、分布式和異構性的特點。特別是經過多年的積累，Internet網站上存儲了海量的中英文雙語網頁資源。

3、 雙語語料庫對機器翻譯、機器輔助翻譯、雙語詞典編纂、雙語術語自動提取、雙語對比研究以及雙語教學的巨大價值已經得到越來越多的認可。對于機器翻譯或機器輔助翻譯而言，雙語語料庫主要在兩方面發(fā)揮作用。一方面，雙語語料庫可以持續(xù)不斷地為基于記憶的翻譯引擎提供翻譯實例，另一方面，雙語語料庫又是一個寶藏，可以從中挖掘學習各種細粒度翻譯知識，供機器翻譯、機器輔助翻譯使用，這些翻譯知識對翻譯任務的各個環(huán)節(jié)都會起到積極作用 本課題的研究目的

4、是通過對網絡搜索引擎、自動積累雙語語料庫、機器翻譯的研究，利用網絡機器人技術、網頁噪音過濾技術、語句匹配入庫算法、數(shù)據挖掘、分詞技術、雙語對齊技術、智能用戶接口技術、個性化搜索技術、元搜索及結果融合與排序算法、全文檢索技術以及JAVA應用等多項技術，研究基于網絡大規(guī)模語料庫和雙語網頁搜索的智能雙語搜索方法和搜索引擎。這既可以為專業(yè)人員提供自動的雙語網頁資源，又可以為用戶提供高質量的輔助翻譯，避免翻譯的重復勞動，提高翻譯質量，具有很好的市

5、場價值和社會效益。 本文在研究過程中，主要的創(chuàng)新工作如下： （1）在互聯(lián)網海量信息中，專門針對含有中英雙語信息的單頁文本和雙頁對照文本進行研究。根據兩者不同的特點，對雙頁雙語文本首次提出了雙頁雙語語料挖掘算法DBWCM；對單頁雙語文本設計了分步處理算法，提出了識別與凈化單頁雙語文本的算法IPSBW和雙語句對匹配與語料挖掘算法BSMCM。通過執(zhí)行它們提取網頁中大量存在的雙語平行翻譯語料，形成大規(guī)模的語料庫，為輔助翻譯搜索打

6、下堅實基礎。 （2）針對當前搜索引擎的用戶界面現(xiàn)狀，利用概念檢索和潛在語義分析的思想，通過建立雙語同義詞詞典對查詢關鍵詞進行雙語擴展，并為用戶輸入提供擴展提示，實現(xiàn)良好的用戶界面，提高了雙語輔助搜索的智能性和查全率。同時為提高查詢的準確率，滿足用戶的個性化需求，研究了顯式和隱式兩種獲取與更新用戶個性化信息的方法，提出了雙語關鍵詞個性化擴充算法PEBK和雙語查詢結果的個性化排序算法PSBR，以便使查詢結果達到因時因人因地的不同，得

7、到用戶真正想看到的結果。 （3）為了擴大雙語搜索的范圍，將元搜索技術應用在雙語翻譯搜索中，通過分析元搜索的結果融合方法，針對使用PageRank算法的問題，提出了結合相關度的改進算法RSBS，并對算法的效果進行驗證。 （4）最后，在形成雙語語料庫的基礎上，基于Java和Lucene工具，設計網絡機器人模塊、網頁識別與凈化模塊、語料匹配入庫模塊、索引模塊、檢索模塊、個性化查詢模塊，用戶接口等七個主要模塊，實現(xiàn)雙語搜索，為用