基于Web的雙語詞匯構(gòu)建關鍵技術(shù)研究.pdf

1、雙語詞匯的構(gòu)建是自然語言處理領域一項很基礎的工作。雙語詞匯的好壞直接影響到機器翻譯、跨語言檢索等自然語言處理系統(tǒng)的性能。像人名、地名、機構(gòu)名、技術(shù)術(shù)語以及各類新詞經(jīng)常出現(xiàn)，且無論多么龐大的雙語詞典也無法將這些詞語收錄完全，這些詞語稱之為未登錄詞。隨著時間的變化，不斷有新的未登錄詞出現(xiàn)。在機器翻譯、跨語言檢索等自然語言處理系統(tǒng)中，為了正確翻譯這類詞語，需要不斷的更新系統(tǒng)的翻譯詞典。 總的來說雙語詞匯的構(gòu)建需要解決兩方面的技術(shù)：一，

2、未登錄詞的獲?。欢?，未登錄詞譯文的獲取。本文將在如何解決這兩類技術(shù)問題上做一些研究工作。 本文實踐了基于基本短語識別的未登錄詞獲取技術(shù)。首先標注出文本中的基本短語，然后對于不在翻譯詞典中的詞語視其為未登錄詞候選。對于基本短語的識別，采用了基于組塊模型的統(tǒng)計識別方法?；径陶Z識別實驗所處理的語言為英語，但我們這一方法是語言獨立的，可以移植到其他語言。 未登錄詞中含有大量音譯詞。對音譯詞譯文的獲取可以采用特殊的方法處理，如運

3、用專門的音譯模型。但這首先要做的工作是識別音譯詞。本文提出了兩個統(tǒng)計模型，用于音譯詞識別。實驗顯示，這兩個模型的識別精確率達到97％以上。 同樣，我們對直譯詞意譯詞的識別也做了研究。本文以最大熵模型作為分類器，以詞語的構(gòu)詞特征作為分類特征，通過實驗得出了一些有用的結(jié)論。 最后，本文對如何從可比較網(wǎng)頁中獲取未登錄詞譯文做了研究。依據(jù)源語言詞與目標語言詞的上下文相似性大小來判斷是否為互譯的翻譯對。本文分別運用了DICE相關系