基于Web的雙語(yǔ)詞匯構(gòu)建關(guān)鍵技術(shù)研究.pdf

1、雙語(yǔ)詞匯的構(gòu)建是自然語(yǔ)言處理領(lǐng)域一項(xiàng)很基礎(chǔ)的工作。雙語(yǔ)詞匯的好壞直接影響到機(jī)器翻譯、跨語(yǔ)言檢索等自然語(yǔ)言處理系統(tǒng)的性能。像人名、地名、機(jī)構(gòu)名、技術(shù)術(shù)語(yǔ)以及各類新詞經(jīng)常出現(xiàn)，且無(wú)論多么龐大的雙語(yǔ)詞典也無(wú)法將這些詞語(yǔ)收錄完全，這些詞語(yǔ)稱之為未登錄詞。隨著時(shí)間的變化，不斷有新的未登錄詞出現(xiàn)。在機(jī)器翻譯、跨語(yǔ)言檢索等自然語(yǔ)言處理系統(tǒng)中，為了正確翻譯這類詞語(yǔ)，需要不斷的更新系統(tǒng)的翻譯詞典。 總的來(lái)說(shuō)雙語(yǔ)詞匯的構(gòu)建需要解決兩方面的技術(shù)：一，

2、未登錄詞的獲取；二，未登錄詞譯文的獲取。本文將在如何解決這兩類技術(shù)問題上做一些研究工作。 本文實(shí)踐了基于基本短語(yǔ)識(shí)別的未登錄詞獲取技術(shù)。首先標(biāo)注出文本中的基本短語(yǔ)，然后對(duì)于不在翻譯詞典中的詞語(yǔ)視其為未登錄詞候選。對(duì)于基本短語(yǔ)的識(shí)別，采用了基于組塊模型的統(tǒng)計(jì)識(shí)別方法?；径陶Z(yǔ)識(shí)別實(shí)驗(yàn)所處理的語(yǔ)言為英語(yǔ)，但我們這一方法是語(yǔ)言獨(dú)立的，可以移植到其他語(yǔ)言。 未登錄詞中含有大量音譯詞。對(duì)音譯詞譯文的獲取可以采用特殊的方法處理，如運(yùn)

3、用專門的音譯模型。但這首先要做的工作是識(shí)別音譯詞。本文提出了兩個(gè)統(tǒng)計(jì)模型，用于音譯詞識(shí)別。實(shí)驗(yàn)顯示，這兩個(gè)模型的識(shí)別精確率達(dá)到97％以上。 同樣，我們對(duì)直譯詞意譯詞的識(shí)別也做了研究。本文以最大熵模型作為分類器，以詞語(yǔ)的構(gòu)詞特征作為分類特征，通過實(shí)驗(yàn)得出了一些有用的結(jié)論。 最后，本文對(duì)如何從可比較網(wǎng)頁(yè)中獲取未登錄詞譯文做了研究。依據(jù)源語(yǔ)言詞與目標(biāo)語(yǔ)言詞的上下文相似性大小來(lái)判斷是否為互譯的翻譯對(duì)。本文分別運(yùn)用了DICE相關(guān)系