基于統(tǒng)計的雙語術(shù)語自動抽取.pdf

1、術(shù)語自動抽取是中文信息處理中的一個重要課題，術(shù)語抽取對信息檢索、信息抽取、數(shù)據(jù)挖掘、機器翻譯、建立領(lǐng)域概念體系等自然語言處理研究具有重要的意義。本文重點介紹在統(tǒng)計模型的基礎(chǔ)上，構(gòu)建一個能在雙語文本中抽取術(shù)語對的原型系統(tǒng)。主要內(nèi)容如下： 本文詳細的分析了統(tǒng)計學方法下的術(shù)語抽取技術(shù)；介紹了在術(shù)語抽取中的幾種常用的對齊統(tǒng)計模型及計算詞語相似度的統(tǒng)計函數(shù)：闡述了EM算法的基本思想及其數(shù)學模型。 本文主要工作集中在應用相似度函數(shù)：

2、互信息、x<'2>測試和Log-likelihood比率計算兩種語言詞語間的關(guān)聯(lián)程度，生成對齊詞典。在此過程中，應用EM算法對詞典生成時的共現(xiàn)矩陣進行優(yōu)化，消減共現(xiàn)矩陣中的噪音，提高對齊詞典的質(zhì)量。 基于以上，設計了一個基于雙語平行語料的術(shù)語抽取的原型系統(tǒng)，并在此系統(tǒng)上進行了兩方面的實驗：一是系統(tǒng)開銷實驗，主要考察在雙語對齊詞典的生成過程中的幾個重要步驟的時間開銷和存儲空間開銷；分析在語料大小不同的條件下，存儲空間和時間開銷的變