基于統(tǒng)計(jì)的雙語(yǔ)術(shù)語(yǔ)自動(dòng)抽取.pdf

1、術(shù)語(yǔ)自動(dòng)抽取是中文信息處理中的一個(gè)重要課題，術(shù)語(yǔ)抽取對(duì)信息檢索、信息抽取、數(shù)據(jù)挖掘、機(jī)器翻譯、建立領(lǐng)域概念體系等自然語(yǔ)言處理研究具有重要的意義。本文重點(diǎn)介紹在統(tǒng)計(jì)模型的基礎(chǔ)上，構(gòu)建一個(gè)能在雙語(yǔ)文本中抽取術(shù)語(yǔ)對(duì)的原型系統(tǒng)。主要內(nèi)容如下： 本文詳細(xì)的分析了統(tǒng)計(jì)學(xué)方法下的術(shù)語(yǔ)抽取技術(shù)；介紹了在術(shù)語(yǔ)抽取中的幾種常用的對(duì)齊統(tǒng)計(jì)模型及計(jì)算詞語(yǔ)相似度的統(tǒng)計(jì)函數(shù)：闡述了EM算法的基本思想及其數(shù)學(xué)模型。 本文主要工作集中在應(yīng)用相似度函數(shù)：

2、互信息、x<'2>測(cè)試和Log-likelihood比率計(jì)算兩種語(yǔ)言詞語(yǔ)間的關(guān)聯(lián)程度，生成對(duì)齊詞典。在此過(guò)程中，應(yīng)用EM算法對(duì)詞典生成時(shí)的共現(xiàn)矩陣進(jìn)行優(yōu)化，消減共現(xiàn)矩陣中的噪音，提高對(duì)齊詞典的質(zhì)量。 基于以上，設(shè)計(jì)了一個(gè)基于雙語(yǔ)平行語(yǔ)料的術(shù)語(yǔ)抽取的原型系統(tǒng)，并在此系統(tǒng)上進(jìn)行了兩方面的實(shí)驗(yàn)：一是系統(tǒng)開銷實(shí)驗(yàn)，主要考察在雙語(yǔ)對(duì)齊詞典的生成過(guò)程中的幾個(gè)重要步驟的時(shí)間開銷和存儲(chǔ)空間開銷；分析在語(yǔ)料大小不同的條件下，存儲(chǔ)空間和時(shí)間開銷的變