中文信息處理關(guān)鍵問題的研究.pdf

1、語言文字信息的計算機自動處理水平和處理量已成為衡量一個國家是否步入信息社會的重要標準之一。漢語自身的復(fù)雜性導(dǎo)致我國中文信息處理(Chinese Information Processing, CIP)水平遠遠滯后于21世紀中國經(jīng)濟全球化的步伐,因此,如何實現(xiàn)中文自然語言的有效理解,已經(jīng)成為備受人們關(guān)注的極具挑戰(zhàn)性的國際前沿課題。
　　本文針對目前中文信息處理領(lǐng)域存在的問題,重點研究了中文語法層詞法、基本短語分析和中文語義處理及其在

2、信息檢索中的應(yīng)用技術(shù)。本文的創(chuàng)新主要體現(xiàn)在以下幾個方面:
　　1.在語法層面上,研究了漢語詞法分析和基本短語分析相關(guān)技術(shù)。重點研究了最大熵模型,給出了必要的數(shù)學(xué)推導(dǎo)及IFS、SGC、GIS、IIS算法的偽代碼描述,針對漢語的特點,提出了一個漢語基本短語分析模型,將漢語短語的邊界劃分和短語標識分開,假定這兩個過程相互獨立,采用最大熵方法分別建立模型解決。最大熵模型的關(guān)鍵是如何選取有效的特征,文中給出了兩個步驟相關(guān)的特征空間以及特征選

3、擇過程和算法。實驗表明,模型的短語定界精確率達到95.27％,標注精確率達到96.20%。
　　2.在應(yīng)用層面上,研究了將中文信息處理引入信息檢索領(lǐng)域需要解決的關(guān)鍵問題。設(shè)計了一個基于潛在語義分析(Latent Semantic Analysis, LSA)的常用問答(Frequently-Asked Question, FAQ)系統(tǒng),并給出了系統(tǒng)中各個子模塊的詳細實現(xiàn)過程,其中,在自然語言接口模塊中提出了一種新的語義匹配方法,在