基于語(yǔ)言模型的句子檢索技術(shù)研究.pdf

1、信息檢索是近幾年來(lái)發(fā)展迅速的計(jì)算機(jī)應(yīng)用學(xué)科。句子檢索是細(xì)粒度的信息檢索，在自動(dòng)問(wèn)答、文檔文摘、機(jī)器翻譯等領(lǐng)域有著廣泛的應(yīng)用。本文的課題來(lái)源于“雙語(yǔ)例句檢索系統(tǒng)”中句子檢索技術(shù)的研究。句子檢索的主要難點(diǎn)是信息量少、缺少上下文，這使得在查詢與句子之間的“詞不匹配”問(wèn)題導(dǎo)致檢索失敗的概率比普通文檔檢索的概率大。這要求句子檢索技術(shù)必須充分利用已有的信息，如詞序信息、句子結(jié)構(gòu)，并且深入“理解”句子。本文研究側(cè)重解決部分句子檢索中的“詞不匹配”問(wèn)題

2、，以提高檢索性能。
　　本文的研究從兩方面入手，一、是從查詢處理角度，二、是從句子檢索模型角度。查詢是用戶信息需求的表示。用戶輸入的查詢存在拼寫錯(cuò)誤、同義詞使用不當(dāng)、單詞形態(tài)錯(cuò)誤等問(wèn)題，這些都會(huì)導(dǎo)致查詢中的“詞不匹配”問(wèn)題。本文第二章研究了基于語(yǔ)言模型的“查詢修正模型”，以統(tǒng)一模型處理多種查詢變換，并以統(tǒng)計(jì)語(yǔ)言模型評(píng)估變換結(jié)果，求得最優(yōu)的“修正查詢”。查詢修正能夠部分解決“詞不匹配”問(wèn)題，對(duì)于提高句子檢索系統(tǒng)有重要意義。
　

3、　本文第三章先研究了基于詞義語(yǔ)言模型的檢索模型，作為后續(xù)句子檢索模型研究的基礎(chǔ)。詞義語(yǔ)言模型是在統(tǒng)計(jì)語(yǔ)言模型基礎(chǔ)上引入詞義表示的統(tǒng)計(jì)模型，嘗試以統(tǒng)計(jì)方法解決傳統(tǒng)語(yǔ)言模型中“詞不匹配”的問(wèn)題。在句子檢索方面，本文第四章采用了線性判別模型作為句子檢索的計(jì)算模型。特征選用一元語(yǔ)言模型、基于詞義的編輯距離和詞義語(yǔ)言模型。線性判別模型模型的優(yōu)點(diǎn)在于，對(duì)查詢和文檔的分布假設(shè)比傳統(tǒng)基于隱馬爾可夫的語(yǔ)言模型要弱，以系統(tǒng)的準(zhǔn)確率MAP作為優(yōu)化目標(biāo)，有利于