結(jié)合語(yǔ)義的位置語(yǔ)言模型.pdf

1、在過(guò)去的四十年里,信息檢索領(lǐng)域出現(xiàn)了很多經(jīng)典的模型,諸如布爾模型、向量空間模型以及概率模型。隨著Pnoet和Corft首次提出基于統(tǒng)計(jì)語(yǔ)言模型的檢索模型,近十年來(lái)該模型得到了快速的發(fā)展。國(guó)內(nèi)外許多學(xué)者都加入了這個(gè)領(lǐng)域的研究,做了大量有意義的工作,因此又陸續(xù)的提出了隱馬爾科夫模型,統(tǒng)計(jì)翻譯模型,風(fēng)險(xiǎn)最小化模型等。
　　但是大多數(shù)檢索模型都是基于詞在文檔中的頻率,而未考慮詞在文檔中的位置關(guān)系。例如這樣的兩篇文檔——包含了相同集合的詞并

2、且每個(gè)詞在兩篇文檔中的出現(xiàn)頻率都一樣,唯一不同的是這些詞在文檔中擺放的位置順序有所不同,那么對(duì)于大多數(shù)檢索模型這兩篇文檔的檢索得分是一樣的。但若第一篇文檔中查詢?cè)~與查詢?cè)~出現(xiàn)得更為鄰近,第二篇?jiǎng)t出現(xiàn)得更為疏遠(yuǎn)的話,那么顯然第一篇文檔理應(yīng)獲得更高的檢索得分,而大多數(shù)檢索模型都無(wú)法做到這點(diǎn)。
　　基于這點(diǎn)出發(fā),Lv和Zhai提出了一種位置語(yǔ)言模型,并成功的應(yīng)用于信息檢索,該模型最大的優(yōu)勢(shì)就是考慮了文檔中詞與詞的位置關(guān)系。但該模型依然還

3、存有缺陷:并未考慮到詞與詞之間的語(yǔ)義關(guān)系。因此本文在他們的工作基礎(chǔ)上進(jìn)行了改進(jìn),提出了一種結(jié)合語(yǔ)義的位置語(yǔ)言模型。
　　具體來(lái)說(shuō)本文的主要工作和創(chuàng)新點(diǎn)如下:
　　1)提出了一種新的技術(shù)——“平滑互信息”,來(lái)度量?jī)蓚€(gè)詞之間的轉(zhuǎn)移概率。由于數(shù)據(jù)集中的詞存在稀疏性,因此直接使用互信息來(lái)度量?jī)蓚€(gè)詞的轉(zhuǎn)移概率會(huì)造成大量的詞對(duì)無(wú)法計(jì)算。本文則對(duì)互信息采用了一種平滑技術(shù),使得數(shù)據(jù)集上幾乎任意兩個(gè)詞都可計(jì)算出平滑互信息,從而計(jì)算出兩個(gè)詞的轉(zhuǎn)

4、移概率。更為重要的是,這種平滑技術(shù)遵循了詞在數(shù)據(jù)集中的原始分布,并在附錄中給出了這種平滑技術(shù)的理論證明。
　　2)基于概率統(tǒng)計(jì)學(xué)以及互信息等相關(guān)理論,提出了一種結(jié)合語(yǔ)義的位置語(yǔ)言模型。本文給出了該模型中每個(gè)未知參數(shù)的估計(jì)思想以及估計(jì)方法,并且進(jìn)一步對(duì)比了位置語(yǔ)言模型和結(jié)合語(yǔ)義的位置語(yǔ)言模型的異同點(diǎn)。最后證明了位置語(yǔ)言模型是本文模型的一個(gè)特例。
　　3)通過(guò)實(shí)驗(yàn)表明,基于本文模型的檢索模型在檢索性能方面要優(yōu)于基于位置語(yǔ)言模型的