基于統(tǒng)計語言模型和Passage特征的信息檢索模型研究.pdf

1、信息檢索模型是對信息檢索任務及實現(xiàn)方法的一種抽象描述。信息檢索模型是信息檢索理論研究的一個核心內容，因此對于它的研究有重要的理論意義和實用價值。另外，統(tǒng)計語言模型自從被應用到信息檢索領域就被認為是優(yōu)秀的信息檢索模型框架。該模型框架已經(jīng)被廣泛地研究。passage是信息檢索領域中被利用的有效語言學特征之一。本文主要研究對象是基于統(tǒng)計語言模型框架和passage特征的信息檢索模型。
　　具體地講，本文研究主要內容如下：
　　1.

2、本文考察了經(jīng)典信息檢索模型及其擴展模型，分析了應用于信息檢索領域的統(tǒng)計語言模型及其平滑方法。同時，本文討論了passage的分類。然后，本文提出了一種新的信息檢索模型──PJM。通過擴展Jelinek-Mercer平滑方法，該模型把passage特征成功地引入到了統(tǒng)計語言模型框架中。在TREC測試集上的實驗結果表明，和傳統(tǒng)的簡單語言模型相比，新模型性能有了顯著的提高。為了對模型進行實驗，本文介紹了實驗使用的平臺：Lemur。
　　

3、2.本文進一步研究了如何在語言模型框架下更好地利用passage特征。本文分析了信息檢索領域對passage特征研究的兩個方向：關于passage形式的研究和如何利用已有passage的研究。此外，本文總結了兩個研究方向的具體做法，為以后的相關研究奠定了基礎。然后本文比較了別的學者提出的方法與新的PJM模型，用實驗證明了在統(tǒng)計語言模型框架下綜合passage級別和文檔級別兩者信息相對僅僅使用passage級別信息也可以產(chǎn)生檢索效果的提升