基于統(tǒng)計(jì)語言學(xué)模型的中文文本信息檢索.pdf

1、該文從文本檢索模型的基本原理入手,分析了幾種傳統(tǒng)IR模型的優(yōu)缺點(diǎn),給出基于統(tǒng)計(jì)語言模型的IR模型的基本原理、關(guān)鍵技術(shù)以及它的優(yōu)勢(shì)所在.并在標(biāo)準(zhǔn)的TREC中文實(shí)驗(yàn)數(shù)據(jù)集上,回答了下面兩個(gè)問題:(1)中文統(tǒng)計(jì)語言模型-IR模型的性能如何?也就是說,中文統(tǒng)計(jì)語言模型和IR相結(jié)合有沒有前途?(2)特征選擇對(duì)中文統(tǒng)計(jì)語言模型-IR模型的影響如何?哪種特征選擇方法好?對(duì)于問題(1),用SLM-IR模型和兩種傳統(tǒng)的IR模型:向量空間模型和概率模型進(jìn)行

2、比較,以標(biāo)準(zhǔn)的TREC評(píng)價(jià)手段,給出上述3種模型的性能.實(shí)驗(yàn)結(jié)果表明:簡(jiǎn)單的SLM-CIR模型的性能要優(yōu)于簡(jiǎn)單的向量空間模型和概率模型.對(duì)于問題(2),選擇了幾種典型的特征選擇方法,即單漢字、分詞、bigram,比較它們的性能.同時(shí),考慮到分詞的特殊性,我們又選擇了幾種不同的分詞方法,給出了基于不同分詞方法的分詞切分SLM-IR模型的性能.實(shí)驗(yàn)結(jié)果表明:①對(duì)于單漢字切分,簡(jiǎn)單的SLM-CIR模型的性能要優(yōu)于簡(jiǎn)單的向量空間模型和概率模型;

3、對(duì)于分詞切分和Bigram切分,簡(jiǎn)單的SLM-CIR模型的性能要優(yōu)于向量空間模型,雖然略低于OKAPI概率模型,但是反饋后的SLM-CIR模型的性能要明顯優(yōu)于反饋前和反饋后的OKAPI概率模型.②對(duì)于簡(jiǎn)單的SLM-CIR模型,分詞切分的性能不如Bigram切分和單漢字切分,而且不同的分詞方法對(duì)檢索性能的影響不明顯.這就說明了在SLM-CIR模型中,分詞技術(shù)不是影響模型性能的關(guān)鍵因素.③驗(yàn)證了英文數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)論,即無論采用哪一種切分方