基于LightLDA的信息檢索方法研究.pdf

1、如今，互聯(lián)網(wǎng)上的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)趨勢(shì)，各種各樣的數(shù)據(jù)與日俱增。面對(duì)如此浩瀚的數(shù)據(jù)海洋，如何從中快速、準(zhǔn)確地獲取用戶(hù)需要的信息越發(fā)成為一個(gè)亟待解決的問(wèn)題，這也是如今的信息檢索技術(shù)所要面對(duì)的巨大挑戰(zhàn)。
　　目前，信息檢索中引入語(yǔ)義信息的主流做法是使用機(jī)器學(xué)習(xí)方法LDA訓(xùn)練主題模型。盡管融入LDA主題信息后，檢索性能有所提升，但是LDA模型的算法復(fù)雜度太高，導(dǎo)致其訓(xùn)練主題信息時(shí)容易受限于語(yǔ)料的規(guī)模和主題的數(shù)目，因此不能很好地解決如今大

2、數(shù)據(jù)時(shí)代面臨的檢索問(wèn)題。2015年微軟分布式、高性能工具LightLDA的開(kāi)源，使看到了這一問(wèn)題解決的希望。本文正是著眼于大數(shù)據(jù)時(shí)代面臨的檢索問(wèn)題，探討了LightLDA在信息檢索中應(yīng)用的可行性和有效性，主要工作包括以下兩個(gè)方面:
　　第一，將LightLDA應(yīng)用到信息檢索模型中。利用LightLDA對(duì)幾個(gè)規(guī)模較大的TREC數(shù)據(jù)集進(jìn)行了主題信息的訓(xùn)練，并將訓(xùn)練后的主題信息融入到語(yǔ)言模型框架中，構(gòu)建了基于主題信息的檢索模型(簡(jiǎn)稱(chēng)LL

3、BDM);然后在此基礎(chǔ)上，利用信息熵的概念嘗試構(gòu)建了新的檢索模型(簡(jiǎn)稱(chēng)LMLIE)。最后，把這兩種模型的效果和信息檢索中的Baseline做了比較，并分析了相關(guān)參數(shù)對(duì)模型的影響。通過(guò)實(shí)驗(yàn)，驗(yàn)證了LightLDA在信息檢索模型中的可行性和有效性。
　　第二，將LightLDA應(yīng)用到偽相關(guān)反饋中。利用LightLDA對(duì)偽相關(guān)反饋文檔進(jìn)行了主題信息的訓(xùn)練，然后基于Rocchio偽相關(guān)反饋框架和上述主題信息，構(gòu)造了偽相關(guān)反饋模型Rocch