基于LightLDA的信息檢索方法研究.pdf

1、如今，互聯(lián)網(wǎng)上的數(shù)據(jù)量呈指數(shù)級增長趨勢，各種各樣的數(shù)據(jù)與日俱增。面對如此浩瀚的數(shù)據(jù)海洋，如何從中快速、準確地獲取用戶需要的信息越發(fā)成為一個亟待解決的問題，這也是如今的信息檢索技術(shù)所要面對的巨大挑戰(zhàn)。
　　目前，信息檢索中引入語義信息的主流做法是使用機器學(xué)習(xí)方法LDA訓(xùn)練主題模型。盡管融入LDA主題信息后，檢索性能有所提升，但是LDA模型的算法復(fù)雜度太高，導(dǎo)致其訓(xùn)練主題信息時容易受限于語料的規(guī)模和主題的數(shù)目，因此不能很好地解決如今大

2、數(shù)據(jù)時代面臨的檢索問題。2015年微軟分布式、高性能工具LightLDA的開源，使看到了這一問題解決的希望。本文正是著眼于大數(shù)據(jù)時代面臨的檢索問題，探討了LightLDA在信息檢索中應(yīng)用的可行性和有效性，主要工作包括以下兩個方面:
　　第一，將LightLDA應(yīng)用到信息檢索模型中。利用LightLDA對幾個規(guī)模較大的TREC數(shù)據(jù)集進行了主題信息的訓(xùn)練，并將訓(xùn)練后的主題信息融入到語言模型框架中，構(gòu)建了基于主題信息的檢索模型(簡稱LL

3、BDM);然后在此基礎(chǔ)上，利用信息熵的概念嘗試構(gòu)建了新的檢索模型(簡稱LMLIE)。最后，把這兩種模型的效果和信息檢索中的Baseline做了比較，并分析了相關(guān)參數(shù)對模型的影響。通過實驗，驗證了LightLDA在信息檢索模型中的可行性和有效性。
　　第二，將LightLDA應(yīng)用到偽相關(guān)反饋中。利用LightLDA對偽相關(guān)反饋文檔進行了主題信息的訓(xùn)練，然后基于Rocchio偽相關(guān)反饋框架和上述主題信息，構(gòu)造了偽相關(guān)反饋模型Rocch