基于主題的分布式信息檢索集合選擇方法.pdf

1、隨著計算機技術的不斷進步，人類創(chuàng)造的數(shù)據(jù)正以爆炸式的速度增長，傳統(tǒng)的集中式的信息檢索在面對海量數(shù)據(jù)時往往不堪重負，分布式的信息檢索系統(tǒng)開始越來越受到人們的重視。集合選擇的目標是在分布式信息檢索中，對于一個給定的查詢，在保證檢索結果準確度的情況下，選擇最相關的部分信息集檢索。針對分布式信息檢索時用戶關心的檢索結果往往只在少數(shù)集合內的現(xiàn)象，考慮語義關系對檢索的影響，本文提出一種基于LDA（Latent Dirichlet Allocatio

2、n，潛在狄利克雷分布）主題模型的集合選擇方法LBCS:該方法使用基于查詢的采樣方法獲取各集合描述信息，然后用基于關鍵詞相關度和基于主題相關度結合的方法估計查詢與樣本集中文檔的綜合相關度，再通過樣本集文檔所屬的集合信息，估計查詢與各集合的相關度，最后檢索與查詢相關度最高的部分集合。在實驗部分中，選取ReDDE方法和CRCS方法作為基準方法，在TREC數(shù)據(jù)集上對比了三種方法的檢索效果。實驗結果表明本文提出的方法能有效選擇到與查詢相關的集合，