基于查詢擴(kuò)展和主題分析的分布式信息檢索.pdf

1、Web數(shù)據(jù)的爆炸性增長不僅為用戶提供了豐富的知識來源，同時也給檢索系統(tǒng)造成了巨大的負(fù)擔(dān)。傳統(tǒng)的集中式搜索引擎因其覆蓋度低、索引更新頻率有限等問題，無法為快速增長的網(wǎng)頁繼續(xù)提供有效的檢索支持。而相較于傳統(tǒng)的集中式檢索，分布式信息檢索的優(yōu)勢在于檢索系統(tǒng)間分工協(xié)作，能夠快速響應(yīng)用戶查詢并且處理大規(guī)模數(shù)據(jù)。因此，海量數(shù)據(jù)查詢過程中，分布式信息檢索技術(shù)越來越成為重要的研究內(nèi)容。
　　 本文首先介紹了分布式信息檢索的相關(guān)背景和研究現(xiàn)狀，然后

2、分別對其中三個重要的實施環(huán)節(jié)：用戶查詢優(yōu)化、集合選擇和結(jié)果合并介紹了現(xiàn)有的相關(guān)技術(shù)和研究概況，并針對其中存在的不足提出了改進(jìn)策略，具體如下：
　　 (1)用戶查詢優(yōu)化。分布式檢索中用戶查詢優(yōu)化是以相關(guān)反饋技術(shù)為基礎(chǔ)，通過補(bǔ)充修正原始用戶查詢，避免用戶主題偏移的現(xiàn)象發(fā)生。這一過程中，選擇合適的相關(guān)反饋文檔和查詢擴(kuò)展詞，是保證檢索過程不偏離用戶查詢主題的關(guān)鍵。本文針對集合主題分布的多樣性，提出了一種基于文檔主題的集合相關(guān)性查詢擴(kuò)展方

3、法，以本地集合擴(kuò)展策略為基礎(chǔ)，通過引入所有相同主題的檢索結(jié)果文檔，克服了本地集合相關(guān)性擴(kuò)展文檔過少的問題，從而為所有集合建立不同的查詢擴(kuò)展模型，提高了分布式檢索的準(zhǔn)確性。
　　 (2)集合選擇。集合選擇是分布式信息檢索中的重要問題，集合選擇的效果將影響相關(guān)性結(jié)果文檔產(chǎn)生的準(zhǔn)確性。而現(xiàn)有集合選擇策略普遍存在模型無法進(jìn)行有效擴(kuò)展、缺乏主題信息等缺點。因此，文中提出一種分布式檢索中基于主題的語言模型集合選擇策略。該策略采用文本聚類得到

4、集合中文檔的主題信息，通過引入Relevancemodel構(gòu)建基于主題的語言模型，從而得到各個信息集合的查詢相關(guān)性排名，并完成集合選擇過程。實驗表明，與CORI、CRCS等傳統(tǒng)集合選擇算法相比，本文方法的檢索效果得到。了顯著提高，為后續(xù)分布式檢索結(jié)果合并階段的實現(xiàn)奠定了良好的基礎(chǔ)。
　　 (3)結(jié)果合并。結(jié)果合并是分布式信息檢索的最后一個環(huán)節(jié)，合并策略將直接影響檢索結(jié)果的排名?；谀壳皻w一化文檔得分等結(jié)果合并策略的不足，并綜合考