定題信息檢索關鍵技術研究.pdf

1、隨著Web信息多元化趨勢的增強，給所有用戶提供同一個通用搜索引擎入口已經(jīng)不能滿足特定用戶更加深入的查詢需求。在這一情況下，面向特定主題領域的定題搜索引擎應運而生。定題信息檢索為定題搜索引擎提供了有力的技術支撐。本文將對確定主題領域信息的獲取、過濾以及檢索三個重要內(nèi)容加以分析和相應的方法改進，為定題信息檢索構建一個通用的有效的開發(fā)框架。 在主題信息的獲取方面，定題搜索引擎通常采用定題爬蟲抓取網(wǎng)頁信息，而基于元搜索引擎采集主題相關信

2、息在檢索的召回率和時效性上都具有明顯的優(yōu)勢，但由于元搜索引擎的各個成員引擎通常都是通用搜索引擎，因此難以反饋與目標主題相關的頁面文檔。為此，本文設計了一個基于統(tǒng)計翻譯模型的查詢擴展方法，通過為用戶的初始查詢增加目標主題信息的手段，提高定題信息Web檢索的準確率。 主題信息過濾在很大程度上以文本分類技術為基礎，本文提出了一個改進的文本特征提取方法，并將其應用于貝葉斯分類中，實驗獲得了更好的文本分類效果。 基于語言模型的定題

3、信息檢索是本文的重點，本文將一系列既有的改進方向融合到兩個檢索擴展框架中，并針對兩個擴展框架分別提出了改進措施：首先提出將HMM檢索過程與貝葉斯平滑相結合的手段，進而設計了一個基于貝葉斯推理網(wǎng)絡的詞關聯(lián)度計算方法，并將其用于引入詞關聯(lián)信息的檢索擴展框架中。實驗證明了兩個改進的擴展框架均使文檔集評測結果在原有方法的基礎上獲得了進一步的提升。而基于貝葉斯推理網(wǎng)絡的詞關聯(lián)度計算方法比已有的基于翻譯模型的詞關聯(lián)度計算方法更加適用于定題信息檢索。