基于排序?qū)W習(xí)和查詢重構(gòu)的全文檢索模型研究.pdf

1、隨著數(shù)字信息的爆炸式增長，我們迫切需要采用更為高效的方法來查找所需要的信息，這種情況不僅僅是體現(xiàn)在互聯(lián)網(wǎng)領(lǐng)域中，由于臺式計算機的數(shù)據(jù)存儲量也隨著硬盤存儲能力的提高而激增，這種情況也出現(xiàn)在政府，學(xué)校，大型公司的文檔管理事務(wù)中。現(xiàn)如今這些機構(gòu)或公司一般是通過數(shù)據(jù)庫中集成的like 語句對文檔進行搜索，或者是在全文檢索工具庫比如Lucene的基礎(chǔ)上開發(fā)出一套知識庫管理系統(tǒng)。然而這些方式所提供的搜索功能都是基于關(guān)鍵字的簡單匹配，搜索效果并不理想

2、。通過研究信息檢索技術(shù)的發(fā)展進程，發(fā)現(xiàn)通過查詢擴展或者深度挖掘文本語義的方法來提升檢索效果較為有效，于是本文提出了一種將排序?qū)W習(xí)和查詢重構(gòu)相結(jié)合的全文信息檢索模型ListGate。論文的主要研究工作如下：
　　①論文引入word2vec和LDA這兩種能夠挖掘文本語義的方法，其中word2vec用于在詞向量空間中對原始查詢進行重構(gòu)，將重構(gòu)查詢作為原始查詢的擴展，而LDA 產(chǎn)生的主題特征被融入到排序?qū)W習(xí)方法中提升評分函數(shù)的效果，同時為

3、了解決查詢重構(gòu)中存在的主題偏移問題，原始查詢和重構(gòu)查詢之間的主題偏移可以通過它們在word2vec和LDA生成的語義空間中的距離進行衡量。
　?、谕ㄟ^對ListNet 排序?qū)W習(xí)算法的改進，提出了不能考慮主題偏移的ListSum模型，然后通過分析ListSum模型的不足進一步提出了能夠考慮主題偏移ListGate模型，并給出ListGate模型中使用到的TFIDF，BM25，語言模型，LDA主題模型評分規(guī)則的定義，查詢重構(gòu)的算法以及