基于詞項依賴信息的中文信息檢索方法研究.pdf

1、隨著我國智能手機的普及，移動互聯(lián)網(wǎng)使用人數(shù)的增加，促使了移動互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡中存儲的各種數(shù)據(jù)呈指數(shù)級增長。如何利用信息檢索技術快捷有效地從這些海量的數(shù)據(jù)中獲取有用的信息，是工業(yè)界和學術界都極其關注的問題。
　　傳統(tǒng)的信息檢索技術大多基于“詞袋”模型，假設詞項之間是相互獨立的，而忽略了詞項之間的依賴關系。本文利用統(tǒng)計方法捕獲詞項之間的依賴關系，構建更有效的中文信息檢索模型。主要的工作包括以下幾個方面:
　　第一，從統(tǒng)計的

2、角度，本文提出了全獨立、順序依賴以及全依賴三種詞項之間的依賴關系，基于這三種依賴關系分別構建了檢索的文本特征，設計了排序函數(shù)?？紤]到文本長度以及中文語句的特殊性，在構建文本特征時，將詞項之間的距離納入統(tǒng)計范圍。我們在NTCIR-5中文信息檢索測試集上進行了實驗。實驗分為兩部分，第一部分實驗分別基于三種依賴關系構造文本特征，在基于順序依賴和全依賴關系構造文本特征時，只組合兩個詞項。第二部分實驗在基于順序依賴和全依賴關系構造文本特征時，查詢

3、文本范圍內(nèi)組合多個詞項構建文本特征，并與第一部分的實驗數(shù)據(jù)做了比較。在平均準確率(MAP)和P@10兩種評測指標上做了比較，基于順序依賴關系和全依賴關系構建的文本特征所得到的檢索結果都優(yōu)于基于全獨立關系的文本特征的檢索結果，而且在構建文本特征時，多于兩個詞項組合的文本特征的檢索結果要優(yōu)于只組合兩個詞項的文本特征的檢索結果。
　　第二，實現(xiàn)了一個基于詞項依賴信息的中文全文信息檢索系統(tǒng)。該系統(tǒng)主要包含三個模塊:文檔解析模塊、索引模塊、