基于詞項依賴信息的中文信息檢索方法研究.pdf

1、隨著我國智能手機(jī)的普及，移動互聯(lián)網(wǎng)使用人數(shù)的增加，促使了移動互聯(lián)網(wǎng)的飛速發(fā)展，網(wǎng)絡(luò)中存儲的各種數(shù)據(jù)呈指數(shù)級增長。如何利用信息檢索技術(shù)快捷有效地從這些海量的數(shù)據(jù)中獲取有用的信息，是工業(yè)界和學(xué)術(shù)界都極其關(guān)注的問題。
　　傳統(tǒng)的信息檢索技術(shù)大多基于“詞袋”模型，假設(shè)詞項之間是相互獨立的，而忽略了詞項之間的依賴關(guān)系。本文利用統(tǒng)計方法捕獲詞項之間的依賴關(guān)系，構(gòu)建更有效的中文信息檢索模型。主要的工作包括以下幾個方面:
　　第一，從統(tǒng)計的

2、角度，本文提出了全獨立、順序依賴以及全依賴三種詞項之間的依賴關(guān)系，基于這三種依賴關(guān)系分別構(gòu)建了檢索的文本特征，設(shè)計了排序函數(shù)。考慮到文本長度以及中文語句的特殊性，在構(gòu)建文本特征時，將詞項之間的距離納入統(tǒng)計范圍。我們在NTCIR-5中文信息檢索測試集上進(jìn)行了實驗。實驗分為兩部分，第一部分實驗分別基于三種依賴關(guān)系構(gòu)造文本特征，在基于順序依賴和全依賴關(guān)系構(gòu)造文本特征時，只組合兩個詞項。第二部分實驗在基于順序依賴和全依賴關(guān)系構(gòu)造文本特征時，查詢

3、文本范圍內(nèi)組合多個詞項構(gòu)建文本特征，并與第一部分的實驗數(shù)據(jù)做了比較。在平均準(zhǔn)確率(MAP)和P@10兩種評測指標(biāo)上做了比較，基于順序依賴關(guān)系和全依賴關(guān)系構(gòu)建的文本特征所得到的檢索結(jié)果都優(yōu)于基于全獨立關(guān)系的文本特征的檢索結(jié)果，而且在構(gòu)建文本特征時，多于兩個詞項組合的文本特征的檢索結(jié)果要優(yōu)于只組合兩個詞項的文本特征的檢索結(jié)果。
　　第二，實現(xiàn)了一個基于詞項依賴信息的中文全文信息檢索系統(tǒng)。該系統(tǒng)主要包含三個模塊:文檔解析模塊、索引模塊、