中文信息檢索系統(tǒng)與文檔重排技術(shù)研究.pdf

1、隨著計算機(jī)系統(tǒng)性能的提高,互聯(lián)網(wǎng)信息的飛速發(fā)展,以及企業(yè)信息化程度的迅速提高,中文信息資源以極快的速度遞增。信息的增加在滿足人們對信息需求的同時也給人們快速、準(zhǔn)確的查找所需要的信息帶來了一定的難度。在這種情況下,信息檢索技術(shù)成為研究的熱點。
　　 信息檢索(Information Retrieval,IR),通常指文本信息檢索,包括信息的存儲、組織、表現(xiàn)、查詢、存取等各個方面,其核心為文本信息的索引和檢索。信息檢索的主要技術(shù)包括

2、索引處理、查詢擴(kuò)展、檢索模型、重排處理等,中文信息檢索還涉及到分詞處理等。
　　 針對中文信息檢索相關(guān)技術(shù)的研究,本文的研究內(nèi)容可以分為兩個部分。首先,以NTCIR7的中文IR4QA子任務(wù)為實驗背景,設(shè)計并實現(xiàn)了一個中文信息檢索系統(tǒng)。系統(tǒng)在索引時對原始文本進(jìn)行分詞處理后以詞為單元生成倒排索引,檢索部分則采用了經(jīng)典的向量空間模型。為了解決詞不匹配的問題,檢索得到初次結(jié)果后,利用一種基于局部共現(xiàn)的查詢擴(kuò)展方法進(jìn)行查詢擴(kuò)展處理。實驗結(jié)

3、果表明,經(jīng)過查詢擴(kuò)展處理后,系統(tǒng)性能得到明顯提升。對于系統(tǒng)所得結(jié)果,經(jīng)過NTCIR7官方評價工具的評估,可以看到我們的檢索系統(tǒng)有較好的檢索性能。另外,對特定類型問題進(jìn)行了文檔重排技術(shù)的研究。針對檢索系統(tǒng)將檢索結(jié)果反饋給用戶時,用戶往往只瀏覽前N個檢索結(jié)果的情況,本文結(jié)合開放性資源維基百科和定義以及人物傳記這兩種類型問題的特點,將與特定問題相關(guān)的維基百科頁面引入,以對初檢結(jié)果進(jìn)行文檔重排處理。實驗表明,這種方法能有效提高排在前面的文檔的精