語義度量在文本信息檢索的研究.pdf

1、信息檢索是隨著科學(xué)技術(shù)的發(fā)展和信息量的激增而產(chǎn)生的技術(shù),并在人們的工作和生活當(dāng)中發(fā)揮著越來越重要的作用。人們在平時經(jīng)常用到的信息大部分都是用文本形式來表示的,所以經(jīng)常用到的查詢就是文本形式的信息檢索,即文本信息檢索。人們在面對大量信息的時候,如何從這些大量的信息中檢索出滿足用戶查詢條件的信息是非常重要的。
　　 對文本信息進行查詢時,首先要使用合適的數(shù)據(jù)模型對文本信息進行抽象,本文采用向量空間模型(VectorSpaceMode

2、l),對文本信息進行特征向量的提取,這樣在對文本進行相似度匹配的時候,就可以選用文本特征向量對相似度進行比較。
　　 在對文本特征向量進行相識度比較的時候,本論文采用了基于語義度量的方法-擴散映射(DiffusionMaps),該方法在對文本特征向量進行處理的時候,可以把高維的數(shù)據(jù)通過擴散映射降為低維數(shù)據(jù),在擴散的過程中,擴散距離可以保持數(shù)據(jù)語義之間的不變性。對經(jīng)過擴散映射處理過的數(shù)據(jù),本論文定義了一個二值法,如果向量的第p位的

3、值大于或等于所有向量的第p位的平均值則其值為+1,小于向量平均值的為-1,這樣文本就用一串低維數(shù)的二值向量來表示。
　　 對文本進行檢索時,對那些要查詢的文檔,根據(jù)剛才得到的二值向量,訓(xùn)練出來分類器,然后用分類器對要查詢的文檔進行分類,就可以對查詢文檔用二值向量來表示,就可以加快文件的檢索速率。
　　 本論文使用Reuters21578,20Newsgroups,,TDT2,作為測試數(shù)據(jù)集合,對我們提出的基于語義度量的文