基于層次搜索的信息過濾和檢索方法研究.pdf

1、眾所周知，在信息檢索領(lǐng)域有兩種基本的語言現(xiàn)象一直困擾著傳統(tǒng)的詞匯匹配方法，即同義和多義現(xiàn)象。同義現(xiàn)象影響查全率，多義現(xiàn)象影響查準(zhǔn)率。針對(duì)這個(gè)問題，人們提出了潛在語義索引(LatentSemanticIndexing，即LSI)方法。它是一種概念檢索方法，通過對(duì)索引項(xiàng)文檔矩陣X進(jìn)行奇異值分解(SingularValueDecomposition，即SVD)，降維表示后的矩陣Xk表達(dá)了索引項(xiàng)與文檔之間的潛在語義關(guān)系，剔除了因具體用詞變化不定

2、而帶來的詞匯噪聲信息，從而大大提高查全率和查準(zhǔn)率。大量的試驗(yàn)數(shù)據(jù)表明運(yùn)用潛在語義索引進(jìn)行信息檢索的效果優(yōu)于關(guān)鍵詞匹配檢索。 但是，針對(duì)大型詞匯——文本矩陣的奇異值分解(SVD)需要巨大的成本，這將成為這一技術(shù)應(yīng)用到可擴(kuò)展的信息檢索領(lǐng)域的一大障礙。 本文引進(jìn)圖論中的廣度優(yōu)先遍歷(即層次搜索)方法，首先對(duì)原始詞匯——文本矩陣進(jìn)行預(yù)處理，以期減少LSI中奇異值分解的成本。根據(jù)每次的查詢提問式，層次搜索技術(shù)可以從原始的詞匯——文

3、本矩陣中分解出一個(gè)更小的子集。隨后，再對(duì)此子集進(jìn)行潛在語義索引計(jì)算。由于使用了層次搜索過濾，計(jì)算結(jié)果的查全率、查準(zhǔn)率都會(huì)有所提高。如果想進(jìn)一步縮小子集的規(guī)模，我們還可以使用剪枝技術(shù)，即刪除特定查詢的子矩陣中僅與一個(gè)文本關(guān)聯(lián)的詞匯，從而進(jìn)一步減少計(jì)算成本。對(duì)大多數(shù)文本集而言，剪枝平均會(huì)減少65％的非零詞匯數(shù)，但同時(shí)，查準(zhǔn)率也會(huì)相應(yīng)下降5％。[2] 本文的創(chuàng)新之處是：將離散數(shù)學(xué)中的圖論觀點(diǎn)引入信息過濾領(lǐng)域，并與潛在語義索引技術(shù)組合，