無結(jié)構(gòu)和半結(jié)構(gòu)信息檢索相關技術研究.pdf

1、信息檢索(Information Retrieval，IR)相關技術是當前最為活躍的研究領域之一，它指的是對信息項進行表示、組織、存貯和查詢。借助于計算機和網(wǎng)絡等信息技術，如今人們已經(jīng)能夠快速有效的檢索到所需的大量信息，但是，隨著信息時代的發(fā)展，信息總量進一步增長，如何按照給定的性能指標在新的信息總量上更準確的找到所需要的信息，這是擺在研究者面前的一個問題。 現(xiàn)代信息檢索均以一定的模型或者索引機制作為基礎。本文在信息檢索模型—互

2、關聯(lián)后繼樹—的基礎上，提出了若干算法模型以期達到更好的檢索性能，并使之適用于一些新的應用領域。 本文前面部分總結(jié)了互關聯(lián)后繼樹本身的模型和特點。為了進一步提高模型的檢索速度，本文提出在二元后繼樹的基礎上提高排序程度，從而得到了雙排序后繼樹(Double Order Successive Tree，DOST)。然后本文進一步討論了該模型與pat數(shù)組結(jié)構(gòu)的關系，從而進一步奠定了互關聯(lián)后繼樹體系在信息檢索方面的理論基礎。作為文本檢索和

3、XML檢索的共同的基礎，二元后繼樹模型對于支持無結(jié)構(gòu)和半結(jié)構(gòu)化數(shù)掘檢索意義重大。因此本文對圍繞該模型的一系列問題進行了進一步研究，本文討論了分庫合庫算法，模型增量修改，壓縮編碼等算法問題及相應措施。 近年來，以XML為代表的半結(jié)構(gòu)化數(shù)據(jù)相關應用得到迅速發(fā)展。如何利用半結(jié)構(gòu)化數(shù)據(jù)中現(xiàn)有的結(jié)構(gòu)信息優(yōu)化檢索以及如何進行半結(jié)構(gòu)化數(shù)據(jù)中的全文信息進行綜合查詢，這是信息檢索領域面臨的新問題。本文討論了將二元后繼樹引入XML索引領域得到的半結(jié)

4、構(gòu)化信息檢索模型-Xistree-的基本性質(zhì)和相關算法。文中在實現(xiàn)Xistree模型的基礎上，首先與XISS進行了對比實驗，然后與有名的Native XML DB實用系統(tǒng)Timber和XIndice進行了對比實驗。結(jié)果表明，本系統(tǒng)在大數(shù)據(jù)集下，對于已知路徑模式的簡單查詢和分支算法的性能都取得了非常好的成果。 將文本等無結(jié)構(gòu)化數(shù)據(jù)的檢索轉(zhuǎn)化為半結(jié)構(gòu)化檢索問題從而最終實現(xiàn)基于語義的檢索是當前研究者們努力的一個方向，因此基于概念語義的

5、半結(jié)構(gòu)化信息檢索受到人們的普遍關注的信息檢索新領域。如何更準確的度量用戶需求和數(shù)據(jù)之間的關系，更高效的返回結(jié)果從而提高用戶的搜索體驗，將成為未來的研究發(fā)展進一步需要解決的問題。在本文中，主要針對半結(jié)構(gòu)化數(shù)據(jù)中的概念檢索問題，提出了概念語義模型構(gòu)建的基本思想以及概念語義相關度匹配算法思路以及如何利用XML的結(jié)構(gòu)信息進行SLCA查詢。與以往的SLCA算法相比，本文所提出的算法在時間復雜度上有了較大提高。 概念相關性是信息檢索的重要內(nèi)

6、容，為了自動發(fā)現(xiàn)概念相關性，需要借助概念相關頻繁項挖掘算法，因此本文還提出了在一種模式數(shù)據(jù)上挖掘的算—自適應的頻繁項挖掘算法。本文首先提出了一種基于FP-tree的簡單深度優(yōu)先搜索算法NDFS，并簡單分析了其在不同數(shù)據(jù)集上的特性；隨后本文進一步將NDFS和經(jīng)典的FP-growth算法進行結(jié)合，提出了一種在挖掘過程中根據(jù)局部空間特征動態(tài)采用不同策略的自適應算法(Self-Adaptive FP-growth，SAFP)。 本文對我