文檔數(shù)據(jù)庫若干關(guān)鍵技術(shù)研究.pdf

1、在該文中,我們對文檔數(shù)據(jù)庫的一些關(guān)鍵技術(shù)進(jìn)行了研究,具體內(nèi)容包括全文檢索技術(shù)、結(jié)構(gòu)化文檔檢索、文本過濾、文本挖掘以及其它相關(guān)技術(shù),取得的創(chuàng)新性成果主要體現(xiàn)在以下四個方面:1)對一種新型的全文檢索模型—互關(guān)聯(lián)后繼樹進(jìn)行研究我們在原來Σ<'2>鄰接矩陣模型研究的基礎(chǔ)上,發(fā)展出來一種新型的數(shù)據(jù)模型—互關(guān)聯(lián)后繼樹(IRST),這種模型充分利用了字符序列的有序性和冗余性,適用于海量全文存儲和索引.論文分別對IRST的創(chuàng)建、查詢和原文生成算法進(jìn)行研

2、究.IRST保持了Σ<'2>鄰接矩陣模型的一些優(yōu)點(diǎn),還具有更多的優(yōu)點(diǎn):可以生成原文,既是全文的索引模型,又是全文的存儲模型;具有極佳的空間效率;具有領(lǐng)域獨(dú)立性和時間無關(guān)性;具有查詢的完備性;是一種多功能的數(shù)據(jù)模型,比如,根據(jù)它存儲的序列信息的特點(diǎn),可以用于文本序列挖掘.2)從IR角度對XML文檔檢索進(jìn)行研究提出了一種基于結(jié)構(gòu)相似度的XML文檔檢索模型,在檢索的過程中根據(jù)XML文檔的結(jié)構(gòu)和查詢路徑計(jì)算二者的相似度.還提出了一種簡單的查詢語

3、言-正則路徑集(RPS).我們還采用這個檢索模型建立了一個XML文檔檢索原型系統(tǒng),并對檢索模型進(jìn)行了實(shí)驗(yàn)比較,驗(yàn)證了這個模型能有效地提高XML文檔的結(jié)構(gòu)化檢索的性能.3)基于語義分析的文本過濾方法研究采用語義分析和統(tǒng)計(jì)方法相結(jié)合的策略對傾向性文本進(jìn)行識別.論文提出了傾向性文本過濾的框架和過程,并給出了實(shí)驗(yàn)測試結(jié)果.還對非法文本中常常包含的偽裝詞的構(gòu)成規(guī)律進(jìn)行了初步探索.如果不能有效識別這些人為設(shè)置的非正常形式的詞語,會給文本特征的選取帶

4、來障礙,進(jìn)而影響文本過濾的準(zhǔn)確性.論文還對面向偽裝詞的文本特征選取方法進(jìn)行了研究.4)基于IRST的文本序列挖掘方法研究利用IRST的存儲了文本序列的特點(diǎn),論文采用IRST作為文本挖掘的工具,研究了IRST進(jìn)行頻繁集挖掘的方法,這個方法是一個通用技術(shù),不局限于應(yīng)用在文本的挖掘.然后又研究了將IRST用在文本序列挖掘上面,利用了IRST可以直接計(jì)算文本序列的支持度的特點(diǎn).由IRST進(jìn)行序列挖掘具有不生成候選集的特點(diǎn),具有非常好的挖掘效率,