中文全文檢索系統(tǒng)中索引的研究.pdf

1、中文全文檢索系統(tǒng)是信息產(chǎn)業(yè)中發(fā)展較快的一個(gè)領(lǐng)域，而一個(gè)中文檢索系統(tǒng)的核心就是索引器，本文介紹了索引器構(gòu)造的不同算法模型，對(duì)相關(guān)的技術(shù)進(jìn)行了比較，分析了各自的優(yōu)缺點(diǎn)和實(shí)現(xiàn)難點(diǎn)，提出了一種中文全文檢索中索引實(shí)現(xiàn)的數(shù)據(jù)結(jié)構(gòu)和新型的算法模型。 本文首先綜述了中文全文檢索中索引構(gòu)造的相關(guān)技術(shù)，主要包括索引文件數(shù)據(jù)結(jié)構(gòu)、索引單位選取和索引壓縮算法。 在上述綜述的基礎(chǔ)上，本文采用了基于單字的倒排表文件格式和可變字節(jié)編碼壓縮技術(shù)實(shí)現(xiàn)了整

2、個(gè)索引系統(tǒng)。該系統(tǒng)包括三方面的功能分別是：文本預(yù)處理、索引創(chuàng)建和索引更新。 在文本預(yù)處理部分實(shí)現(xiàn)了中文、外文和特殊字符的分離，同時(shí)實(shí)現(xiàn)了停止詞(stop word)的刪除。 在索引創(chuàng)建部分本文首先給出了一種基于傳統(tǒng)倒排表的索引創(chuàng)建算法——合并排序式索引創(chuàng)建算法，該算法需要源文本10倍大小的臨時(shí)空間。為了解決合并排序式索引創(chuàng)建算法臨時(shí)空間過大的問題，本文提出了一種新的索引創(chuàng)建方案，該方案采用分級(jí)的倒排表索引組織結(jié)構(gòu)和鏈?zhǔn)巾?/p>