基于字節(jié)流的全文檢索技術(shù)研究與實現(xiàn).pdf

1、全文檢索是當前信息檢索技術(shù)的重要研究方向，是從大容量文檔庫中找尋所需信息的最有效手段。實現(xiàn)全文檢索系統(tǒng)的核心是建立有效的全文檢索模型，目前全文檢索模型根據(jù)索引項的不同可分為基于關(guān)鍵詞的方法和基于字符的方法兩類模型，基于關(guān)鍵詞的方法檢索速度快，容易支持同義詞查詢，索引空間效率好，很多商業(yè)應(yīng)用的全文檢索模型都是使用基于關(guān)鍵詞的方法。但查準率和查全率不夠高，不能支持整句或文檔片斷的查詢，對中文的處理不方便，在中文分詞方面表現(xiàn)欠佳。 近

2、年來，我國學(xué)術(shù)界提出的基于單漢字(Single Chinese Character)的全文檢索方法得到重視，本文將之擴展為能適用各種文件的基于字節(jié)流的方法。它能彌補基于關(guān)鍵詞檢索方法的上述缺點，檢索速度介于全文掃描和關(guān)鍵詞方法之間，但目前的一些檢索模型和基于關(guān)鍵詞的方法相比，性能還較低。 為了解決時空間效率的問題，本文做了下列工作： (1)分析了全文檢索技術(shù)的基本方法以及幾種常用的全文檢索模型，并對基于字節(jié)流的全文檢索技

3、術(shù)的優(yōu)勢和不足進行了分析； (2)提出并實現(xiàn)了交叉鏈表(Cross Linked Model)CLM、倒排后繼表(Inversed Subsequence Model)ISM、相鄰地址(AdjacentAddress Model)AAM三種基于字節(jié)流的全文檢索模型。 (3)對提出的三種模型進行了詳細的性能分析，在5963個漢字文檔數(shù)據(jù)上做了6組實驗，通過實驗測試和分析了各模型的特點、性能及其適用范圍。 (4)對比

4、分析了基于關(guān)鍵詞和基于字節(jié)流的全文檢索方法。分析了基于字節(jié)流的全文檢索方法的行性，尤其是在中文乃至非字母型文字處理上的優(yōu)越性，以及在二進制文件檢索中有可用性。 本文組織如下； 第0章闡述了信息撿索的作用和全文撿索技術(shù)發(fā)展。第1章分析了全文撿索術(shù)的基本方法以及幾種常用的全文撿索模型。第2章對基于字節(jié)流的全文撿索技術(shù)的優(yōu)勢和不足進行了分析。第3章提出了基于字節(jié)流的交叉鏈表全文撿索模型CLM。第4章改進了常用的單字母排表模型，

5、提出了單字倒排后繼表模型ISM。第5章提出了基于字節(jié)流的相鄰地址全文撿索摸型AAM，以及簡單相鄰地址咨詢算法SAAA和有效相鄰地址查詢算法BAAA。第6章對提出的三種全文撿索模型分別進行了性能分析，求出三種模型的時間空間效率。第7章用基于關(guān)鍵詞檢索方法中最其代表性的倒排表模型與單字倒排表模型和試三種模型作對比進行了一系列實驗，得出三種模型的實用對比性能，給出了這些 模型的適用范圍，其中相鄰地址模型AAM在通常情況下要優(yōu)于其它模型，可以做