基于lucene的搜索引擎.pdf

1、基于Heritrix+Lucene數(shù)據(jù)庫搜索引擎是一種將抓取和索引的技術(shù)優(yōu)勢融入到搜索引擎的方法，用戶通過查詢接口輸入關(guān)鍵詞，將用戶輸入字符串根據(jù)分詞詞典進(jìn)行分詞，將根據(jù)分詞查詢索引文件，關(guān)聯(lián)相關(guān)的源文檔，從而返回查詢信息的過程。在服務(wù)器安全性、鏈接有效性以及更新及時性等方面擁有良好的性能。
　　 本文分析了基于Heritrix+Lucene數(shù)據(jù)庫搜索引擎在工作原理、關(guān)鍵技術(shù)等方面的相關(guān)技術(shù)，介紹了Lucene建立索引和搜索的原

2、理，并且在構(gòu)建詞庫的同時，研究了分詞技術(shù)，提出了一種優(yōu)化詞表法的分詞思想，在Lucene的基礎(chǔ)上以決策樹和鏈表的形式將字典中的分詞存儲在內(nèi)存中，用最大匹配算法結(jié)合決策樹將用戶輸入字符串進(jìn)行分詞，開發(fā)了屬于自己的中文分詞模塊，將這種思想加以實現(xiàn)并且通過實驗與傳統(tǒng)的Lucene自帶的分詞技術(shù)在空間和時間上以及分詞的準(zhǔn)確性三個方面進(jìn)行比較。同時也對Lucene自帶的相似度計算，用實驗數(shù)據(jù)進(jìn)行了統(tǒng)計分析，得到對文章的匹配度策略加入權(quán)重的參數(shù)，使