基于lucene的搜索引擎.pdf

1、基于Heritrix+Lucene數(shù)據(jù)庫(kù)搜索引擎是一種將抓取和索引的技術(shù)優(yōu)勢(shì)融入到搜索引擎的方法，用戶通過(guò)查詢接口輸入關(guān)鍵詞，將用戶輸入字符串根據(jù)分詞詞典進(jìn)行分詞，將根據(jù)分詞查詢索引文件，關(guān)聯(lián)相關(guān)的源文檔，從而返回查詢信息的過(guò)程。在服務(wù)器安全性、鏈接有效性以及更新及時(shí)性等方面擁有良好的性能。
　　 本文分析了基于Heritrix+Lucene數(shù)據(jù)庫(kù)搜索引擎在工作原理、關(guān)鍵技術(shù)等方面的相關(guān)技術(shù)，介紹了Lucene建立索引和搜索的原

2、理，并且在構(gòu)建詞庫(kù)的同時(shí)，研究了分詞技術(shù)，提出了一種優(yōu)化詞表法的分詞思想，在Lucene的基礎(chǔ)上以決策樹(shù)和鏈表的形式將字典中的分詞存儲(chǔ)在內(nèi)存中，用最大匹配算法結(jié)合決策樹(shù)將用戶輸入字符串進(jìn)行分詞，開(kāi)發(fā)了屬于自己的中文分詞模塊，將這種思想加以實(shí)現(xiàn)并且通過(guò)實(shí)驗(yàn)與傳統(tǒng)的Lucene自帶的分詞技術(shù)在空間和時(shí)間上以及分詞的準(zhǔn)確性三個(gè)方面進(jìn)行比較。同時(shí)也對(duì)Lucene自帶的相似度計(jì)算，用實(shí)驗(yàn)數(shù)據(jù)進(jìn)行了統(tǒng)計(jì)分析，得到對(duì)文章的匹配度策略加入權(quán)重的參數(shù)，使