基于Lucene的分布式全文檢索技術(shù)的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)信息技術(shù)的快速發(fā)展，電子設(shè)備承載的數(shù)據(jù)越來越多，越來越豐富，甚至已經(jīng)悄然進(jìn)入大數(shù)據(jù)時(shí)代。伴隨著企業(yè)數(shù)據(jù)量的不斷增長(zhǎng)和積累，企業(yè)需要解決在數(shù)據(jù)海洋中快速定位所需資料以及如何從大量文本資料中快速找到關(guān)鍵信息等問題。
　　傳統(tǒng)的方法主要是數(shù)據(jù)庫直接檢索，但利用數(shù)據(jù)庫檢索技術(shù)進(jìn)行全文檢索時(shí)效率很低，更無法和百度、Google等搜索引擎相媲美。同時(shí)，關(guān)系型數(shù)據(jù)庫檢索不能有效的處理非結(jié)構(gòu)化數(shù)據(jù)。為提高全文檢索的效率，本文在研究全文檢

2、索技術(shù)的基礎(chǔ)上，對(duì)索引構(gòu)建和檢索過程進(jìn)行優(yōu)化，改進(jìn)匹配算法，并結(jié)合分布式技術(shù)開發(fā)一個(gè)分布式全文檢索系統(tǒng)，能有效處理非結(jié)構(gòu)化數(shù)據(jù)，顯著提高檢索效率以及系統(tǒng)的可擴(kuò)展性與可維護(hù)性。
　　本文的具體內(nèi)容主要包括：
　　1)首先介紹了全文檢索和分布式相關(guān)技術(shù)，包括Lucene的系統(tǒng)結(jié)構(gòu)和工作流程、倒排索引機(jī)制、排序算法、分詞技術(shù)以及分布式計(jì)算和分布式集群。
　　2)分析了倒排索引底層結(jié)構(gòu)及原理，并使用混合倒排索引以及不同域使用各

3、自簡(jiǎn)化的分詞器的方法進(jìn)行了改進(jìn)；深入剖析了全文檢索過程與檢索模型，提出了利用緩存和索引合并進(jìn)行優(yōu)化的建議；研究了Lucene的排序算法和分詞技術(shù)并對(duì)現(xiàn)有的分詞匹配算法進(jìn)行改進(jìn)，很好地支持了最大詞匹配問題，并提出了實(shí)時(shí)更新詞典的方法。
　　3)設(shè)計(jì)了一個(gè)信息安全全文檢索系統(tǒng)，包括索引構(gòu)建、檢索模塊以及分詞和字典的設(shè)計(jì)。通過分析Solr與Lucene的關(guān)系，使用Solr設(shè)計(jì)和實(shí)現(xiàn)了分布式全文檢索服務(wù)器，提高了系統(tǒng)的可擴(kuò)展性和可維護(hù)性。