基于Solr的企業(yè)搜索引擎的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，以及企業(yè)的日益國際化，使企業(yè)間的競爭越來越激烈。如何能更及時、精確且全面的找到公司內(nèi)部信息，對于一個企業(yè)來說是相當(dāng)重要的。雖然Google等大型商業(yè)搜索引擎也能實現(xiàn)企業(yè)內(nèi)部的檢索功能，但由于其商業(yè)性及大眾化，導(dǎo)致這種選擇存在很大的缺陷。因此，如何有效利用現(xiàn)有主流搜索引擎技術(shù)，更快捷、更方便的搭建自己的企業(yè)內(nèi)部搜索引擎，成為目前重要的研究課題。
　　本課題就是針對這種需求，分析企業(yè)搜索引擎的必要性及實現(xiàn)方案

2、，本文基于Solr進(jìn)行企業(yè)搜索引擎的研究過程中，先對搜索引擎的概念以及系統(tǒng)結(jié)構(gòu)進(jìn)行介紹，接著深入研究全文索引技術(shù)和信息檢索技術(shù)，并重點介紹本文系統(tǒng)所涉及到的關(guān)鍵技術(shù)及經(jīng)典算法。同時還對Solr的有關(guān)內(nèi)容進(jìn)行分析與應(yīng)用，如中文分詞器MMSeg4j、Solr的Java客戶端Solrj、以及Solr的DataImportHandler處理器等。由于Solr是一個獨立的企業(yè)搜索引擎應(yīng)用服務(wù)器，它對Lucene的一些代碼進(jìn)行封裝，具有簡單易用、功

3、能強大等特點。本文就是在此基礎(chǔ)上，結(jié)合其他關(guān)鍵技術(shù)如網(wǎng)絡(luò)爬蟲、信息抽取、中文分詞等，設(shè)計實現(xiàn)一個小型企業(yè)搜索引擎系統(tǒng)。
　　基于上述分析，并結(jié)合基本理論和相關(guān)技術(shù)的研究，本文最終設(shè)計實現(xiàn)了一個基于Solr的小型企業(yè)搜索引擎的實例。針對深度抓取工具Heritrix存在碰到即抓的缺陷，本文根據(jù)實例特征對Heritrix框架進(jìn)行改進(jìn)和擴(kuò)展，并成功將特定網(wǎng)頁下載到本地;研究解析工具HTMLParser的工作原理，并根據(jù)實例特點編寫代碼實現(xiàn)

4、解析模塊，同時，將信息存儲到MySQL數(shù)據(jù)庫中;通過對Solr的索引和檢索框架進(jìn)行研究及必要的配置，搭建起Solr搜索引擎服務(wù)器;研究MMSeg4j中文分詞器的四種分詞模式，并與Solr進(jìn)行集成，并通過測試統(tǒng)計出其分詞準(zhǔn)確度達(dá)到98％;針對企業(yè)數(shù)據(jù)幾乎存儲在數(shù)據(jù)庫這種現(xiàn)狀，本文應(yīng)用Solr的DataImportHandler處理器，將數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入Solr中，實現(xiàn)了針對企業(yè)這個目的;研究并改進(jìn)Sol巧源碼實現(xiàn)了搜索功能，并設(shè)計了良好的用