基于Solr的搜索引擎核心技術(shù)研究與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)信息爆炸式增長，在浩瀚的網(wǎng)絡(luò)信息中找出需求的信息已成為用戶面臨的主要問題，通用搜索引擎就是在這一背景下如雨后春筍般涌現(xiàn)，Google和百度已成為通用搜索引擎的代表。通用搜索引擎能夠滿足普通用戶的需求，但是企業(yè)內(nèi)部信息的增長單單依靠普通的搜索引擎難以解決問題，各大企業(yè)內(nèi)部的信息搜索問題逐漸突顯出來。中小型企業(yè)面臨著信息量大、資金緊張的雙重境地，使用開源搜索引擎能幫助企業(yè)解決這一難題。Lucene就是在這種情況下誕生的開源搜索引擎中

2、突出的代表，為了使Lucene的使用更加快捷方便，Apache在Lucene的基礎(chǔ)之上，開發(fā)出了更為實用的Solr搜索引擎的框架，通過使用Solr框架能夠快速的開發(fā)出實用的企業(yè)內(nèi)部搜索引擎。
　　 本文是以Solr作為基礎(chǔ)來分析搜索引擎的核心技術(shù)、誕生背景、歷史及發(fā)展現(xiàn)狀，分析研究開源搜索引擎的意義，并介紹搜索引擎的基本原理，闡述Lucene的核心框架及Solr的特性。進(jìn)而闡述搜索引擎的核心技術(shù)，包括爬蟲技術(shù)、網(wǎng)頁解析、中文分詞

3、、索引建立存儲技術(shù)、相關(guān)排序算法等與搜索引擎密切相關(guān)的技術(shù)。以金融數(shù)據(jù)為背景，實現(xiàn)搜索引擎各個模塊，每個模塊協(xié)同工作，共同實現(xiàn)搜索功能，同時各個模塊又是一個獨立的子系統(tǒng)，能夠各自獨立工作，易于維護(hù)，既實現(xiàn)了金融信息搜索的功能，又符合軟件設(shè)計高內(nèi)聚、低耦合的思想。分析目前主流的網(wǎng)絡(luò)爬蟲技術(shù)，研究Heritrix的核心框架結(jié)構(gòu)和使用方法，并實現(xiàn)網(wǎng)絡(luò)爬蟲子系統(tǒng)。使用HtmlParser來搭建網(wǎng)頁解析子系統(tǒng)，分析網(wǎng)頁鏡像，提取出需要的金融信息。

4、最后通過Solr來搭建金融搜索平臺，使用IK分詞法有效的實現(xiàn)了中文分詞技術(shù)。Solr框架的目的是為了建立高效的索引并為前臺提供查詢索引的接口，若要使用java語言在前臺頁面與Solr交互需要使用Solrj，搜索子系統(tǒng)通過Solrj與Solr交互在索引中查詢數(shù)據(jù)，有效的達(dá)到了搜索引擎的基本效果。
　　 本文通過擴(kuò)展Heritrix部分功能使網(wǎng)絡(luò)爬蟲目的性更強(qiáng)，大大減少了抓取無關(guān)網(wǎng)站所花費的時間和占用的硬盤空間。在搜索子系統(tǒng)中增加高