基于Lucene技術的垂直搜索引擎的研究與實現(xiàn).pdf

1、隨著Internet和WWW的迅速發(fā)展,Internet上的資源日趨豐富。為了幫助人們在浩如煙海的互聯(lián)網(wǎng)中獲取有用的信息,基于Internet的各類信息檢索服務應運而生并得到了迅速發(fā)展。目前人們在互聯(lián)網(wǎng)上搜索信息主要是通過Google、百度等通用搜索引擎。一般情況下,通用搜索引擎可以滿足用戶的需求。然而,當用戶只想查詢某一具體行業(yè)或某種主題的相關信息時,這類搜索引擎就會顯得有些力不從心。垂直搜索引擎的出現(xiàn),正好滿足了這些特定的需求。

2、r>　　針對某一領域、某一特定人群或某一特定需求建立的搜索引擎稱為垂直搜索引擎,它已經(jīng)逐漸成為人們獲取專業(yè)網(wǎng)絡信息的重要工具。Lucene是一個用Java語言編寫的全文索引引擎工具包,它可以方便地嵌入到各種應用中,實現(xiàn)針對特定應用的垂直搜索功能。
　　網(wǎng)絡爬蟲是垂直搜索引擎的數(shù)據(jù)來源,它的性能直接影響了信息采集的數(shù)量與質量,因此網(wǎng)絡爬蟲是搜索引擎的重要組成部分。Lucene本身沒有提供信息采集的功能,本論文在介紹搜索引擎有關技術和

3、開源網(wǎng)絡爬蟲Heritrix的基礎上,通過對Heritrix進行擴展和改進,實現(xiàn)了一個垂直搜索爬蟲,滿足了特定的信息采集需求。測試結果表明改進后的網(wǎng)絡爬蟲的抓取效率較改進前有明顯的提高。
　　本論文還針對Lucene在搜索結果排序算法方面的不足進行了改進。改進前的Lucene排序算法根據(jù)查詢和包含關鍵字的文檔來計算相關度得分,沒有考慮網(wǎng)頁在互聯(lián)網(wǎng)中的重要程度,還不能完全適應網(wǎng)頁搜索。改進后的頁面優(yōu)先度排序算法在原有Lucene排序