基于Lucene和HTMLParser技術(shù)的搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Internet上的信息量不斷的增長(zhǎng)內(nèi)容變的冗余復(fù)雜，在這種情況下搜索引擎成為人們?cè)诰W(wǎng)上獲取所需信息的必要工具?？墒莻鹘y(tǒng)的搜索引擎檢索到的信息量也是極為龐雜的，用戶(hù)很難在短時(shí)間內(nèi)查找出所需的東西，垂直搜索引擎技術(shù)專(zhuān)業(yè)化和深入化的特性彌補(bǔ)了這方面的不足。 本文以“手機(jī)產(chǎn)品信息垂直搜索引擎”研究為背景，對(duì)以下三個(gè)關(guān)鍵問(wèn)題進(jìn)行了深入的研究。第一個(gè)是網(wǎng)頁(yè)文本解析的問(wèn)題，HTMLParser技術(shù)對(duì)網(wǎng)絡(luò)機(jī)器人抓取后的網(wǎng)頁(yè)內(nèi)容進(jìn)行高效率的解析

2、，高效的完成信息進(jìn)行再一次整合，很好的解決了垂直搜索引擎所需數(shù)據(jù)來(lái)源問(wèn)題。第二個(gè)是數(shù)據(jù)庫(kù)中數(shù)據(jù)的索引、優(yōu)化、和排序的問(wèn)題，本系統(tǒng)基于Lucene技術(shù)對(duì)數(shù)據(jù)進(jìn)行操作，同時(shí)建立了檢索關(guān)鍵字的詞庫(kù)，解決了搜索引擎檢索效率較低的問(wèn)題。第三個(gè)是系統(tǒng)的框架問(wèn)題，通過(guò)Spring框架來(lái)進(jìn)行系統(tǒng)的后臺(tái)管理，很好的實(shí)現(xiàn)了搜索引擎的功能。 目前，該系統(tǒng)已經(jīng)能夠運(yùn)行且效果良好達(dá)到了實(shí)踐的目的。在一定的程度上達(dá)到了信息搜索優(yōu)化的目的，與通用的搜索引擎相