基于Lucene垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著Internet和WWW的迅速發(fā)展，Internet上的資源日趨豐富，人們也越來(lái)越多地依賴網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和研究。為了幫助人們?cè)诤迫鐭熀５木W(wǎng)絡(luò)中得到有用的信息，基于Internet的各類搜索引擎應(yīng)運(yùn)而生并得到了迅速發(fā)展。目前，人們?cè)诰W(wǎng)絡(luò)上搜索信息主要利用百度，Google等通用搜索引擎，這類搜索引擎功能已經(jīng)十分強(qiáng)大，基本可以滿足用戶的需求，但是當(dāng)用戶搜索一些專業(yè)信息時(shí)，這類搜索引擎往往顯得力不從心。垂直搜索引擎的出現(xiàn)，正是為了解決此類問(wèn)

2、題。 首先，本文論述了垂直搜索引擎的研究意義及體系結(jié)構(gòu)，并深入研究了垂直搜索引擎的核心技術(shù)，包括主題相關(guān)度的判斷，中文分詞技術(shù)，網(wǎng)頁(yè)排名技術(shù)等。 其次，本文對(duì)Lucene開(kāi)發(fā)包進(jìn)行深入的學(xué)習(xí)研究，對(duì)比了其本身的中文分詞方法及KTDictSeg分詞方法，采用對(duì)中文分詞效果較好的KTDictSeg分詞方法對(duì)所提取的內(nèi)容進(jìn)行分詞。 最后，本文設(shè)計(jì)并實(shí)現(xiàn)了威客任務(wù)信息垂直搜索引擎系統(tǒng)，包括主題蜘蛛模塊，信息提取模塊，索引

3、與檢索模塊。在主題蜘蛛模塊采用SharkSearch算法來(lái)對(duì)未處理的URL進(jìn)行分析，提高了對(duì)主題信息采集的準(zhǔn)確度；在信息提取模塊，采用HtmlParser文檔解析方法對(duì)采集的頁(yè)面進(jìn)行信息提??；在索引與檢索模塊，針對(duì)Lucene中的得分算法沒(méi)有很好的體現(xiàn)網(wǎng)頁(yè)在網(wǎng)站中的位置信息這一不足，設(shè)計(jì)了一種改進(jìn)的解決方案，將文檔的基本得分與文檔在網(wǎng)頁(yè)中的位置信息以及文檔本身的特點(diǎn)很好的結(jié)合起來(lái)，以提高對(duì)搜索結(jié)果排序的準(zhǔn)確度，由此增強(qiáng)了搜索的精確度。