生活服務類垂直搜索引擎的構建.pdf

1、山東理工大學山東理工大學碩士學位論文生活服務類垂直搜索引擎的構建生活服務類垂直搜索引擎的構建TheConstructionoftheVerticalSearchEngineinLivingService研究生：張旭指導教師：李彩虹李彩虹(副教授副教授)申請學位門類級別：工程碩士學科專業(yè)名稱：計算機應用技術計算機應用技術研究方向：計算機網絡與信息系統(tǒng)計算機網絡與信息系統(tǒng)論文完成日期：20112011年4月1010日單位代碼：10433學號

2、：YFG07005053分類號：TP393密級：山東理工大學碩士學位論文摘要I摘要現(xiàn)今互聯(lián)網已經成為了信息的海洋，每天有上億張新頁面發(fā)布到互聯(lián)網中，雖然其中大型的門戶網站匯集了大量的信息，但是國內數(shù)以萬計的中小型網站的信息量總和確實遠遠高于門戶網站的。搜索引擎將這些信息通過采集、智能分析、排序等手段可以快速的根據用戶提交的關鍵字從數(shù)據庫中提取出來呈現(xiàn)到瀏覽器中。但是面對互聯(lián)網呈指數(shù)級別增長的信息來說，通用搜索引擎提供的檢索結果在準確性和

3、專業(yè)性上已經遠遠不能滿足用戶的需要，特別是利用傳統(tǒng)通用搜索引擎來進行某一特定領域的深度專業(yè)搜索時，用戶需要的是這個領域專業(yè)且全面的信息回饋。由此看來，利用特定領域垂直搜索引擎進行專業(yè)精準搜索越來越成為搜索引擎領域的研究熱點和發(fā)展趨勢。生活服務領域是指與我們日常生活息息相關的一些服務類的信息，它包含了飲食、娛樂、出行等。在每個城市、每個地區(qū)都有成千上萬的商家在互聯(lián)網中發(fā)布信息，但是如何才能讓用戶準確的找到自己身邊有什么樣的服務和商品呢？在

4、本文系統(tǒng)中通過對生活服務類市場需求背景進行研究分析，利用垂直搜索引擎技術，對互聯(lián)網上各個城市網站中的信息內容進行采集，利用開源搜索引擎Lucene框架和Heritrix蜘蛛，實現(xiàn)了各城市生活服務搜索引擎的研究與設計，主要研究工作如下：（1）針對生活服務的特點，確定了本搜索引擎系統(tǒng)的基本功能需求和設計方案，完成了系統(tǒng)的各項功能模塊的設計、采集頁面數(shù)據存儲、索引的建立以及中文分詞系統(tǒng)的設計。（2）對Heritrix蜘蛛框架加以改進，實現(xiàn)對特

5、定城市的生活服務信息的抓取與訂制。（3）在系統(tǒng)采集模塊中加入了主題關鍵字預測算法，建立了專業(yè)的生活服務詞庫，利用詞庫僅選擇相關性高的頁面進行采集，提高了入庫主題網頁的相關度。（4）利用PageRank算法的設計思想改進原有的Lucene排序算法，利用權重來提高搜索引擎的查詢準確率并對搜索結果進行相關度排序。通過對系統(tǒng)各項功能模塊的測試，本系統(tǒng)設計和實現(xiàn)的生活服務類垂直搜索引擎的方案是可行的，能夠滿足此類用戶的檢索需求。與通用搜索引擎相比