生活服務(wù)類垂直搜索引擎的構(gòu)建.pdf

1、山東理工大學(xué)山東理工大學(xué)碩士學(xué)位論文生活服務(wù)類垂直搜索引擎的構(gòu)建生活服務(wù)類垂直搜索引擎的構(gòu)建TheConstructionoftheVerticalSearchEngineinLivingService研究生：張旭指導(dǎo)教師：李彩虹李彩虹(副教授副教授)申請(qǐng)學(xué)位門類級(jí)別：工程碩士學(xué)科專業(yè)名稱：計(jì)算機(jī)應(yīng)用技術(shù)計(jì)算機(jī)應(yīng)用技術(shù)研究方向：計(jì)算機(jī)網(wǎng)絡(luò)與信息系統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)與信息系統(tǒng)論文完成日期：20112011年4月1010日單位代碼：10433學(xué)號(hào)

2、：YFG07005053分類號(hào)：TP393密級(jí)：山東理工大學(xué)碩士學(xué)位論文摘要I摘要現(xiàn)今互聯(lián)網(wǎng)已經(jīng)成為了信息的海洋，每天有上億張新頁面發(fā)布到互聯(lián)網(wǎng)中，雖然其中大型的門戶網(wǎng)站匯集了大量的信息，但是國內(nèi)數(shù)以萬計(jì)的中小型網(wǎng)站的信息量總和確實(shí)遠(yuǎn)遠(yuǎn)高于門戶網(wǎng)站的。搜索引擎將這些信息通過采集、智能分析、排序等手段可以快速的根據(jù)用戶提交的關(guān)鍵字從數(shù)據(jù)庫中提取出來呈現(xiàn)到瀏覽器中。但是面對(duì)互聯(lián)網(wǎng)呈指數(shù)級(jí)別增長的信息來說，通用搜索引擎提供的檢索結(jié)果在準(zhǔn)確性和

3、專業(yè)性上已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足用戶的需要，特別是利用傳統(tǒng)通用搜索引擎來進(jìn)行某一特定領(lǐng)域的深度專業(yè)搜索時(shí)，用戶需要的是這個(gè)領(lǐng)域?qū)I(yè)且全面的信息回饋。由此看來，利用特定領(lǐng)域垂直搜索引擎進(jìn)行專業(yè)精準(zhǔn)搜索越來越成為搜索引擎領(lǐng)域的研究熱點(diǎn)和發(fā)展趨勢(shì)。生活服務(wù)領(lǐng)域是指與我們?nèi)粘Ｉ钕⑾⑾嚓P(guān)的一些服務(wù)類的信息，它包含了飲食、娛樂、出行等。在每個(gè)城市、每個(gè)地區(qū)都有成千上萬的商家在互聯(lián)網(wǎng)中發(fā)布信息，但是如何才能讓用戶準(zhǔn)確的找到自己身邊有什么樣的服務(wù)和商品呢？在

4、本文系統(tǒng)中通過對(duì)生活服務(wù)類市場(chǎng)需求背景進(jìn)行研究分析，利用垂直搜索引擎技術(shù)，對(duì)互聯(lián)網(wǎng)上各個(gè)城市網(wǎng)站中的信息內(nèi)容進(jìn)行采集，利用開源搜索引擎Lucene框架和Heritrix蜘蛛，實(shí)現(xiàn)了各城市生活服務(wù)搜索引擎的研究與設(shè)計(jì)，主要研究工作如下：（1）針對(duì)生活服務(wù)的特點(diǎn)，確定了本搜索引擎系統(tǒng)的基本功能需求和設(shè)計(jì)方案，完成了系統(tǒng)的各項(xiàng)功能模塊的設(shè)計(jì)、采集頁面數(shù)據(jù)存儲(chǔ)、索引的建立以及中文分詞系統(tǒng)的設(shè)計(jì)。（2）對(duì)Heritrix蜘蛛框架加以改進(jìn)，實(shí)現(xiàn)對(duì)特

5、定城市的生活服務(wù)信息的抓取與訂制。（3）在系統(tǒng)采集模塊中加入了主題關(guān)鍵字預(yù)測(cè)算法，建立了專業(yè)的生活服務(wù)詞庫，利用詞庫僅選擇相關(guān)性高的頁面進(jìn)行采集，提高了入庫主題網(wǎng)頁的相關(guān)度。（4）利用PageRank算法的設(shè)計(jì)思想改進(jìn)原有的Lucene排序算法，利用權(quán)重來提高搜索引擎的查詢準(zhǔn)確率并對(duì)搜索結(jié)果進(jìn)行相關(guān)度排序。通過對(duì)系統(tǒng)各項(xiàng)功能模塊的測(cè)試，本系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)的生活服務(wù)類垂直搜索引擎的方案是可行的，能夠滿足此類用戶的檢索需求。與通用搜索引擎相比