垂直搜索關(guān)鍵技術(shù)研究與設(shè)計(jì).pdf

1、隨著信息技術(shù)的迅猛發(fā)展，網(wǎng)絡(luò)成為人們獲取信息的主要手段。為了幫助人們?cè)诤迫鐭熀５幕ヂ?lián)網(wǎng)中得到有用的信息，基于 Internet的各類信息檢索服務(wù)應(yīng)運(yùn)而生并得到了迅速發(fā)展。目前，人們?cè)诨ヂ?lián)網(wǎng)上搜索信息主要是通過Google、百度等通用搜索引擎，這類搜索引擎的功能已十分強(qiáng)大，在一般情況下可以滿足用戶的需求。然而，當(dāng)用戶只想查詢具體某專業(yè)、某行業(yè)或某種主題的相關(guān)信息時(shí)，這類搜索引擎就會(huì)顯得有些力不從心，垂直搜索引擎的出現(xiàn)就是為了解決這類問題。

2、因?yàn)樗?wù)于特定領(lǐng)域，注重于專業(yè)化與結(jié)構(gòu)化 Web信息的整合，定向分字段抽取出需要的數(shù)據(jù)進(jìn)行處理后再以某種形式返回給用戶。
　　本文針對(duì)垂直搜索研究熱點(diǎn)，主要研究?jī)?nèi)容有以下四個(gè)方面：
　　（1）結(jié)合國(guó)內(nèi)外研究現(xiàn)狀、關(guān)鍵技術(shù)及存在問題，針對(duì)垂直搜索進(jìn)行了理論性的分析，介紹了垂直搜索概念、優(yōu)勢(shì)、關(guān)鍵技術(shù)及其發(fā)展方向。
　?。?）主題爬蟲必須解決的三個(gè)主要問題：一是對(duì)各異構(gòu)Web數(shù)據(jù)源的抓取目標(biāo)的描述或定義；二是對(duì)網(wǎng)頁(yè)或數(shù)據(jù)

3、的分析與過濾；三是對(duì)URL的搜索策略。針對(duì)以上三個(gè)問題，本文提出了基于Heritrix開源爬蟲的聚焦網(wǎng)絡(luò)爬蟲設(shè)計(jì)。通過抓取過程策略與算法分析、抓取過程數(shù)據(jù)流圖設(shè)計(jì)及擴(kuò)展與定制Heritrix完成了特定網(wǎng)頁(yè)的抓取。
　?。?）“結(jié)構(gòu)化”是垂直搜索的特征之一，即垂直搜索要利用信息抽取技術(shù)把網(wǎng)頁(yè)打碎，從中提取出精細(xì)化、條目化的信息，存放到數(shù)據(jù)庫(kù)中。為了完成網(wǎng)頁(yè)結(jié)構(gòu)化數(shù)據(jù)抽取，本文結(jié)合現(xiàn)在的網(wǎng)頁(yè)結(jié)構(gòu)化信息抽取技術(shù)，提出了Web實(shí)體提取方法

4、。并在文中闡述了Web實(shí)體提取的定義、原理、方法及實(shí)現(xiàn)。并通過實(shí)驗(yàn)驗(yàn)證了該方法的可行性，滿足了垂直搜索對(duì)網(wǎng)頁(yè)結(jié)構(gòu)化數(shù)據(jù)抽取的需求。
　　（4）在現(xiàn)有的研究基礎(chǔ)上，設(shè)計(jì)了一個(gè)實(shí)際的新書信息垂直搜索系統(tǒng)。該系統(tǒng)根據(jù)垂直搜索的架構(gòu)和運(yùn)行原理而設(shè)計(jì)，容納了垂直搜索引擎的關(guān)鍵技術(shù)，滿足了實(shí)際的應(yīng)用需求。并且具備良好的可擴(kuò)展性和可修改性，有較好的實(shí)際應(yīng)用價(jià)值。
　　本文的貢獻(xiàn)主要在于合理地整合運(yùn)用了開源項(xiàng)目，提出了Web實(shí)體提取方法，采