基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎研究與實現(xiàn).pdf

1、隨著Internet的飛速發(fā)展，人們越來越依靠網(wǎng)絡(luò)來查找他們所需要的信息。Internet的信息資源具有多樣性、分布性、開放性、時效性和異構(gòu)性的特點，同一主題的信息通常分散存放在不同網(wǎng)站上，表現(xiàn)的形式也各不相同。垂直搜索引擎可以將這些信息按主題進(jìn)行抽取，以結(jié)構(gòu)化形式存儲。 本文提出了一種基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎模型。根據(jù)專業(yè)和行業(yè)網(wǎng)站的領(lǐng)域特點，提出相應(yīng)主題的元數(shù)據(jù)統(tǒng)一表示標(biāo)準(zhǔn)。通過對對應(yīng)網(wǎng)站的網(wǎng)頁分析，依據(jù)元數(shù)據(jù)表示標(biāo)準(zhǔn)

2、和網(wǎng)頁結(jié)構(gòu)特征，提煉出具體網(wǎng)站網(wǎng)頁的信息抽取模板。垂直搜索引擎根據(jù)該信息抽取模板對目標(biāo)網(wǎng)站進(jìn)行網(wǎng)頁爬行、頁面轉(zhuǎn)換、抽取數(shù)據(jù)和分離數(shù)據(jù)及保存數(shù)據(jù)。網(wǎng)站的信息抽取模板采用XML進(jìn)行描述，對應(yīng)網(wǎng)頁結(jié)構(gòu)特征。由于采用標(biāo)準(zhǔn)的XML并以文件形式存放，可以方便地在關(guān)心該網(wǎng)站信息的用戶之間共享。 根據(jù)本文提出的基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎模型，我們開發(fā)了一個基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎系統(tǒng)。整個系統(tǒng)以元數(shù)據(jù)模型為基礎(chǔ)，對網(wǎng)站網(wǎng)頁結(jié)構(gòu)進(jìn)行結(jié)構(gòu)

3、化處理，獲得網(wǎng)頁的結(jié)構(gòu)化信息?；谠撍阉饕?，我們開發(fā)了車貨配物流等垂直搜索網(wǎng)站，在實踐中進(jìn)一步得到了檢驗。 本文的主要工作和成果如下： 1. 研究基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎系統(tǒng)的工作原理和基本系統(tǒng)結(jié)構(gòu) 通過對垂直搜索引擎技術(shù)和相關(guān)技術(shù)的研究，提出了基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎工作模型，將系統(tǒng)處理流程主要分為：網(wǎng)頁爬行、頁面轉(zhuǎn)換、抽取數(shù)據(jù)、分離數(shù)據(jù)。基于工作模型，本文提出了一個分層的系統(tǒng)架構(gòu)。 2.

4、 提出了一種針對行業(yè)網(wǎng)站網(wǎng)頁信息的元數(shù)據(jù)模型 本課題通過對行業(yè)信息分析，提出一種通用的和標(biāo)準(zhǔn)化的元數(shù)據(jù)模型。同時利用XML等技術(shù)實現(xiàn)了該模型，并根據(jù)具體網(wǎng)站的網(wǎng)頁結(jié)構(gòu)特征，利用XSLT技術(shù)提出了將網(wǎng)站網(wǎng)頁信息轉(zhuǎn)換為符合該元數(shù)據(jù)模型的數(shù)據(jù)的信息抽取模板方式。 3 .實現(xiàn)了一個基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎系統(tǒng) 本課題根據(jù)系統(tǒng)模型，利用Microsoft .Net技術(shù)實現(xiàn)了一個基于網(wǎng)頁結(jié)構(gòu)特征的垂直搜索引擎系統(tǒng)。該系

5、統(tǒng)采用面向接口編程，利用系統(tǒng)配置文件使系統(tǒng)具備有高可配置性和彈性。同時利用多線程技術(shù)，最大限度地利用計算機和網(wǎng)絡(luò)資源，使系統(tǒng)具備有很高的工作效率。 4. 建立了車貨配物流原型系統(tǒng) 以本課題開發(fā)的垂直搜索引擎系統(tǒng)為基礎(chǔ)，依據(jù)元數(shù)據(jù)模型，結(jié)合互聯(lián)網(wǎng)上車貨配網(wǎng)站，確立車貨配元數(shù)據(jù)模型和信息抽取模板。利用該系統(tǒng)，通過對車貨配網(wǎng)站信息的垂直搜索，獲取網(wǎng)站的相應(yīng)信息。建立一個網(wǎng)站原型，提供車貨配垂直搜索服務(wù)，論證了系統(tǒng)的可行性和可用