深層網(wǎng)絡(luò)數(shù)據(jù)源發(fā)現(xiàn)與查詢結(jié)果抽取研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)中蘊(yùn)藏的有價(jià)值信息愈來(lái)愈多。但各站點(diǎn)提供的信息在數(shù)量及質(zhì)量上都存在巨大的差異。這給人們選取高質(zhì)量信息帶來(lái)了困難。搜索引擎技術(shù)可以對(duì)網(wǎng)絡(luò)資源進(jìn)行分類整理和檢索，極大地提高了人們獲取有價(jià)值資源的效率。然而有的數(shù)據(jù)資源位于后臺(tái)數(shù)據(jù)庫(kù)中，不能被傳統(tǒng)搜索引擎檢索，這部分網(wǎng)絡(luò)資源稱為深層網(wǎng)絡(luò)。深層網(wǎng)絡(luò)所包含的數(shù)據(jù)具有結(jié)構(gòu)化程度高、數(shù)據(jù)量大、質(zhì)量?jī)?yōu)質(zhì)等特點(diǎn)。因此，研究這些數(shù)據(jù)具有重要的意義。
　　 本文針對(duì)如何發(fā)

2、現(xiàn)并抽取深層網(wǎng)絡(luò)數(shù)據(jù)展開(kāi)了相關(guān)研究。要利用深層網(wǎng)絡(luò)中的信息，首要問(wèn)題就是發(fā)現(xiàn)深層網(wǎng)絡(luò)的數(shù)據(jù)源。其次，對(duì)于向深層網(wǎng)絡(luò)提交查詢后所返回的結(jié)果數(shù)據(jù)區(qū)域，如何自動(dòng)發(fā)現(xiàn)這些區(qū)域是對(duì)其信息抽取的前提。針對(duì)這些問(wèn)題，本文主要完成三個(gè)方面的工作:研究并改進(jìn)了一種數(shù)據(jù)源的發(fā)現(xiàn)方法;采用了一種新的網(wǎng)頁(yè)結(jié)構(gòu)相似度比較算法，在算法的基礎(chǔ)上實(shí)現(xiàn)了網(wǎng)頁(yè)數(shù)據(jù)區(qū)域的識(shí)別;設(shè)計(jì)了深層網(wǎng)絡(luò)信息集成系統(tǒng)框架，并實(shí)現(xiàn)了數(shù)據(jù)源發(fā)現(xiàn)與結(jié)果網(wǎng)頁(yè)信息抽取功能模塊。
　　 首先

3、是深層網(wǎng)絡(luò)數(shù)據(jù)源的發(fā)現(xiàn)及方法改進(jìn)。論文設(shè)計(jì)了一種數(shù)據(jù)源發(fā)現(xiàn)框架。針對(duì)查詢接口的判定問(wèn)題，本文分析了查詢接口與其他表單的區(qū)別，采用了一系列規(guī)則進(jìn)行判斷。數(shù)據(jù)源一般只限某一類領(lǐng)域，為準(zhǔn)確查找數(shù)據(jù)源，必須判定其是否與主題類別相關(guān)。論文分析了傳統(tǒng)數(shù)據(jù)源分類方法在特征選擇方面的不足之處，并對(duì)特征選擇策略進(jìn)行了改進(jìn)。實(shí)驗(yàn)表明，改進(jìn)的方法能有效發(fā)現(xiàn)主題相關(guān)的數(shù)據(jù)源站點(diǎn)。
　　 然后是網(wǎng)頁(yè)信息抽取及新算法的應(yīng)用。本文通過(guò)分析在線數(shù)據(jù)庫(kù)返回結(jié)果頁(yè)

4、面的特點(diǎn)，發(fā)現(xiàn)每個(gè)數(shù)據(jù)區(qū)域?qū)?yīng)的標(biāo)簽樹(shù)在結(jié)構(gòu)上十分相似。論文采用了一種新的網(wǎng)頁(yè)結(jié)構(gòu)相似度比較算法，識(shí)別數(shù)據(jù)區(qū)域所在位置。新算法將網(wǎng)頁(yè)的標(biāo)簽表示成樹(shù)的形式，并定義一種特殊的子樹(shù)，將整個(gè)樹(shù)的比較劃為對(duì)這些特殊子樹(shù)的比較，實(shí)驗(yàn)證明了此算法能有效反映網(wǎng)頁(yè)結(jié)構(gòu)的相似程度。使用該算法找出數(shù)據(jù)區(qū)域所在位置之后，本文利用網(wǎng)頁(yè)結(jié)構(gòu)特點(diǎn)及關(guān)鍵詞提取相關(guān)記錄，并將這些信息抽取出來(lái)。
　　 最后是深層網(wǎng)絡(luò)數(shù)據(jù)集成框架設(shè)計(jì)與主要模塊實(shí)現(xiàn)。論文設(shè)計(jì)了深層網(wǎng)