Deep Web數(shù)據(jù)抽取關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)及其相關(guān)技術(shù)的迅猛發(fā)展，Web已經(jīng)逐漸成為最主要的信息來源。有效地獲取并集成Web數(shù)據(jù)，能夠?yàn)閿?shù)據(jù)的分析挖掘提供強(qiáng)有力的幫助，具有十分重要的應(yīng)用價(jià)值和意義。但是僅通過手工的方式對(duì)這些信息進(jìn)行集成，在實(shí)際當(dāng)中是一件非常困難的事情，難以有效利用Web信息。因此，Web數(shù)據(jù)自動(dòng)化集成技術(shù)成為研究熱點(diǎn)。Web數(shù)據(jù)自動(dòng)抽取即是Web數(shù)據(jù)集成自動(dòng)化中的關(guān)鍵問題之一。
　　 Web數(shù)據(jù)抽取包含了Web數(shù)據(jù)的提取和語義標(biāo)注。Web

2、數(shù)據(jù)抽取就是從Web頁面中識(shí)別并提取出用戶感興趣的信息，然后對(duì)這些信息進(jìn)行處理，形成更為結(jié)構(gòu)化且語義清晰，能被計(jì)算機(jī)理解處理的數(shù)據(jù)。
　　 按照獲取信息在Web的深度，可將Web劃分為SurfaceWeb和DeepWeb。目前，DeepWeb的信息量已經(jīng)遠(yuǎn)遠(yuǎn)超過了SurfaceWeb，數(shù)據(jù)質(zhì)量也比SurfaceWeb高，具有更高的應(yīng)用價(jià)值。
　　 本論文以DeepWeb數(shù)據(jù)集成系統(tǒng)為目標(biāo)應(yīng)用，面向DeepWeb中異構(gòu)的海

3、量數(shù)據(jù)，針對(duì)DeepWeb數(shù)據(jù)集成中的若干關(guān)鍵問題，所提出的創(chuàng)新性的工作主要包括以下兩個(gè)方面。
　　 (1)基于字符串模式匹配的頁面模板生成方法
　　 每個(gè)DeepWeb站點(diǎn)都會(huì)根據(jù)自己網(wǎng)站的主題，采用不同的布局風(fēng)格設(shè)計(jì)頁面結(jié)構(gòu)，展示頁面數(shù)據(jù)，不同站點(diǎn)的網(wǎng)頁設(shè)計(jì)各異。因此，從不同的數(shù)據(jù)源抽取數(shù)據(jù)，就需要一些有效的工具，提供相應(yīng)的服務(wù)。目前主要是通過編寫包裝器，從HTML頁面上抽取數(shù)據(jù)。在許多抽取包裝器的研究中，構(gòu)造Web

4、站點(diǎn)的頁面模板都是研究開始必須解決的一個(gè)關(guān)鍵問題?，F(xiàn)有的頁面模板生成方法難以處理復(fù)雜的頁面結(jié)構(gòu)，影響了頁面模板的準(zhǔn)確性和可靠性。本文提出了一個(gè)新穎有效的方法能夠自動(dòng)的構(gòu)造Web站點(diǎn)的頁面模板。該方法是基于字符串模式匹配自動(dòng)搜尋Web頁面中的嵌套結(jié)構(gòu)和重復(fù)結(jié)構(gòu)，能夠處理復(fù)雜頁面，從而構(gòu)造Web站點(diǎn)的頁面模板。
　　 (2)基于頁面視覺特征的Web數(shù)據(jù)語義標(biāo)注方法
　　 現(xiàn)有的Web數(shù)據(jù)語義標(biāo)注方法，多從數(shù)據(jù)本身出發(fā)，圍繞數(shù)

5、據(jù)項(xiàng)語義特征，模式特征以及數(shù)據(jù)項(xiàng)之間的邏輯關(guān)系，來分析數(shù)據(jù)的語義。在很多情況下，僅通過分析數(shù)據(jù)的語義特征，模式特征等，難以準(zhǔn)確標(biāo)注兩個(gè)位置鄰近，且語義特征或模式特征十分類似的數(shù)據(jù)項(xiàng)。本文提出了一種基于頁面視覺特征約束條件隨機(jī)場(chǎng)的Web數(shù)據(jù)標(biāo)注方法，通過引入Web頁面視覺特征作為條件隨機(jī)場(chǎng)標(biāo)注模型的約束條件提高語義標(biāo)注的性能。首先，在對(duì)同類Web頁面進(jìn)行數(shù)據(jù)抽取過程中，可以容易地獲得數(shù)據(jù)的頁面視覺特征，從而生成每條數(shù)據(jù)記錄對(duì)應(yīng)的頁面視覺特