Web數(shù)據(jù)集成中全局模式構建方法研究.pdf

1、隨著計算機及互聯(lián)網(wǎng)技術的快速發(fā)展，Web上的信息量也隨之急劇的增長，使得Web成為巨大的分布廣泛的數(shù)據(jù)源。隨著各行業(yè)對信息的需求越來越高，而有效的整合Web上的海量的異構的數(shù)據(jù)是一件困難的事情，因而人們提出Web數(shù)據(jù)集成技術。Web數(shù)據(jù)集成系統(tǒng)能夠將來自多個數(shù)據(jù)源的數(shù)據(jù)通過數(shù)據(jù)抽取、實體統(tǒng)一等過程形成結構統(tǒng)一、表意明確的數(shù)據(jù)，能夠為用戶的情報分析、商業(yè)決策等應用提供支持。
　　 在Web數(shù)據(jù)集成中，Web頁面中的Web數(shù)據(jù)對象稱

2、之為Web實體實例，來自不同數(shù)據(jù)源的Web實體實例信息在模式上存在著諸多的差異：一方面，對于相同類型的Web實體，不同的Web實體實例通常包含不同的實體屬性；另一方面，對于同一實體屬性，不同的Web實體實例通常使用不同的屬性標簽。而且由于Web實體的動態(tài)性特點，包含新的屬性的Web實體實例及包含新的屬性標簽的Web實體實例不斷的出現(xiàn)在Web頁面中。Web實體實例在模式上的諸多差異為數(shù)據(jù)的整合帶來困難。為了消除各Web實體實例間的模式差異

3、，為所有數(shù)據(jù)提供統(tǒng)一的、規(guī)范的模式，需要為Web數(shù)據(jù)集成系統(tǒng)中所有的Web實體實例構建一個全局模式。
　　 本文主要研究Web數(shù)據(jù)集成中Web實體全局模式的構建方法，主要工作包括下面幾個方面：
　　 (1)基于Web實體實例在頁面中的展示特征及Web數(shù)據(jù)集成系統(tǒng)中已有的Web實體全局模式信息，本文提出一種基于SVM的Web頁面主數(shù)據(jù)區(qū)域識別方法，該方法能夠有效的將半結構化及非結構化頁面進行數(shù)據(jù)區(qū)域分割并識別出Web實體實

4、例所在的主數(shù)據(jù)區(qū)域，為Web實體屬性信息的抽取提供輔助支持。
　　 (2)基于Web實體屬性標簽的特征及Web數(shù)據(jù)集成系統(tǒng)中已有的Web實體全局模式信息，本文提出一種基于AdaBoost的集成學習方法來從頁面的主數(shù)據(jù)區(qū)域自動的抽取Web實體的屬性信息，為Web實體全局模式構建提供Web實體模式信息及屬性標簽信息。
　　 (3)基于Web實體模式信息動態(tài)變化的特點，本文提出一種基于SVM的Web實體全局模式動態(tài)構建方法，該

5、方法可以有效的建立局部模式與全局模式之間的映射關系，根據(jù)映射結果擴充全局模式，并且當頁面中出現(xiàn)新的Web實體屬性信息時，該方法能夠及時的將其映射到全局模式中，從而為Web數(shù)據(jù)集成系統(tǒng)中其他方面的工作提供完整有效的Web實體全局模式。
　　 (4)本文利用Web數(shù)據(jù)集成系統(tǒng)中已有的Web實體全局模式來指導Web頁面主數(shù)據(jù)區(qū)域的識別及Web實體屬性信息的抽取，從而提高其準確率。Web實體全局模式與Web頁面主數(shù)據(jù)區(qū)域識別及Web實體