基于XML的web數(shù)據(jù)抽取研究.pdf

1、隨著Intemet的快速發(fā)展，Web網(wǎng)頁的數(shù)量也不斷增加，盡管從網(wǎng)上可以查找到幾乎所有知識領(lǐng)域的相關(guān)資料，但是對數(shù)據(jù)的操作和控制卻不盡人意。為了更加有效地利用網(wǎng)絡(luò)資源，從中獲取有用的數(shù)據(jù)資料，研究人員開創(chuàng)了web數(shù)據(jù)抽取這一領(lǐng)域。利用數(shù)據(jù)抽取技術(shù)，對網(wǎng)頁的結(jié)構(gòu)和數(shù)據(jù)特征進行分析，可以抽取出網(wǎng)頁中用戶感興趣的數(shù)據(jù)，以結(jié)構(gòu)化的形式進行集成和保存，以供XML查詢語言或者SQL語言查詢，或者供其它的應(yīng)用程序使用。Wrapper是從網(wǎng)頁中抽取數(shù)據(jù)

2、的程序，構(gòu)造準(zhǔn)確、健壯和通用的Wrapper可以使網(wǎng)頁免受結(jié)構(gòu)變化的影響，且減少人為參與，但是現(xiàn)有的各種Wrapper有著不同的局限性，在精度、健壯性和通用性方面難以達到很高的要求。本文利用標(biāo)準(zhǔn)的XML技術(shù)來解決數(shù)據(jù)抽取問題，提出一種基于XML技術(shù)的web數(shù)據(jù)抽取方法。 作者的主要工作如下： (1)XML技術(shù)的發(fā)展使得基于XML的web數(shù)據(jù)抽取方法成為web數(shù)據(jù)抽取的趨勢，本文對三種web數(shù)據(jù)抽取方法進行了分析和比較。

3、 (2)在詳細分析和比較數(shù)據(jù)抽取技術(shù)中三種常用的信息定位方法的基礎(chǔ)上，應(yīng)用XPath和XQuery技術(shù)在數(shù)據(jù)轉(zhuǎn)換和定位方面的優(yōu)勢，提出了基于樹的絕對路徑和屬性相結(jié)合的信息定位方法APTA(Absolute Path of Tree &Attribution)，綜合了基于樹的絕對路徑的信息定位方法和基于屬性的信息定位方法的優(yōu)點，實現(xiàn)了對信息更加準(zhǔn)確的定位。 (3)利用HTML Tidy工具對待抽取頁面進行清洗，將web數(shù)據(jù)抽

4、取過程以及改進的定位方式放在XML語言編寫的配置文件里定義，根據(jù)配置文檔中自定義的元素和結(jié)構(gòu)編程實現(xiàn)基于XML的web數(shù)據(jù)抽取。 (4)根據(jù)Shared Inlining模型將XML數(shù)據(jù)型的抽取結(jié)果轉(zhuǎn)換為關(guān)系表型數(shù)據(jù)，使得可以利用關(guān)系數(shù)據(jù)庫已有的理論基礎(chǔ)和應(yīng)用平臺最大限度地實現(xiàn)對web信息的再利用。 (5)雖然本文的基于XML的web數(shù)據(jù)抽取方法的F值還未達到理想值，但與三種基本的信息定位方法的web數(shù)據(jù)抽取方法相比較，