基于XML的Web表格內(nèi)容抽取技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，Web已經(jīng)成為一個(gè)龐大的信息倉(cāng)庫(kù)，是人們獲取知識(shí)的主要來(lái)源。作為一個(gè)表達(dá)關(guān)系信息簡(jiǎn)潔而有效的途徑，表格在Web文檔中的應(yīng)用十分廣泛。據(jù)研究發(fā)現(xiàn)，約52[％]的HTML文檔中都使用了表格元素。表格是規(guī)范數(shù)據(jù)的載體，其中涵蓋了大量有價(jià)值的信息。因此，研究Web表格內(nèi)容抽取在信息抽取領(lǐng)域中有著重要的作用。
　　 論文結(jié)合XML標(biāo)準(zhǔn)技術(shù)，提出一種新的基于XML的Web表格內(nèi)容抽取方案，用以解決用戶(hù)獲取目標(biāo)數(shù)據(jù)的問(wèn)題

2、。該方案首先設(shè)計(jì)了一種相似表格網(wǎng)頁(yè)批量獲取方法，將源網(wǎng)頁(yè)存儲(chǔ)到知識(shí)庫(kù)。通過(guò)設(shè)計(jì)的頁(yè)面清洗和去除噪聲算法，有效地將源HTML文檔轉(zhuǎn)換成符合XML標(biāo)準(zhǔn)的XHTML文檔。在把文檔解析成XMLDOM樹(shù)的基礎(chǔ)上，提出了一種生成樣本實(shí)例Xpath的算法，并通過(guò)歸納學(xué)習(xí)的方式獲得目標(biāo)數(shù)據(jù)的公共路徑。除了學(xué)習(xí)樣本實(shí)例外，論文還給出了一種自動(dòng)抽取方式的設(shè)計(jì)方案。它利用啟發(fā)式規(guī)則定位數(shù)據(jù)區(qū)域，根據(jù)兩棵樹(shù)之間的相似度分離出數(shù)據(jù)項(xiàng)子樹(shù)，通過(guò)比較相似子樹(shù)來(lái)確定目

3、標(biāo)信息點(diǎn)，從而獲得所有目標(biāo)信息點(diǎn)的公共Xpath表達(dá)式。抽取規(guī)則文件的生成是自動(dòng)模式的，它利用XSLT作為抽取規(guī)則的描述語(yǔ)言，使用Xpath來(lái)定位待抽取信息點(diǎn)，抽取出的數(shù)據(jù)存放在XML文件中。最后，利用數(shù)據(jù)存儲(chǔ)算法，將XML中的結(jié)構(gòu)化數(shù)據(jù)遷移到關(guān)系數(shù)據(jù)庫(kù)中。
　　 基于上述方法，論文設(shè)計(jì)并開(kāi)發(fā)了一個(gè)基于XML的Web表格內(nèi)容抽取原型系統(tǒng)。從大量動(dòng)態(tài)Web表格網(wǎng)頁(yè)的實(shí)驗(yàn)結(jié)果可以得出，該方法能有效解決Web表格信息抽取中存在的問(wèn)題，