基于XML用戶(hù)定義需求的WEB信息提取研究.pdf

1、隨著近些年互聯(lián)網(wǎng)的飛速發(fā)展，Internet已經(jīng)發(fā)展成為一個(gè)龐大的發(fā)布和共享信息資源的平臺(tái)。但是如何從海量、無(wú)結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)中快速、高效地獲取用戶(hù)所需的信息仍然是亟待解決的熱點(diǎn)問(wèn)題，因此WEB信息提取技術(shù)應(yīng)運(yùn)而生。目前學(xué)者們已經(jīng)進(jìn)行了大量的研究工作，但現(xiàn)有的技術(shù)仍然存在諸多不足之處:提取方法過(guò)于專(zhuān)業(yè)，不僅增加了用戶(hù)語(yǔ)義理解的負(fù)擔(dān)，而且不便于用戶(hù)使用;在提取過(guò)程中難以及時(shí)獲取用戶(hù)的反饋，影響提取效果;提取內(nèi)容越復(fù)雜，提取規(guī)則的健壯性

2、越差。
　　基于此，本文在對(duì)XML及相關(guān)標(biāo)準(zhǔn)和現(xiàn)有基于XML提取方法深入研究的基礎(chǔ)上，提出了一種基于XML用戶(hù)自定義需求的WEB信息提取方法。研究工作包括為以下幾方面內(nèi)容:
　　(1)對(duì)待提取頁(yè)面進(jìn)行處理。HTML頁(yè)面經(jīng)過(guò)預(yù)處理過(guò)濾掉無(wú)關(guān)信息和代碼，轉(zhuǎn)換為格式規(guī)范的XML文檔，為使用戶(hù)清晰掌握頁(yè)面結(jié)構(gòu)，將XML文檔解析生成可視化的DOM樹(shù)形式，在節(jié)點(diǎn)轉(zhuǎn)換的過(guò)程中，標(biāo)記每個(gè)節(jié)點(diǎn)類(lèi)型，并計(jì)算其路徑表達(dá)式，為樣本映射和生成提取規(guī)則

3、做準(zhǔn)備。
　　(2)實(shí)現(xiàn)用戶(hù)的提取需求的獲取。研究通過(guò)定義目標(biāo)描述待提取數(shù)據(jù)節(jié)點(diǎn)間的層次關(guān)系，并且以此作為提取信息輸出時(shí)的樣式結(jié)構(gòu)。用戶(hù)標(biāo)記的樣本則作為提取規(guī)則的生成依據(jù)，樣本按照映射規(guī)則以結(jié)構(gòu)映射或內(nèi)容映射的方式向目標(biāo)結(jié)構(gòu)映射，從而得到待提取數(shù)據(jù)的節(jié)點(diǎn)類(lèi)型信息和位置信息。
　　(3)實(shí)現(xiàn)提取規(guī)則的構(gòu)造。提取規(guī)則由一個(gè)或多個(gè)匹配目標(biāo)結(jié)構(gòu)每層節(jié)點(diǎn)的模板構(gòu)成。模板根據(jù)目標(biāo)結(jié)構(gòu)根節(jié)點(diǎn)是否存在結(jié)構(gòu)映射分別進(jìn)行構(gòu)造。根節(jié)點(diǎn)存在結(jié)構(gòu)映射

4、，利用樣本結(jié)構(gòu)映射的class屬性匹配全文同類(lèi)別節(jié)點(diǎn)，并利用相對(duì)路徑覆蓋父子關(guān)系和祖先后代關(guān)系，遞歸生成每層節(jié)點(diǎn)模板。根節(jié)點(diǎn)不存在結(jié)構(gòu)映射，通過(guò)其子節(jié)點(diǎn)獲取公共路徑作為模板匹配的起點(diǎn)，由于該起點(diǎn)位置是唯一的，因此提取僅為樣本數(shù)據(jù)。
　　最后通過(guò)對(duì)比實(shí)驗(yàn)，驗(yàn)證了本文提取方法的有效性，證明了該方法提取效果優(yōu)于現(xiàn)有的兩種方法。當(dāng)提取內(nèi)容結(jié)構(gòu)復(fù)雜時(shí)，提取規(guī)則具有較好的健壯性。同時(shí)實(shí)現(xiàn)了該方法的原型系統(tǒng)，通過(guò)系統(tǒng)演示表明，用戶(hù)不僅能夠直觀的