Web頁面結(jié)構(gòu)化數(shù)據(jù)抽取的研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)迅猛發(fā)展，使得互聯(lián)網(wǎng)成為一個龐大的信息源。結(jié)構(gòu)化數(shù)據(jù)作為網(wǎng)絡(luò)中比較常見的數(shù)據(jù)形式之一，具有多種網(wǎng)頁呈現(xiàn)方式，對于這些數(shù)據(jù)的抽取，往往需要大量的人工操作，這給數(shù)據(jù)的抽取工作帶來了很大困難。因此，為了實現(xiàn)自動獲取網(wǎng)頁中的結(jié)構(gòu)化數(shù)據(jù)信息，基于結(jié)構(gòu)化數(shù)據(jù)的挖掘成為數(shù)據(jù)挖掘領(lǐng)域中的一個主要研究方向。目前，該領(lǐng)域已經(jīng)進(jìn)行了大量針對網(wǎng)頁信息抽取的研究，出現(xiàn)了很多關(guān)于數(shù)據(jù)價值評估的理論以及抽取網(wǎng)頁中結(jié)構(gòu)化數(shù)據(jù)的算法。
　　本文主要面向富含數(shù)

2、據(jù)的兩種頁面--列表頁和詳情頁，在已有的結(jié)構(gòu)化數(shù)據(jù)抽取算法基礎(chǔ)上，針對多數(shù)據(jù)區(qū)域抽取的效率問題、圖表數(shù)據(jù)的識別和WEB表之間的實體關(guān)系挖掘等三個方面的問題，研究并提出了相應(yīng)的改進(jìn)算法。其中，第一種改進(jìn)的算法主要面向包含嵌套型數(shù)據(jù)的列表頁，解決了提高處理多數(shù)據(jù)區(qū)域時的效率問題。該算法在已有的平坦數(shù)據(jù)挖掘算法基礎(chǔ)上，加入了數(shù)據(jù)區(qū)域挖掘算法，根據(jù)構(gòu)造出的嵌套數(shù)據(jù)列表頁標(biāo)簽樹，找出所有數(shù)據(jù)區(qū)域并進(jìn)行統(tǒng)一處理，對所有子樹應(yīng)用簡單樹匹配和部分樹對齊

3、算法，生成全局模式，進(jìn)而抽取出所有的數(shù)據(jù)記錄；第二種改進(jìn)的算法主要針對識別圖表形式的結(jié)構(gòu)化數(shù)據(jù)所進(jìn)行的研究，是作為第一種方法的補充研究。首先通過結(jié)構(gòu)化數(shù)據(jù)抽取算法獲得富含結(jié)構(gòu)化信息的圖表所屬數(shù)據(jù)區(qū)域，其次應(yīng)用圖像信息二值化算法以及OCR算法，將圖表內(nèi)容轉(zhuǎn)化為文本，之后將轉(zhuǎn)化出的文本再應(yīng)用結(jié)構(gòu)化信息抽取算法，得到頁面中完整的有價值信息；第三種改進(jìn)的算法著重于數(shù)據(jù)表格內(nèi)部及表格之間實體關(guān)系的挖掘。這種方法在已有實體關(guān)系挖掘算法的基礎(chǔ)上，加入

4、實體關(guān)系候選項的反饋過程，先計算出超鏈接信息的置信度并找出候選關(guān)系，再計算此候選關(guān)系的可信度，將大于規(guī)定閾值的候選關(guān)系定為新的關(guān)系并加入到循環(huán)中，從而解決了原算法容易忽略超鏈接信息的問題，達(dá)到全面準(zhǔn)確的挖掘出實體關(guān)系的目的。
　　上述三種方法實質(zhì)是針對面向數(shù)據(jù)抽取的不同階段設(shè)計的。第一種和第二種方法針對數(shù)據(jù)本身進(jìn)行數(shù)據(jù)抽取，第三種方法不僅面向多頁面數(shù)據(jù)抽取，同時也為之后的數(shù)據(jù)集成階段做準(zhǔn)備。三種方法相輔相成，填補了原算法的一些不足