基于DOM的Web信息自動抽取技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，Web成為各種應(yīng)用與研究的重要數(shù)據(jù)源之一，為信息檢索、數(shù)據(jù)挖掘等領(lǐng)域提供高質(zhì)量的數(shù)據(jù)。Web中一類重要的數(shù)據(jù)保存在可搜索網(wǎng)絡(luò)數(shù)據(jù)庫中，只有通過提交查詢請求，網(wǎng)站背后的數(shù)據(jù)才能按照一定的模板被擴展在網(wǎng)頁上，如電子商務(wù)網(wǎng)站的商品信息網(wǎng)頁，這類動態(tài)頁面稱為DeepWeb。Deep Web數(shù)據(jù)量大、發(fā)展迅猛、領(lǐng)域覆蓋全面、主題性強、信息結(jié)構(gòu)化程度高，具有很高的應(yīng)用價值。因此，如何從Deep Web中有效地抽取信息，幫助人們

2、快速、準(zhǔn)確、有效的利用這些海量數(shù)據(jù)，具有重要的現(xiàn)實意義和廣闊的應(yīng)用前景。
　　 Internet上的各個網(wǎng)站的信息相互獨立，Deep Web數(shù)據(jù)收集起來十分困難，在這種情況下，通常的搜索引擎發(fā)揮的作用微乎其微。通過手工書寫規(guī)則完成信息抽取的方式雖然準(zhǔn)確率高，技術(shù)門檻低，但是由于信息源的多樣化和潛在的改版風(fēng)險，手工方式無法滿足人們對信息獲取的需求。結(jié)合上述背景，可以發(fā)現(xiàn)Web信息自動抽取技術(shù)的研究與實現(xiàn)是一個非常迫切需要解決的問題

3、。針對這一問題，本文在Web信息自動抽取技術(shù)方面，包括查詢接口判定的機器學(xué)習(xí)方法、Web數(shù)據(jù)自動抽取、數(shù)據(jù)項對齊等方面，進行了深入而系統(tǒng)的研究，同時開發(fā)了Web信息自動抽取系統(tǒng)。本文具體的研究工作和研究成果如下：
　　 (1)采用基于決策樹的查詢接口自動判定方法。自動提取網(wǎng)頁標(biāo)簽的特征，形成特征集合，根據(jù)幾種分類算法的準(zhǔn)確率的比較和分析，選擇使用決策樹分類器對網(wǎng)頁標(biāo)簽進行分類。
　　 (2)在基于DOM相似度匹配的Web

4、數(shù)據(jù)抽取算法的基礎(chǔ)上，提出針對抽取結(jié)果的過濾算法，提高抽取結(jié)果的準(zhǔn)確率。首先通過DOM相似度匹配算法抽取列表頁面，但是由于這種算法僅僅挖掘網(wǎng)頁的重復(fù)結(jié)構(gòu)，導(dǎo)致抽取的準(zhǔn)確率不高。在這個基礎(chǔ)上，提出基于熵的過濾算法過濾抽取結(jié)果，并通過k-means聚類算法判斷噪音的熵值。
　　 (3)在基于部分樹對齊的數(shù)據(jù)項對齊算法的基礎(chǔ)上，提出有效的對齊規(guī)則，提高數(shù)據(jù)項對齊的準(zhǔn)確率。
　　 (4)在以上研究內(nèi)容的基礎(chǔ)上，設(shè)計開發(fā)了Web信

5、息自動抽取系統(tǒng)，系統(tǒng)實現(xiàn)功能包括：1)給定多個數(shù)據(jù)源的情況下，自動判定查詢接口，并能自動填充并提交查詢請求。2)對查詢請求返回的列表頁面實現(xiàn)自動抽取，并對結(jié)果進行過濾，提高了抽取的準(zhǔn)確率。3)將從列表頁面中抽取的數(shù)據(jù)記錄的數(shù)據(jù)項對齊，并保存。4)在存在分頁導(dǎo)航的情況下，實現(xiàn)分頁導(dǎo)航的自動連續(xù)抽取并將抽取結(jié)果保存。
　　 論文創(chuàng)新點如下：(1)采用基于決策樹的查詢接口自動判定方法，使用決策樹分類模型自動判定查詢接口，達到較高的準(zhǔn)確