基于DOM的智能網(wǎng)頁信息抽取技術(shù)研究.pdf

1、隨著Internet的快速發(fā)展，Web已經(jīng)發(fā)展成為一種巨大的、分布式的和共享的信息資源。目前Web數(shù)據(jù)大都以HTML頁面的形式出現(xiàn)。由于HTML描述的數(shù)據(jù)是一種半結(jié)構(gòu)化的數(shù)據(jù)，這使得由HTML描述的Web頁面只適合人類的瀏覽，應(yīng)用程序無法直接解析并利用Web上的豐富信息。Web中一類重要的信息網(wǎng)頁是數(shù)據(jù)提供網(wǎng)站的動態(tài)Web頁面，如各種門戶新聞網(wǎng)站、電子商務(wù)網(wǎng)站等等。這類網(wǎng)頁中自由文本數(shù)據(jù)少，網(wǎng)頁結(jié)構(gòu)化程度高，往往數(shù)量巨大且內(nèi)容豐富，因而

2、信息抽取工作非常有價值。如何利用程序從海量的Web中快速抽取信息從而提高人們獲取信息的效率變得越來越重要。為了增強Web數(shù)據(jù)的可用性，提供更多的增值服務(wù)，出現(xiàn)了Web信息抽取技術(shù)。它通過包裝(Wrapper)現(xiàn)有的Web信息源，將網(wǎng)頁上的信息以結(jié)構(gòu)化的方式抽取出來，為應(yīng)用程序利用Web中的數(shù)據(jù)提供了可能，因此有著廣闊的前景，是當今數(shù)據(jù)庫領(lǐng)域的研究熱點之一。 本文設(shè)計了一個基于DOM模型的智能網(wǎng)頁信息自動抽取系統(tǒng)，做到能夠?qū)W(wǎng)頁文

3、本進行分析處理、特征提取與選擇、文本分類以及頁面區(qū)域的分割與重構(gòu)等，從而將抽取的有用信息以結(jié)構(gòu)化數(shù)據(jù)存儲在數(shù)據(jù)庫中，并且可以隨時應(yīng)用于針對特定信息查詢的應(yīng)用程序中。 首先，本文簡述了信息抽取技術(shù)的研究與發(fā)展，對幾種典型的Web信息抽取技術(shù)進行了綜合比較，然后詳細介紹了DOM模型的理論和編程實踐以及文本分類技術(shù)。 接下來，本文詳細闡述了網(wǎng)頁主體信息抽取的體系結(jié)構(gòu)、設(shè)計方法和處理流程。首先討論了基于DOM分析器的文本預(yù)處理的

4、解決方案，然后使用信息增益作為特征評估函數(shù)，以它的值作為評估函數(shù)值，用以對網(wǎng)頁文本進行特征項加權(quán)，進行文本特征提取。在文本自動分類的章節(jié)中，介紹了使用KNN－SVM算法進行自動分類，并介紹了利用映射表進行頁面區(qū)域分割，再根據(jù)內(nèi)容相關(guān)性進行頁面重構(gòu)。 最后，文章給出了基于DOM的智能網(wǎng)頁信息抽取系統(tǒng)的原型，取得了較好的實驗結(jié)果。從一系列動態(tài)網(wǎng)站提供的Web網(wǎng)頁的抽取實驗，以及與其他一些通過多個頁面的信息抽取的算法的結(jié)果對比可以看出