基于視覺特征的Web頁面信息抽取算法.pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息量急劇增長。但是在眾多的信息中，并不是全部有效，其中有眾多的無用的或者說用戶并不關(guān)心的信息。 為了能夠抽取其中的正確信息，信息抽取技術(shù)隨之產(chǎn)生，用來從眾多的信息中揭露信息所描述的事實。同時，信息檢索技術(shù)也快速發(fā)展，幫助人們檢索所關(guān)心的內(nèi)容。但是所有這些技術(shù)的基礎(chǔ)是必須找出Web頁面的真正的正文，只有從正確的來源中進(jìn)行抽取和檢索才能返回給用戶正確的信息。 本文所論述的方法主要是用來解決Web頁面中

2、的信息干擾問題。從一個充滿各類信息的Web頁面中分析出該頁面本應(yīng)描述的內(nèi)容。本文從Web頁面的特點入手，分析HTML標(biāo)記、DOM樹，并分析模擬人們在閱讀瀏覽Web頁面時的潛在行為，得出HTML元素從視覺上簇聚相關(guān)內(nèi)容的特征。因此，本文提出了基于視覺特征的Web頁面信息抽取算法(Vision-basedWeb Page Information Extraction Algorithm，VWPIEA)，從HTML標(biāo)記的DOM樹入手，經(jīng)過一系

3、列的DOM縮減、視覺分析、參數(shù)調(diào)整等步驟，得出頁面的正文區(qū)域，為了適應(yīng)不同頁面布局、不同頁面主題類型(列表、門戶或文章)的情況，提出了利用模板匹配的方式作為算法的補(bǔ)充，使得該算法適應(yīng)性更強(qiáng)。經(jīng)測試，本算法在自動化、正確性、效率方面都比較令人滿意。 全文共分七章。第一章引言介紹信息抽取和信息檢索在Web頁面領(lǐng)域存在的問題；第二章介紹現(xiàn)有的Web頁面分析技術(shù)；第三章介紹本算法的理論模型；第四章側(cè)重于算法描述；第五章引入了模板匹配技術(shù)