基于頁面模塊識別的Web文章自動抽取方法研究.pdf

1、20世紀90年代以來,互聯(lián)網(wǎng)技術(shù)快速發(fā)展,網(wǎng)頁頁面樣式也越發(fā)多樣。現(xiàn)時的網(wǎng)頁中,充斥著大量的導(dǎo)航、廣告等與頁面主體內(nèi)容無關(guān)的信息,這些信息和網(wǎng)頁的主體信息混雜在一起,大大增加了用戶正確定位網(wǎng)頁有用信息的難度,導(dǎo)致目前只能采用全文檢索的方式來查找所需信息,為了解決這個問題,本文做了以下工作:
　　通過對大量Web文章頁面的DOM樹結(jié)構(gòu)和可視化信息進行了分析,提出一種針對Web文章頁面的基于DOM樹結(jié)構(gòu)和可視化信息的頁面分塊算法。該分

2、塊算法根據(jù)Web文章頁面所特有的結(jié)構(gòu)信息和可視化信息特點,以較小的粒度對頁面的可視文本進行分塊預(yù)處理,從而為頁面主體文本的模塊識別提供基本的處理單元。實驗結(jié)果表明,這種分塊算法為后續(xù)的Web文章正文識別提供了合適的基本處理單元,為準確識別文章正文提供了很好的支持。
　　在頁面分塊的基礎(chǔ)上,通過結(jié)構(gòu)和可視化特征提取,提出了一種采用聚類算法和啟發(fā)性規(guī)則的自動的Web文章正文識別方法,完成對Web文章正文的識別。實驗結(jié)果表明,在對Web

3、頁面分塊的基礎(chǔ)上,這種識別方法擁有很高的性能。
　　在成功識別Web文章正文的基礎(chǔ)上,分析Web文章的標題、摘要、圖片、插圖、插圖小標題和相關(guān)鏈接列表等Web文章輔助信息的視覺特征和結(jié)構(gòu)特征,針對每一種輔助信息,分別提出了一種基于啟發(fā)式規(guī)則的識別方法。實驗結(jié)果表明,這些識別方法有良好的效果。
　　在以上研究成果的基礎(chǔ)上,構(gòu)建了一個Web文章信息提取的原型系統(tǒng),對Web文章的有效信息實現(xiàn)自動化提取。該系統(tǒng)為本文進行的各種實驗研