基于頁(yè)面模塊識(shí)別的Web文章自動(dòng)抽取方法研究.pdf

1、20世紀(jì)90年代以來(lái),互聯(lián)網(wǎng)技術(shù)快速發(fā)展,網(wǎng)頁(yè)頁(yè)面樣式也越發(fā)多樣。現(xiàn)時(shí)的網(wǎng)頁(yè)中,充斥著大量的導(dǎo)航、廣告等與頁(yè)面主體內(nèi)容無(wú)關(guān)的信息,這些信息和網(wǎng)頁(yè)的主體信息混雜在一起,大大增加了用戶正確定位網(wǎng)頁(yè)有用信息的難度,導(dǎo)致目前只能采用全文檢索的方式來(lái)查找所需信息,為了解決這個(gè)問(wèn)題,本文做了以下工作:
　　通過(guò)對(duì)大量Web文章頁(yè)面的DOM樹(shù)結(jié)構(gòu)和可視化信息進(jìn)行了分析,提出一種針對(duì)Web文章頁(yè)面的基于DOM樹(shù)結(jié)構(gòu)和可視化信息的頁(yè)面分塊算法。該分

2、塊算法根據(jù)Web文章頁(yè)面所特有的結(jié)構(gòu)信息和可視化信息特點(diǎn),以較小的粒度對(duì)頁(yè)面的可視文本進(jìn)行分塊預(yù)處理,從而為頁(yè)面主體文本的模塊識(shí)別提供基本的處理單元。實(shí)驗(yàn)結(jié)果表明,這種分塊算法為后續(xù)的Web文章正文識(shí)別提供了合適的基本處理單元,為準(zhǔn)確識(shí)別文章正文提供了很好的支持。
　　在頁(yè)面分塊的基礎(chǔ)上,通過(guò)結(jié)構(gòu)和可視化特征提取,提出了一種采用聚類算法和啟發(fā)性規(guī)則的自動(dòng)的Web文章正文識(shí)別方法,完成對(duì)Web文章正文的識(shí)別。實(shí)驗(yàn)結(jié)果表明,在對(duì)Web

3、頁(yè)面分塊的基礎(chǔ)上,這種識(shí)別方法擁有很高的性能。
　　在成功識(shí)別Web文章正文的基礎(chǔ)上,分析Web文章的標(biāo)題、摘要、圖片、插圖、插圖小標(biāo)題和相關(guān)鏈接列表等Web文章輔助信息的視覺(jué)特征和結(jié)構(gòu)特征,針對(duì)每一種輔助信息,分別提出了一種基于啟發(fā)式規(guī)則的識(shí)別方法。實(shí)驗(yàn)結(jié)果表明,這些識(shí)別方法有良好的效果。
　　在以上研究成果的基礎(chǔ)上,構(gòu)建了一個(gè)Web文章信息提取的原型系統(tǒng),對(duì)Web文章的有效信息實(shí)現(xiàn)自動(dòng)化提取。該系統(tǒng)為本文進(jìn)行的各種實(shí)驗(yàn)研