基于視覺(jué)分塊及啟式規(guī)則的web信息抽取.pdf

1、隨著計(jì)算機(jī)的普及和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，互聯(lián)網(wǎng)已經(jīng)成為人們獲取信息的最大數(shù)據(jù)源。由于Web數(shù)據(jù)具有海量性和時(shí)效性的特點(diǎn)，單純靠人工進(jìn)行大規(guī)模提取無(wú)疑是不現(xiàn)實(shí)的。因此，對(duì)Web信息抽取技術(shù)的研究具有十分重要的意義。
　　國(guó)內(nèi)外對(duì)Web信息抽取技術(shù)進(jìn)行了大量的研究，目前研究較多和應(yīng)用較廣的是利用網(wǎng)頁(yè)分塊的思想。其中比較有效的VIPS算法在DOM樹(shù)的基礎(chǔ)上，創(chuàng)新性地結(jié)合了視覺(jué)信息對(duì)網(wǎng)頁(yè)進(jìn)行分塊。然而VIPS算法過(guò)于復(fù)雜，且不大適應(yīng)當(dāng)前網(wǎng)

2、頁(yè)的發(fā)展趨勢(shì)，因此本文提出了基于DOM和視覺(jué)的網(wǎng)頁(yè)分塊算法，設(shè)計(jì)了4條無(wú)用塊規(guī)則和7條基本塊規(guī)則，對(duì)網(wǎng)頁(yè)按廣度優(yōu)先進(jìn)行分塊，舍棄無(wú)用塊，保留基本塊，最后網(wǎng)頁(yè)將被分割成一組基本塊。該分塊算法具有簡(jiǎn)單且擴(kuò)展性強(qiáng)的特點(diǎn)。
　　基本塊根據(jù)性質(zhì)的不同，可以分為不同的塊類型，且塊類型之間還具有層次性。根據(jù)這個(gè)特點(diǎn)，本文建立了一個(gè)簡(jiǎn)單的塊類型系統(tǒng)，提出了共20種相關(guān)的塊類型。由于基于規(guī)則的分類法不能很好地解決具有層次性的塊分類問(wèn)題，因此，本文對(duì)

3、其進(jìn)行了擴(kuò)展，引入了有限狀態(tài)機(jī)的概念，提出了基于規(guī)則和有限狀態(tài)機(jī)的塊分類算法，設(shè)計(jì)了18條塊類型遷移規(guī)則，并利用這些規(guī)則對(duì)基本塊進(jìn)行了有效的分類。
　　利用得到的分塊信息，本文提出了基于分塊和啟發(fā)式規(guī)則的網(wǎng)頁(yè)分類和正文提取算法，設(shè)計(jì)了一系列規(guī)則對(duì)網(wǎng)頁(yè)的類型進(jìn)行了判斷，并對(duì)其中的正文型網(wǎng)頁(yè)進(jìn)行了包括文章標(biāo)題、發(fā)表時(shí)間和文章正文內(nèi)容的提取。
　　最后，本文對(duì)騰訊、網(wǎng)易、鳳凰、新浪、搜狐五個(gè)國(guó)內(nèi)最大的門戶網(wǎng)站共1500張網(wǎng)頁(yè)(其中