基于DOM的Web信息抽取系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、Internet的快速發(fā)展使Web已經(jīng)成為人們獲取信息的主要途徑，但是隨著網(wǎng)頁數(shù)量的激增和無關(guān)信息的充斥，使得人們想快速準(zhǔn)確地獲取自己需要的信息變得十分困難。同時(shí)隨著“模板+數(shù)據(jù)庫”型網(wǎng)頁的大量出現(xiàn)，Internet上出現(xiàn)了被稱為“暗藏網(wǎng)”(the hidden web)的巨大信息資源庫，據(jù)估計(jì)因特網(wǎng)上80%的內(nèi)容存在于這種看不見的因特網(wǎng)中，這些網(wǎng)頁是搜索引擎的“網(wǎng)絡(luò)爬蟲”抓不到的。加之，Internet上的各個(gè)網(wǎng)站的信息相互獨(dú)立，收集

2、起來十分困難，在這種情況下，通常的搜索引擎發(fā)揮的作用微乎其微，而Web信息抽取技術(shù)顯得十分必要。
　　 通過對現(xiàn)有信息抽取技術(shù)的總結(jié)和分析，結(jié)合“模板+數(shù)據(jù)庫”型網(wǎng)頁的特點(diǎn)，提出了基于DOM結(jié)構(gòu)，利用Xpath表述網(wǎng)頁待抽取信息點(diǎn)的位置，用XSLT描述抽取規(guī)則的半自動(dòng)化的抽取方案。并在此基礎(chǔ)上，實(shí)現(xiàn)了一個(gè)抽取規(guī)則適用性較強(qiáng)，自動(dòng)化程度較高的Web信息抽取系統(tǒng)。系統(tǒng)的實(shí)現(xiàn)分為樣本學(xué)習(xí)、信息抽取和數(shù)據(jù)庫存儲三個(gè)階段來完成。其中學(xué)習(xí)階