基于HTML網(wǎng)頁的Web信息提取研究.pdf

1、Web信息提取是指從Web文檔中自動(dòng)提取感興趣信息的過程。它主要用在元搜索、信息代理等場(chǎng)合。 本文首先介紹了信息提取技術(shù)及其產(chǎn)生背景和發(fā)展歷史，分析了信息提取系統(tǒng)體系結(jié)構(gòu)和關(guān)鍵技術(shù)。對(duì)Web信息提取的途徑、主要學(xué)習(xí)算法、評(píng)價(jià)標(biāo)準(zhǔn)等進(jìn)行了相關(guān)闡述。 對(duì)Web信息提取采用一種基于知識(shí)領(lǐng)域的過濾作為其預(yù)處理。該體系主要分為兩部分：一部分是基于專家給出的規(guī)則通過規(guī)則匹配對(duì)大量網(wǎng)頁進(jìn)行估測(cè)并選出特定領(lǐng)域的網(wǎng)頁。第二部分是對(duì)于已經(jīng)在

2、第一步過濾出的網(wǎng)頁進(jìn)行URL聚類，從而得到用于信息提取的網(wǎng)頁。以新聞網(wǎng)站的過濾作為具體實(shí)例。 提出了一種針對(duì)互聯(lián)網(wǎng)中大量存在的模板網(wǎng)頁主題信息進(jìn)行快速提取的方法。該方法的主要特點(diǎn)為：1)直接對(duì)主題信息進(jìn)行提取，而不需要通過去除網(wǎng)頁噪音的方式來提取主題信息；2)對(duì)同模板產(chǎn)生的大量網(wǎng)頁，通過機(jī)器學(xué)習(xí)生成模板后，便可直接提取網(wǎng)頁主題信息，而不需要對(duì)每一個(gè)網(wǎng)頁都進(jìn)行分析處理；3)以新聞網(wǎng)頁的提取為例分析該方法的具體使用。 提出基