基于網(wǎng)頁分塊的Web信息抽取的研究與應(yīng)用.pdf

1、Web內(nèi)容越來越豐富、復(fù)雜，在面對精確的、個性化的用戶需求，與移動設(shè)備小屏幕不能顯示有太多內(nèi)容的網(wǎng)頁，傳統(tǒng)地把整個頁面作為一個基本的信息獲取與處理單位方式效率顯得低下。改進(jìn)抽取效率的一個有效途徑是對網(wǎng)頁進(jìn)行分塊。本文對Web上兩大主要的信息源：目錄型網(wǎng)頁和主題型網(wǎng)頁進(jìn)行研究。
　　 對目錄型網(wǎng)頁，針對已有的方法中要求用戶提供多個樣本頁面用于模式查找，信息抽取的搜索空間大，抽取準(zhǔn)確率高的抽取模型復(fù)雜，模型較為簡單的，抽取準(zhǔn)確率不高

2、。提出通過單一頁面的學(xué)習(xí)指導(dǎo)信息的抽取，減少學(xué)習(xí)的時間，與通過定位于多記錄信息存在的網(wǎng)頁主體塊，從網(wǎng)頁主體塊出發(fā)，充分利用Xpath相對路徑定位形成抽取規(guī)則，直接定位到包含所要提取信息的節(jié)點(diǎn)并提取各記錄信息，減小信息抽取的搜索空間，有效降低復(fù)雜度。從而建立一個使用腳本配置文件，基于Xquery查詢的Web信息抽取模型，抽取模型的復(fù)雜性和抽取的準(zhǔn)確率達(dá)到了較好的平衡。然后將其應(yīng)用到實(shí)際電子商務(wù)多記錄型網(wǎng)站，從中抽取用戶指定的信息。實(shí)驗結(jié)果

3、表明，對格式良好、規(guī)范網(wǎng)站的信息抽取達(dá)到了很好的效果。
　　 對主題型網(wǎng)頁，針對提取到的正文內(nèi)容精確度不夠，大多的方法只到識別含正文的內(nèi)容塊為止，抽取到內(nèi)容塊中還存在不少不屬于正文內(nèi)容的噪音內(nèi)容，如動態(tài)鏈接塊信息等，離真正純粹的正文內(nèi)容還有一定的差距。本文在研究各種網(wǎng)頁分塊方法，利用分析標(biāo)簽樹的分塊方法獲取主題正文內(nèi)容塊的基礎(chǔ)上，提出對存在鏈接塊的正文內(nèi)容塊通過識別鏈接塊的起始位置和結(jié)束位置，然后刪除鏈接塊噪音信息的方法，與提出