面向領(lǐng)域的半結(jié)構(gòu)化Web信息抽取技術(shù).pdf

1、為了應(yīng)對信息爆炸帶來的挑戰(zhàn)，人們迫切需要一些自動化的工具在海量信息源中迅速定位到真正需要的信息。在這樣的情況下，信息抽取技術(shù)應(yīng)運而生。目前大部分的Web信息抽取方法都是針對某一個特定的網(wǎng)站的網(wǎng)頁人工進行包裝器的編寫，不能適應(yīng)網(wǎng)頁結(jié)構(gòu)的變化而且系統(tǒng)的移植性較差，而且難以對其他網(wǎng)站進行抽取。本文結(jié)合特定領(lǐng)域半結(jié)構(gòu)化文本W(wǎng)eb頁面的結(jié)構(gòu)特征，提出了一種Web信息自動抽取方法。通過前期對系統(tǒng)進行訓(xùn)練，使之能夠根據(jù)待抽取網(wǎng)站信息的結(jié)構(gòu)特點自動生成

2、抽取規(guī)則，達(dá)到自動抽取的目的。
　　本文的主要貢獻(xiàn)有兩點：
　　一是引入了領(lǐng)域關(guān)鍵詞詞庫，為本領(lǐng)域信息抽取提供知識支持。提出了一種針對特殊領(lǐng)域半結(jié)構(gòu)化信息的關(guān)鍵詞提取方法。通過利用半結(jié)構(gòu)化信息的格式特征，人工定制包裝器，結(jié)合網(wǎng)站遍歷器對特定領(lǐng)域的典型網(wǎng)站進行信息抽取，訓(xùn)練生成領(lǐng)域關(guān)鍵詞詞庫。關(guān)鍵詞詞庫通過領(lǐng)域網(wǎng)頁語料庫訓(xùn)練生成，有了領(lǐng)域知識的來源優(yōu)勢，使得信息抽取技術(shù)的適用范圍有了很大的提高。
　　二是提出了基于領(lǐng)域關(guān)

3、鍵詞詞庫的抽取規(guī)則自動生成方法。將目標(biāo)網(wǎng)站的樣本頁面解析為DOM樹，提取出有效信息結(jié)點，并用關(guān)鍵詞詞庫對結(jié)點信息進行匹配，映射出針對目標(biāo)網(wǎng)站的抽取規(guī)則。
　　本文還解決了以下幾個問題：設(shè)計了基于正則表達(dá)式的特定領(lǐng)域半結(jié)構(gòu)化文本的包裝器建立方法，提出了超鏈抽取過程中各種屬性鏈接的處理方法，改進了DOM樹有效結(jié)點判斷算法以適應(yīng)半結(jié)構(gòu)化文本，提出詞庫與有效結(jié)點到正則表達(dá)式的映射方法等。
　　本文最后以農(nóng)產(chǎn)品行情信息網(wǎng)站作為實驗對象