基于Gate框架的信息抽取系統(tǒng)的研究與實現.pdf

1、隨著Internet技術的不斷發(fā)展及其應用的深入，Web儼然已經成為全球最大的虛擬資料庫，可用的信息正呈指數級增長。如何有效地利用這些信息成為人們的重要研究課題，因此出現了大量以Web作為信息源的技術和應用，其中Web信息抽取技術在近年來引起了越來越多的研究者關注。 由于Web頁面缺乏規(guī)范的語法結構，所以傳統(tǒng)的自然語言處理技術并不能很好的適用于Web信息抽取，另外Web頁面中的大部分內容都以屬性列表的形式呈現，如果把Web的這種

2、結構特征應用于信息抽取，就可以避免使用復雜的語言學知識。因此，如何將基于自然語言理解方式和基于結構方式有效的結合起來克服各自的缺點，混合使用各種方法進行信息抽取成為當前研究的重點之一。 本文結合自然語言處理技術和HTML頁面結構特征在信息抽取中的應用，進行了以下研究工作： 1．提出一種基于命名實體標注的DOM樹(NE-DOM)分析方法進行信息抽取。該方法利用自然語言處理中命名實體識別技術對文檔進行標注來提供簡單的語義信息

3、；然后在此基礎上構建NE-DOM，通過對NE-DOM結構的分析產生基于XPath的抽取規(guī)則。 2．在NE-DOM分析的過程中提出了基于競爭分類的BOI(用戶感興趣區(qū)域)確定算法，該算法可以顯著的降低噪聲數據對抽取結果的影響。同時在抽取過程中使用了大量成熟的XMI，技術來提高抽取的效率。 3．研究了Sheffield大學的自然語言處理平臺Gate，并在此基礎上設計和實現了一個基于上述原理的信息抽取原型系統(tǒng)GateWeblE