Web實體活動與實體關(guān)系抽取研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展,Web已經(jīng)成為一個巨大的數(shù)據(jù)源,擁有海量數(shù)據(jù)。如何高效、全面、準確的集成Web上有價值的信息,為市場情報分析、搜索引擎、智能問答等系統(tǒng)提供數(shù)據(jù)支持,豐富市場情報分析和智能問答等系統(tǒng)的知識庫,幫助完善分析推理的結(jié)果,使搜索引擎返回更加精準的檢索數(shù)據(jù),成為數(shù)據(jù)集成、信息檢索、自然語言理解等領(lǐng)域研究的熱點和難點。要集成Web數(shù)據(jù),首要問題是如何將Web上的無結(jié)構(gòu)和半結(jié)構(gòu)化數(shù)據(jù)通過信息抽取技術(shù)轉(zhuǎn)變?yōu)橛嬎銠C可讀的結(jié)構(gòu)化數(shù)

2、據(jù)。
　　Web數(shù)據(jù)具有大規(guī)模、異構(gòu)性、自治性、分布式等特點,現(xiàn)有的信息抽取技術(shù)無法同時滿足高效、全面和準確的數(shù)據(jù)集成需求。一方面,在面對大規(guī)模、分布式的Web數(shù)據(jù)時,現(xiàn)有的信息抽取技術(shù)旨在高效的抽取Web上的命名實體、實體關(guān)系和實體屬性(數(shù)據(jù)對象),但是抽取方法受抽取對象領(lǐng)域的限制,抽取結(jié)果較為簡單,信息內(nèi)容不夠豐富;另一方面,面對異構(gòu)性、自治性強的無結(jié)構(gòu)化Web數(shù)據(jù),現(xiàn)有的信息抽取技術(shù)旨在抽取結(jié)果的準確性,抽取效率不能滿足大規(guī)

3、模信息抽取的需要。
　　本文致力于研究Web信息抽取技術(shù),目標在于在保障抽取結(jié)果準確率的前提下,面向大規(guī)模、異構(gòu)性的Web數(shù)據(jù),充分挖掘Web上的有價值信息,豐富信息抽取的內(nèi)容。Web上存存大量描述實體行為活動的數(shù)據(jù),現(xiàn)有的信息抽取技術(shù)未能詳細刻畫和抽取實體活動這一類特殊信息;面對大規(guī)模Web數(shù)據(jù),現(xiàn)有的關(guān)系抽取技術(shù)主要以二元關(guān)系為抽取對象,并未考慮二元關(guān)系的時效性,從而導(dǎo)致關(guān)系實例的可用性較差。
　　本文針對現(xiàn)有Web信息

4、抽取技術(shù)未能充分利用Web上有價值的數(shù)據(jù),抽取結(jié)果內(nèi)容不夠豐富,可用性差的問題展開研究,主要上作和貢獻概括如下:
　　1.提出一種基于SVM和擴展條什隨機場的Web實體活動抽取方法,能夠面向多領(lǐng)域,準確的從Web數(shù)據(jù)源抽取實體活動這一未被利用的數(shù)據(jù)類型。
　　Web實體活動是指存在于Web上描述實體行為活動的數(shù)據(jù),傳統(tǒng)信息抽取技術(shù)較少單獨考慮這一特殊的數(shù)據(jù)類型。本文首先對Web實體活動進行了詳細刻畫,基于格語法提出了實體活動

5、的形式化定義,并提出一種基于SVM和擴展條件隨機場的Web實體活動抽取方法,能夠從Web上準確的抽取實體的活動信息。首先,為了避免人工標注訓(xùn)練數(shù)據(jù)的繁重工作,提出一種基于啟發(fā)式規(guī)則的訓(xùn)練數(shù)據(jù)生成算法,將語義角色標注的訓(xùn)練數(shù)據(jù)集轉(zhuǎn)化為適合Web實體活動抽取的訓(xùn)練數(shù)據(jù)集,分別訓(xùn)練支持向量機分類器和擴展條件隨機場。在抽取過程中,通過分類器獲得包含實體活動的有效語句,然后利用擴展條件隨機場對傳統(tǒng)條件隨機場中不能夠利用的標簽頻率特征和關(guān)系特征建模

6、,標注自然語句中的待抽取信息,提高標注的準確率。通過多領(lǐng)域的實驗證明,該抽取方法能夠較好的適用于Web實體活動抽取。
　　2.提出了一種白舉式Web實體關(guān)系時效信息抽取方法,有效解決了傳統(tǒng)關(guān)系抽取中時間維度缺失的問題,豐富抽取內(nèi)容,增強抽取結(jié)果的可用性。
　　傳統(tǒng)關(guān)系抽取主要以二元關(guān)系抽取為研究對象,但是現(xiàn)有抽取技術(shù)都是在假定關(guān)系實例時間無關(guān)性的基礎(chǔ)上進行的,導(dǎo)致了抽取結(jié)果的時間維度缺失、可以性差。針對以上問題,本文提出了一

7、種自舉式的Web實體關(guān)系實效信息抽取方法,該方法能夠抽取給定關(guān)系類型下所有關(guān)系實例以及關(guān)系實例對應(yīng)的時效信息。方法中,首先對待抽取的3元關(guān)系:二元關(guān)系中的2個實體以及關(guān)系的時效信息,進行重新建模,通過將實體關(guān)系視作一個事實維度形成新的二元關(guān)系,最后利用經(jīng)典的白舉式二元關(guān)系抽取方泫進行關(guān)系實例和時效信息的抽取。相比傳統(tǒng)的白舉式抽取過程,本文引入馬爾科大邏輯網(wǎng),用于弱化規(guī)則和模板的硬性約束,提高抽取的召回率;通過引入L1范數(shù)模型選擇高質(zhì)量模