基于本體的自適應(yīng)Web信息抽取方法研究.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展產(chǎn)生了海量的信息，由于Web頁面的多樣性和異構(gòu)性，對這些的信息進行檢索和處理受到很大的限制，而Web信息抽取則致力于將這些信息轉(zhuǎn)化成結(jié)構(gòu)化的數(shù)據(jù)，滿足垂直搜索引擎和數(shù)據(jù)挖掘等相關(guān)應(yīng)用。同時，為了實現(xiàn)語義網(wǎng)的目標(biāo)，賦予Web意義，需要對Web上的內(nèi)容進行標(biāo)注，基于本體的信息抽取可以產(chǎn)生用于語義網(wǎng)的元數(shù)據(jù)標(biāo)注信息，將Web信息轉(zhuǎn)化成機器方便處理的數(shù)據(jù)，即語義網(wǎng)有效的數(shù)據(jù)。
　　 在農(nóng)業(yè)領(lǐng)域，互聯(lián)網(wǎng)上積累了豐富的農(nóng)業(yè)相

2、關(guān)信息資源，包括供求信息、價格信息、農(nóng)業(yè)技術(shù)、市場動態(tài)、農(nóng)業(yè)新聞、農(nóng)業(yè)企業(yè)、農(nóng)業(yè)視頻等，但缺少一致的語義表達形式，很難充分發(fā)揮這些資源的作用。此外，由于農(nóng)業(yè)領(lǐng)域相關(guān)用戶自身知識結(jié)構(gòu)水平的限制，在獲取所需要的信息時更加困難，而農(nóng)業(yè)垂直搜索引擎則可以彌補這方面的不足，實現(xiàn)異構(gòu)分散數(shù)據(jù)的集成，通過構(gòu)建滿足用戶需求的專業(yè)搜索引擎，解決“三農(nóng)”用戶在面對海量農(nóng)業(yè)Web資源時的信息獲取瓶頸問題。本文以研究Web環(huán)境下基于本體的信息抽取方法為基礎(chǔ)，為

3、農(nóng)業(yè)垂直搜索引擎（中國搜農(nóng)）和農(nóng)業(yè)數(shù)據(jù)挖掘應(yīng)用提供有效的數(shù)據(jù)支持，服務(wù)于國家的農(nóng)業(yè)信息化建設(shè)為目標(biāo)，開展了相關(guān)的研究。論文的主要工作內(nèi)容總結(jié)如下：
　　 (1)針對互聯(lián)網(wǎng)上網(wǎng)頁數(shù)據(jù)的開放性、異構(gòu)性、演化性等特征，構(gòu)建了一種基于本體的自適應(yīng)Web信息抽取模型。模型采用模塊化的結(jié)構(gòu)搭建，實現(xiàn)抽取算法與領(lǐng)域本體知識之間的分離，以及模塊功能的復(fù)用，方便系統(tǒng)功能的動態(tài)更新，減少信息抽取系統(tǒng)在跨領(lǐng)域移植時的開銷。
　　 (2)針對傳

4、統(tǒng)方法在構(gòu)建本體時需要大量的人工開銷和維護困難等問題，發(fā)揮Web資源的作用，提出了一種基于Web的無監(jiān)督本體構(gòu)建方法。該方法通過查詢Web獲取領(lǐng)域本體相關(guān)的資源，結(jié)合句法分析技術(shù)實現(xiàn)本體的學(xué)習(xí)，可以解決傳統(tǒng)方法構(gòu)建本體時語料庫在規(guī)模上的限制，自適應(yīng)Web知識的演化。以提出的方法為基礎(chǔ)，構(gòu)建了蛋白質(zhì)交互關(guān)系本體。
　　 (3)針對語義網(wǎng)和Linked Data的發(fā)展需求，實現(xiàn)網(wǎng)頁的元數(shù)據(jù)標(biāo)注和挖掘不同數(shù)據(jù)之間的關(guān)系，提出了一種基于

5、本體的命名實體關(guān)系抽取方法。通過分析命名實體之間關(guān)系表達的語法結(jié)構(gòu)和關(guān)系表達詞，實現(xiàn)關(guān)系的抽取，實驗采用生物文獻公共語料庫對算法進行了檢驗，抽取蛋白質(zhì)相互作用關(guān)系，并取得了滿意的效果。提出的算法對抽取的句子實行單遍遍歷，實現(xiàn)適應(yīng)Web規(guī)模的文本關(guān)系抽取時的計算效率問題。
　　 (4)針對AJAX技術(shù)的廣泛使用，而傳統(tǒng)的爬蟲無法獲取、分析和處理這些內(nèi)容，我們提出了一種基于領(lǐng)域本體的多記錄型AJAX數(shù)據(jù)抽取模型。該模型可以有效的發(fā)現(xiàn)

6、網(wǎng)頁中含有的動態(tài)AJAX內(nèi)容，在領(lǐng)域本體的指導(dǎo)下，實現(xiàn)對數(shù)據(jù)的抽取和語義標(biāo)注。實驗以農(nóng)產(chǎn)品供求和價格實體數(shù)據(jù)為例，驗證了抽取方法的有效性。
　　 (5)針對基于包裝器或規(guī)則的方法在抽取單記錄型HTML頁面時，無法適應(yīng)頁面結(jié)構(gòu)變化等不足，提出了一種采用統(tǒng)計學(xué)習(xí)方法實現(xiàn)的基于實體屬性分類的單記錄型Web頁面信息抽取和標(biāo)注模型。該模型對抽取內(nèi)容的頁面結(jié)構(gòu)特征進行分析，通過構(gòu)建相應(yīng)的屬性分類器識別頁面中含有的實體屬性，實現(xiàn)自適應(yīng)頁面結(jié)構(gòu)