基于條件概率圖模型的Deep Web數(shù)據(jù)抽取與集成研究.pdf

1、目前，大量的結(jié)構(gòu)化數(shù)據(jù)蘊(yùn)藏在Deep web中，但是由于Web網(wǎng)頁的半結(jié)構(gòu)性、Web超鏈接的自由無序性以及Deep Web數(shù)據(jù)的海量性、異構(gòu)性、多樣性、動態(tài)性等特點(diǎn)，使得Deep Web數(shù)據(jù)抽取與集成成為當(dāng)前亟待解決的研究課題。概率圖學(xué)習(xí)模型是機(jī)器學(xué)習(xí)領(lǐng)域當(dāng)前異常活躍的研究熱點(diǎn)之一。它在數(shù)據(jù)挖掘、信息抽取、信息檢索等領(lǐng)域得到了廣泛而成功的應(yīng)用。 本文將條件隨機(jī)場，一種序列條件概率無向圖模型，引入到Deep Web數(shù)據(jù)抽取和集成的

2、研究中，對其中的查詢接口發(fā)現(xiàn)、分類、集成以及查詢結(jié)果數(shù)據(jù)的抽取和重復(fù)記錄檢測等多個(gè)具有挑戰(zhàn)性的實(shí)際問題進(jìn)行了系統(tǒng)和深入地研究。針對不同問題提出了改進(jìn)的條件隨機(jī)場模型、新的算法或新的實(shí)現(xiàn)策略，主要工作概括如下： (1)針對Deep Web查詢接口自動搜索和發(fā)現(xiàn)問題，提出了基于條件隨機(jī)場的網(wǎng)頁鏈接路徑學(xué)習(xí)模型，給出了使用增強(qiáng)學(xué)習(xí)技術(shù)對超鏈接進(jìn)行評分的算法。實(shí)驗(yàn)結(jié)果表明，搜索查詢表單的性能明顯優(yōu)于其它袁單爬蟲。 (2)使用條件

3、最大熵模型處理Deep Web查詢接口識別和領(lǐng)域分類問題。提出了一種僅利用表單結(jié)構(gòu)特征來識別在線數(shù)據(jù)庫查詢接口的通用方法。此外，利用最大熵分類器的優(yōu)點(diǎn)，融合查詢表單的結(jié)構(gòu)、內(nèi)容等多種特征來實(shí)現(xiàn)查詢表單的領(lǐng)域分類。實(shí)驗(yàn)結(jié)果表明。該方法分類準(zhǔn)確率高。 (3)利用有序樹模型來表示抽取的查詢接口中查詢項(xiàng)、字段和屬性問的層次關(guān)系。提出了一種層次序列條件隨機(jī)場模型，通過對查詢表單中的查詢元素進(jìn)行聯(lián)合標(biāo)注分類，實(shí)現(xiàn)異構(gòu)查詢接口模式匹配。實(shí)驗(yàn)結(jié)

4、果表明，該方法具有較高的匹配準(zhǔn)確率和跨領(lǐng)域通用特性。 (4)提出了一種基于標(biāo)記樹的網(wǎng)頁區(qū)域分割方法，并且結(jié)合網(wǎng)頁聚類和跨網(wǎng)頁數(shù)據(jù)區(qū)域匹配技術(shù)來識別網(wǎng)頁中的動態(tài)數(shù)據(jù)區(qū)域。針對多源Web記錄語義標(biāo)注和集成問題，提出一種混合跳鏈條件隨機(jī)場模型。該模型通過將最大熵和線性鏈條件隨機(jī)場混合，能夠利用相關(guān)數(shù)據(jù)庫中的記錄作為訓(xùn)練樣本識別抽取數(shù)據(jù)的語義標(biāo)注，從而減少了對手工標(biāo)注樣本的依賴：此外增加對跳邊的支持，使得模型能夠處理狀態(tài)變量問的長距離依