面向Deep Web數(shù)據(jù)集成的數(shù)據(jù)抽取研究.pdf

1、隨著Web的迅猛發(fā)展,Web上網(wǎng)頁(yè)的數(shù)量已經(jīng)超過(guò)萬(wàn)億級(jí),并且其中大部分都是深層網(wǎng)絡(luò)(Deep Web)的數(shù)據(jù)。這些數(shù)據(jù)呈現(xiàn)出規(guī)模巨大、結(jié)構(gòu)化程度高、動(dòng)態(tài)性與異質(zhì)性并且按領(lǐng)域分布的特征。為了以盡可能自動(dòng)的方式獲取和利用這些數(shù)據(jù),近年來(lái)Deep Web數(shù)據(jù)集成技術(shù)受到越來(lái)越多研究者的關(guān)注。Deep Web數(shù)據(jù)抽取是數(shù)據(jù)集成中的關(guān)鍵問(wèn)題,研究如何從Web頁(yè)中抽取出半結(jié)構(gòu)和無(wú)結(jié)構(gòu)的數(shù)據(jù)以供后續(xù)處理及使用,是實(shí)現(xiàn)數(shù)據(jù)集成的基礎(chǔ)和保證。
　　

2、 本文分析了已有的Deep Web數(shù)據(jù)抽取技術(shù),同時(shí)結(jié)合Deep Web查詢(xún)結(jié)果頁(yè)的特點(diǎn),提出一種Deep Web數(shù)據(jù)抽取方法。該方法首先對(duì)網(wǎng)頁(yè)進(jìn)行分塊,接著在分塊的基礎(chǔ)上進(jìn)行數(shù)據(jù)區(qū)域識(shí)別,最后對(duì)數(shù)據(jù)區(qū)域進(jìn)行數(shù)據(jù)記錄抽取。文最后設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)抽取原型系統(tǒng)。本文的研究?jī)?nèi)容包括:
　　 (1)網(wǎng)頁(yè)分塊。傳統(tǒng)的數(shù)據(jù)抽取方法將’Web頁(yè)視為整體處理,導(dǎo)致網(wǎng)頁(yè)中無(wú)關(guān)的部分直接干擾數(shù)據(jù)抽取,為此提出基于網(wǎng)頁(yè)重復(fù)結(jié)構(gòu)和相似URL的結(jié)果

3、頁(yè)分塊算法,其核心思想是:將Web數(shù)據(jù)抽取的對(duì)象由直接的Web頁(yè)面轉(zhuǎn)化成Web頁(yè)面所包含的特定語(yǔ)義塊。網(wǎng)頁(yè)分塊在底層上消除了頁(yè)面噪音信息對(duì)數(shù)據(jù)抽取的干擾,降低了數(shù)據(jù)抽取問(wèn)題的復(fù)雜度,為后續(xù)工作提供了重要的基礎(chǔ)和支持。
　　 (2)數(shù)據(jù)區(qū)域識(shí)別。在網(wǎng)頁(yè)分塊的基礎(chǔ)上,結(jié)合:Deep Web查詢(xún)結(jié)果頁(yè)的特點(diǎn),提出基于URL相似性變化的Deep Web數(shù)據(jù)區(qū)域識(shí)別算法。該算法能準(zhǔn)確識(shí)別出數(shù)據(jù)區(qū)域,為下一步的數(shù)據(jù)抽取奠定了可靠的基礎(chǔ)。