用于Deep Web數(shù)據(jù)集成的數(shù)據(jù)抽取技術(shù).pdf

1、隨著云計(jì)算、物聯(lián)網(wǎng)等技術(shù)的興起，以及以社交網(wǎng)絡(luò)、基于地理位置服務(wù)LBS為代表的新型信息發(fā)布方式的涌現(xiàn)，社會(huì)信息化程度不斷提高，信息系統(tǒng)產(chǎn)生了越來(lái)越多的數(shù)據(jù)，大數(shù)據(jù)時(shí)代來(lái)臨了。大數(shù)據(jù)具有四大特征:Volume，Velocity，Variety，Veracity。從大數(shù)據(jù)的Variety特征可以看出，在大數(shù)據(jù)環(huán)境下的數(shù)據(jù)種類多樣和來(lái)源繁多，有類似于關(guān)系型數(shù)據(jù)庫(kù)的結(jié)構(gòu)化數(shù)據(jù)，類似視頻、音頻等的非結(jié)構(gòu)化數(shù)據(jù)，也有來(lái)大量的半結(jié)構(gòu)化數(shù)據(jù)。半結(jié)構(gòu)化的

2、數(shù)據(jù)所占的份額越來(lái)越多，蘊(yùn)含的價(jià)值也越來(lái)越大。半結(jié)構(gòu)化數(shù)據(jù)來(lái)源之一是DeepWeb。DeepWeb是指Web中不能被傳統(tǒng)的搜索引擎索引到的那部分內(nèi)容，內(nèi)容數(shù)據(jù)來(lái)自于能夠被在線訪問(wèn)的數(shù)據(jù)庫(kù)中，只能通過(guò)相應(yīng)的查詢接口動(dòng)態(tài)提交查詢信息來(lái)訪問(wèn)其蘊(yùn)含的內(nèi)容。DeepWeb數(shù)據(jù)信息量大，質(zhì)量好，結(jié)構(gòu)好。DeepWeb的數(shù)據(jù)是以半結(jié)構(gòu)化的HTML頁(yè)面返回的，為了利用來(lái)自于DeepWeb中的半結(jié)構(gòu)化數(shù)據(jù)，如何自動(dòng)化的從DeepWeb中將半結(jié)構(gòu)化的數(shù)據(jù)抽

3、取出來(lái)，轉(zhuǎn)換為某種結(jié)構(gòu)化的數(shù)據(jù)是亟需解決的問(wèn)題。
　　論文首先分析了DeepWeb數(shù)據(jù)抽取需要面對(duì)的問(wèn)題，介紹了現(xiàn)有的研究方法，針對(duì)現(xiàn)有研究方法的不足以及結(jié)合Web結(jié)果頁(yè)面的特點(diǎn)，提出一種數(shù)據(jù)抽取方法，并設(shè)計(jì)基于該方法的原型系統(tǒng)。本文的研究包括提出一種基于DOM樹(shù)層次結(jié)構(gòu)、值類型以及外觀樣式CSS相似的樹(shù)匹配算法用于對(duì)Web頁(yè)面進(jìn)行劃分，改進(jìn)了簡(jiǎn)單樹(shù)匹配算法不能真實(shí)反映樹(shù)相似匹配的缺點(diǎn)，然后在樹(shù)相似匹配的結(jié)果之上基于最長(zhǎng)重復(fù)子序列