用于Deep Web數(shù)據(jù)集成的數(shù)據(jù)抽取技術.pdf

1、隨著云計算、物聯(lián)網(wǎng)等技術的興起，以及以社交網(wǎng)絡、基于地理位置服務LBS為代表的新型信息發(fā)布方式的涌現(xiàn)，社會信息化程度不斷提高，信息系統(tǒng)產(chǎn)生了越來越多的數(shù)據(jù)，大數(shù)據(jù)時代來臨了。大數(shù)據(jù)具有四大特征:Volume，Velocity，Variety，Veracity。從大數(shù)據(jù)的Variety特征可以看出，在大數(shù)據(jù)環(huán)境下的數(shù)據(jù)種類多樣和來源繁多，有類似于關系型數(shù)據(jù)庫的結構化數(shù)據(jù)，類似視頻、音頻等的非結構化數(shù)據(jù)，也有來大量的半結構化數(shù)據(jù)。半結構化的

2、數(shù)據(jù)所占的份額越來越多，蘊含的價值也越來越大。半結構化數(shù)據(jù)來源之一是DeepWeb。DeepWeb是指Web中不能被傳統(tǒng)的搜索引擎索引到的那部分內(nèi)容，內(nèi)容數(shù)據(jù)來自于能夠被在線訪問的數(shù)據(jù)庫中，只能通過相應的查詢接口動態(tài)提交查詢信息來訪問其蘊含的內(nèi)容。DeepWeb數(shù)據(jù)信息量大，質(zhì)量好，結構好。DeepWeb的數(shù)據(jù)是以半結構化的HTML頁面返回的，為了利用來自于DeepWeb中的半結構化數(shù)據(jù)，如何自動化的從DeepWeb中將半結構化的數(shù)據(jù)抽

3、取出來，轉(zhuǎn)換為某種結構化的數(shù)據(jù)是亟需解決的問題。
　　論文首先分析了DeepWeb數(shù)據(jù)抽取需要面對的問題，介紹了現(xiàn)有的研究方法，針對現(xiàn)有研究方法的不足以及結合Web結果頁面的特點，提出一種數(shù)據(jù)抽取方法，并設計基于該方法的原型系統(tǒng)。本文的研究包括提出一種基于DOM樹層次結構、值類型以及外觀樣式CSS相似的樹匹配算法用于對Web頁面進行劃分，改進了簡單樹匹配算法不能真實反映樹相似匹配的缺點，然后在樹相似匹配的結果之上基于最長重復子序列