Deep Web數(shù)據(jù)獲取問題研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，Web成為一個(gè)擁有海量數(shù)據(jù)的信息源。DeepWeb主要由Web中可在線訪問的數(shù)據(jù)庫構(gòu)成，信息更豐富、主題性更強(qiáng)、結(jié)構(gòu)化更好。隨著分析型應(yīng)用如市場情報(bào)分析、輿情分析、電子商務(wù)等需求的增長，亟需對Deep Web數(shù)據(jù)進(jìn)行集成，從中分析挖掘有用知識。但由于DeepWeb具有大規(guī)模性、數(shù)據(jù)海量性、實(shí)時(shí)動(dòng)態(tài)變化、異構(gòu)性以及分布性等特點(diǎn)，并且Deep Web數(shù)據(jù)只能通過向Web數(shù)據(jù)庫的查詢接口提交查詢這一特殊方式獲取，使得如何

2、自動(dòng)地從Deep Web數(shù)據(jù)源獲取數(shù)據(jù)成為一項(xiàng)十分具有挑戰(zhàn)性的工作。
　　 作為集成工作的第一步，Deep Web數(shù)據(jù)獲取為Deep Web數(shù)據(jù)集成奠定數(shù)據(jù)基礎(chǔ)，是數(shù)據(jù)抽取和數(shù)據(jù)整合工作的前提。目前，Deep Web數(shù)據(jù)獲取工作主要存在以下問題有待解決：(1)Deep Web網(wǎng)站的增長速度快、時(shí)刻動(dòng)態(tài)變化，而分析挖掘需要全面的數(shù)據(jù)，因此面向分析的Deep Web數(shù)據(jù)獲取需要自動(dòng)發(fā)現(xiàn)盡可能多的Deep Web數(shù)據(jù)源。(2)Deep

3、 Web數(shù)據(jù)源質(zhì)量良莠不齊、爬取過程繁雜并且爬取周期長，為了合理分配資源需要擇優(yōu)汰劣，分析挖掘需求要求對已發(fā)現(xiàn)的數(shù)據(jù)源進(jìn)行評估，選擇優(yōu)質(zhì)數(shù)據(jù)源以獲得更多更全面的信息。(3)Deep Web數(shù)據(jù)源中的數(shù)據(jù)眾多，數(shù)據(jù)爬取過程中提交不同的查詢詞返回的結(jié)果集合存在大量的數(shù)據(jù)重疊，為了全面高效獲取Deep Web數(shù)據(jù)源中的數(shù)據(jù)，需要對提交的查詢詞進(jìn)行選擇。
　　 本文以面向分析的Deep Web數(shù)據(jù)獲取為目標(biāo)，對Deep Web查詢接口判

4、定、Deep Web數(shù)據(jù)源采樣、評估以及Deep Web數(shù)據(jù)爬取等多個(gè)具有挑戰(zhàn)性的實(shí)際問題進(jìn)行了系統(tǒng)和深入地研究，主要工作與貢獻(xiàn)概括如下：
　　 1.提出了一種基于集成學(xué)習(xí)的Deep Web查詢接口判定方法，有效解決了大量Web頁面中Deep Web查詢接口識別問題，能夠準(zhǔn)確地將Deep Web查詢接口與搜索引擎的查詢接口區(qū)別開來，提高了Deep Web查詢接口識別的準(zhǔn)確率。
　　 本文提出了一種使用決策樹以及SVM進(jìn)行

5、集成學(xué)習(xí)的方法建立DeepWeb查詢接口判定模型，達(dá)到更有效地識別Deep Web查詢接口的目的。一方面針對Deep Web查詢接口頁面進(jìn)行分析，提出了判斷頁面中是否含有查詢接口的6條規(guī)則，利用簡單高效的決策樹對頁面進(jìn)行分類；另一方面針對Deep Web查詢接口與搜索引擎的查詢接口提交查詢后獲得的結(jié)果頁面進(jìn)行分析，主要利用結(jié)果頁面的特征訓(xùn)練SVM對頁面進(jìn)行分類，采用重抽樣思想得到訓(xùn)練數(shù)據(jù)集，有效減弱類別不平衡性對學(xué)習(xí)算法的影響；最后基于

6、投票的方式對決策樹和多個(gè)SVM進(jìn)行集成。該方法可以將Web數(shù)據(jù)庫的查詢接口與搜索引擎的查詢接口有效地區(qū)別開來，達(dá)到更準(zhǔn)確地識別Deep Web查詢接口的目的。實(shí)驗(yàn)表明該方法具有良好的可行性和運(yùn)行效率，與使用簡單機(jī)器學(xué)習(xí)的識別算法相比可以獲得更高的查全率和查準(zhǔn)率。
　　 2.在隨機(jī)漫步算法的基礎(chǔ)上，提出了一種基于關(guān)鍵詞選擇模型的DeepWeb數(shù)據(jù)源采樣方法，有效地從Deep Web數(shù)據(jù)源中獲得近似隨機(jī)的高質(zhì)量樣本，以供Deep W

7、eb數(shù)據(jù)源評估使用。
　　 本文提出了一種針對關(guān)鍵詞屬性擴(kuò)展隨機(jī)漫步算法的Deep Web數(shù)據(jù)源采樣方法，使采樣過程不受查詢接口中屬性表達(dá)形式的限制。采樣過程中，對于關(guān)鍵詞屬性構(gòu)建選擇模型，從目前的樣本集中按照出現(xiàn)頻率降序選擇該屬性的一個(gè)值，將其遞交給查詢接口；對于分類屬性和范圍屬性采用隨機(jī)漫步算法策略。該方法有效地從。Deep Web數(shù)據(jù)源中獲得近似隨機(jī)的高質(zhì)量樣本，通過樣本可以了解該數(shù)據(jù)源的領(lǐng)域相關(guān)性、準(zhǔn)確性、完整性、數(shù)據(jù)規(guī)

8、模等有用的特征，以供Deep Web數(shù)據(jù)源評估和選擇使用。
　　 3.提出了一種基于多目標(biāo)決策理論的Deep Web數(shù)據(jù)源質(zhì)量量化評估方法，有效解決了同一領(lǐng)域大規(guī)模Deep Web數(shù)據(jù)源質(zhì)量評估問題。
　　 本文提出基于多目標(biāo)決策理論的Deep Web數(shù)據(jù)源質(zhì)量量化評估方法，通過建立Deep Web數(shù)據(jù)源質(zhì)量評估模型，對每一個(gè)Deep Web數(shù)據(jù)源進(jìn)行量化評分，將評估問題映射到多目標(biāo)決策領(lǐng)域進(jìn)行求解，對Deep Web數(shù)

9、據(jù)源排序，以選擇優(yōu)質(zhì)數(shù)據(jù)源。針對分析型應(yīng)用對Deep Web數(shù)據(jù)集成的需求，提出了Deep Web數(shù)據(jù)源質(zhì)量評估體系，利用已獲得的數(shù)據(jù)樣本，從Web數(shù)據(jù)源質(zhì)量、查詢接口及結(jié)果返回質(zhì)量、數(shù)據(jù)質(zhì)量以及用戶評價(jià)等4個(gè)維度對16個(gè)質(zhì)量評估因素進(jìn)行量化評分，將評分結(jié)果映射為多目標(biāo)決策問題求解，對各質(zhì)量評估因素計(jì)算權(quán)重，最終獲得每一個(gè)Deep Web數(shù)據(jù)源的總評估值進(jìn)而對Deep Web數(shù)據(jù)源排序，選擇優(yōu)質(zhì)數(shù)據(jù)源，盡可能減少需要爬取的DeepWeb

10、數(shù)據(jù)源的數(shù)量。
　　 4.提出一種基于屬性高頻字覆蓋率圖模型的Deep Web數(shù)據(jù)爬取方法，有效解決了中文環(huán)境中的Deep Web數(shù)據(jù)頁面的大規(guī)模獲取問題。
　　 本文提出一種基于屬性高頻字覆蓋率圖模型的Deep Web數(shù)據(jù)爬取方法。該方法針對某一特定領(lǐng)域統(tǒng)計(jì)漢字字頻，獲取一個(gè)面向領(lǐng)域的屬性高頻字列表；構(gòu)建屬性高頻字覆蓋率圖模型用于估算候選漢字的新數(shù)據(jù)獲取率，以較少次的數(shù)據(jù)庫查詢獲得盡可能高的數(shù)據(jù)覆蓋。該方法有效解決了中