基于結(jié)果模式的Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)研究.pdf

1、Deep Web中蘊(yùn)含的信息數(shù)量與質(zhì)量都要遠(yuǎn)遠(yuǎn)高于Surface Web，因此如何有效的獲取Deep Web信息并加以集成備受人們關(guān)注。目前，國內(nèi)外的許多研究者已經(jīng)設(shè)計(jì)了一些典型的Deep Web數(shù)據(jù)集成系統(tǒng)框架，并對(duì)其中的一些相關(guān)技術(shù)如Deep Web數(shù)據(jù)源發(fā)現(xiàn)、Deep Web數(shù)據(jù)源分類、查詢接口集成、Deep Web數(shù)據(jù)源選擇及查詢分解等進(jìn)行了深入的研究，并取得了大量成果。Deep Web查詢結(jié)果處理作為Deep Web數(shù)據(jù)集成系

2、統(tǒng)中的一個(gè)核心功能，需要實(shí)時(shí)獲取、標(biāo)注并合并數(shù)量龐大的結(jié)果數(shù)據(jù)，其性能和效果將直接影響Deep Web數(shù)據(jù)集成系統(tǒng)?，F(xiàn)有的查詢結(jié)果處理工作在一定程度上實(shí)現(xiàn)了自動(dòng)數(shù)據(jù)獲取、數(shù)據(jù)標(biāo)注和結(jié)果合并，然而仍存在一些問題，如語義標(biāo)注性能問題、重復(fù)語義標(biāo)注問題、數(shù)據(jù)異構(gòu)與沖突處理問題、數(shù)據(jù)抽取性能問題、重復(fù)模式匹配問題等，這些問題嚴(yán)重影響Deep Web數(shù)據(jù)集成的性能和有效性。為實(shí)現(xiàn)具有高效準(zhǔn)確的查詢結(jié)果處理能力的Deep Web數(shù)據(jù)集成，本文從De

3、ep Web數(shù)據(jù)源結(jié)果模式的定義出發(fā)，提出基于結(jié)果模式的Deep Web數(shù)據(jù)集成機(jī)制，對(duì)Deep Web數(shù)據(jù)源結(jié)果模式的生成方法、沖突的分類及結(jié)果模式?jīng)_突檢測(cè)方法、基于結(jié)果模式的Deep Web數(shù)據(jù)抽取算法和結(jié)果輸出模式的生成技術(shù)等查詢結(jié)果處理技術(shù)進(jìn)行了深入研究。
　　 (1)在分析了現(xiàn)有Deep Web數(shù)據(jù)集成系統(tǒng)的工作流程及存在不足的基礎(chǔ)上，提出了基于結(jié)果模式的Deep Web數(shù)據(jù)集成方法。通過分析Deep Web結(jié)果數(shù)據(jù)的

4、特點(diǎn)，給出了結(jié)果模式的定義，它兼顧Deep Web結(jié)果數(shù)據(jù)的語義特征和結(jié)構(gòu)特征，為高效準(zhǔn)確的查詢結(jié)果處理奠定了理論基礎(chǔ)。在此基礎(chǔ)上，提出了基于結(jié)果模式的Deep Web數(shù)據(jù)集成機(jī)制，它以結(jié)果模式為核心，通過檢測(cè)并建立領(lǐng)域內(nèi)各個(gè)Deep Web數(shù)據(jù)源結(jié)果模式間的沖突記錄，從而實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確地建立與用戶查詢請(qǐng)求相對(duì)應(yīng)的結(jié)果輸出模式，為統(tǒng)一各數(shù)據(jù)源返回的查詢結(jié)果奠定基礎(chǔ)。結(jié)果模式及結(jié)果模式間的沖突記錄一旦建立，便可在查詢結(jié)果處理階段重復(fù)使用，從

5、而為高效準(zhǔn)確的查詢結(jié)果處理提供了有效支撐。
　　 (2)針對(duì)語義標(biāo)注性能與重復(fù)語義標(biāo)注問題，本文研究了支持高效語義標(biāo)注的結(jié)果模式生成方法。針對(duì)結(jié)果模式結(jié)構(gòu)特征，提出了基于網(wǎng)頁數(shù)據(jù)特征矩陣的結(jié)果模式結(jié)構(gòu)生成方法，根據(jù)Deep Web數(shù)據(jù)源中數(shù)據(jù)組織特點(diǎn)，給出了網(wǎng)頁數(shù)據(jù)特征矩陣的定義，進(jìn)而通過構(gòu)建與分析網(wǎng)頁數(shù)據(jù)特征矩陣來生成結(jié)果模式結(jié)構(gòu)特征，為同類結(jié)果頁面中屬性值的獲取奠定了基礎(chǔ)。針對(duì)結(jié)果模式語義特征，根據(jù)結(jié)果模式可以通過對(duì)大量樣本

6、數(shù)據(jù)的離線分析來獲取這一特點(diǎn)，提出了基于CPN網(wǎng)絡(luò)的結(jié)果模式語義標(biāo)注方法。給出了有效描述結(jié)果數(shù)據(jù)的基本特征，采用CPN網(wǎng)絡(luò)學(xué)習(xí)出數(shù)據(jù)特征與數(shù)據(jù)語義之間的關(guān)系，語義標(biāo)注規(guī)則一旦建立，便可實(shí)時(shí)、快速、準(zhǔn)確地標(biāo)注同類結(jié)果頁面中的屬性值，從而有效提高了語義標(biāo)注性能。
　　 (3)針對(duì)Deep Web數(shù)據(jù)源的高度自治性所導(dǎo)致的數(shù)據(jù)源間的異構(gòu)問題，本文給出了數(shù)據(jù)源間沖突的分類及結(jié)果模式?jīng)_突檢測(cè)方法。通過分析Deep Web查詢接口和結(jié)果數(shù)據(jù)

7、的特點(diǎn)，系統(tǒng)地闡述了Deep Web數(shù)據(jù)源間可能存在的沖突，并就每一種沖突給出了明確的沖突描述及相應(yīng)的解決策略。在此基礎(chǔ)上，給出了同一領(lǐng)域中結(jié)果模式間的沖突檢測(cè)算法，從而獲得結(jié)果模式間沖突記錄，為進(jìn)一步的結(jié)果輸出模式生成和查詢結(jié)果規(guī)范化奠定了良好基礎(chǔ)。
　　 (4)針對(duì)多數(shù)Deep Web數(shù)據(jù)抽取方法無法支持?jǐn)?shù)據(jù)語義的獲取及嵌套屬性的處理，考慮到結(jié)果模式的結(jié)構(gòu)特征可以有效地支持待抽取結(jié)果頁面中屬性值的獲取，結(jié)果模式的語義特征可以

8、有效地支持屬性值的語義標(biāo)注，因此本文提出了基于結(jié)果模式的Deep Web數(shù)據(jù)抽取方法，給出了基于結(jié)果模式的Deep Web數(shù)據(jù)抽取算法，有效地提高了Deep Web數(shù)據(jù)抽取的性能。
　　 (5)針對(duì)不同的用戶查詢請(qǐng)求可能涉及相同的Deep Web數(shù)據(jù)源所導(dǎo)致的重復(fù)模式匹配問題，在結(jié)果模式及結(jié)果模式間沖突記錄的基礎(chǔ)上，本文給出了針對(duì)不同用戶查詢請(qǐng)求實(shí)時(shí)生成相應(yīng)的結(jié)果輸出模式的方法。針對(duì)結(jié)果模式?jīng)_突檢測(cè)階段檢測(cè)出的兩兩數(shù)據(jù)源間的沖突