Deep Web環(huán)境下數(shù)據(jù)抽取及模式識(shí)別的研究.pdf

1、Deep Web是指那些存儲(chǔ)在Web數(shù)據(jù)庫里、不能通過超鏈接訪問而需要采用動(dòng)態(tài)網(wǎng)頁技術(shù)訪問的資源集合。隨著Web數(shù)據(jù)庫的不斷增長，通過對(duì)Deep Web的訪問逐漸成為獲取信息的主要手段，能夠自動(dòng)地獲取蘊(yùn)含在Deep Web中豐富的數(shù)據(jù)資源并對(duì)其進(jìn)行大規(guī)模集成顯得尤為重要。
　　 現(xiàn)有的Deep Web數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)抽取方法主要以數(shù)據(jù)為重點(diǎn)，對(duì)結(jié)構(gòu)的重視還不夠，很多方法抽取的結(jié)果還是無結(jié)構(gòu)或水平結(jié)構(gòu)的。其次，Deep Web數(shù)據(jù)

2、源往往會(huì)發(fā)生變化的，比如數(shù)據(jù)的過期失效、模式信息的改變、頁面結(jié)構(gòu)的調(diào)整，這些變化都影響原有抽取方法的準(zhǔn)確率，帶來大量維護(hù)問題。此外，目前還沒有成熟的方法，將各個(gè)數(shù)據(jù)源中獲取的數(shù)據(jù)整合?？梢?，這些問題都給Deep Web數(shù)據(jù)源中結(jié)構(gòu)化數(shù)據(jù)的抽取帶來了困難，本文針對(duì)這些問題做了深入研究，并提出了可行的解決方案。
　　 本文提出了一套完整的數(shù)據(jù)抽取及模式識(shí)別解決方案，主要內(nèi)容包括：
　　 提出了一種有效的DOM模型下基于聚類的

3、數(shù)據(jù)抽取方法，結(jié)合DOM結(jié)構(gòu)信息與可視化信息分析結(jié)果頁面，并采用基于聚類方法實(shí)現(xiàn)響應(yīng)頁面中的數(shù)據(jù)抽取，在面對(duì)結(jié)構(gòu)復(fù)雜的數(shù)據(jù)和大量的噪聲節(jié)點(diǎn)時(shí)，仍能夠完整、準(zhǔn)確的獲得數(shù)據(jù)信息。
　　 提出了一種基于標(biāo)簽的結(jié)果模式抽取方法，通過一種兩階段式的標(biāo)簽獲取方法，同步標(biāo)簽獲取，對(duì)以往的標(biāo)簽獲取方法做了很大的改進(jìn)，一定程度的提高了獲取標(biāo)簽的數(shù)量與準(zhǔn)確性。此外，采用了基于LCS的模式標(biāo)簽匹配技術(shù)，提高了模式與標(biāo)簽之間的匹配精度。