網(wǎng)絡(luò)數(shù)據(jù)源模式識(shí)別方法及策略研究.pdf

1、當(dāng)今,網(wǎng)絡(luò)上存在許多在線的可搜索數(shù)據(jù)庫(kù),稱為網(wǎng)絡(luò)數(shù)據(jù)庫(kù)。這些數(shù)據(jù)庫(kù)的數(shù)量以驚人的速度增長(zhǎng),網(wǎng)絡(luò)已經(jīng)快速的被“加深”了。由于網(wǎng)絡(luò)數(shù)據(jù)庫(kù)中的數(shù)據(jù)隱藏在查詢表單背后,不能被傳統(tǒng)的搜索引擎索引,所以這種網(wǎng)絡(luò)數(shù)據(jù)庫(kù)又被稱作深層網(wǎng)絡(luò),而含有查詢表單的網(wǎng)頁(yè)被稱作網(wǎng)絡(luò)數(shù)據(jù)源。不像傳統(tǒng)的以提供鏈接為導(dǎo)航的表面網(wǎng)絡(luò),這種深層網(wǎng)絡(luò)支持以查詢的方式訪問(wèn)隱藏在查詢接口背后的數(shù)據(jù)庫(kù)。在2000年發(fā)布的調(diào)查中,深層網(wǎng)絡(luò)中蘊(yùn)含的信息量超過(guò)表面網(wǎng)絡(luò)上千倍,而且這個(gè)比例仍

2、在持續(xù)不斷地上升。UIUC大學(xué)曾經(jīng)在2004年對(duì)整個(gè)深層網(wǎng)絡(luò)的規(guī)模作了一次估計(jì),結(jié)果表明深層網(wǎng)絡(luò)中可訪問(wèn)的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)的數(shù)量超過(guò)了45萬(wàn)個(gè)。對(duì)于這些實(shí)際上數(shù)量無(wú)限的信息資源,大規(guī)模集成深層網(wǎng)絡(luò)是必需的而且意義深遠(yuǎn)。
　　 針對(duì)被“保護(hù)”起來(lái)的數(shù)據(jù),查詢接口就成為了訪問(wèn)深層網(wǎng)絡(luò)的入口。這些接口,例如:查詢表單,通過(guò)查詢條件訪問(wèn)背后的數(shù)據(jù)實(shí)體。為了模型化和集成化網(wǎng)絡(luò)數(shù)據(jù)庫(kù),首要問(wèn)題是理解查詢表單。針對(duì)于深層網(wǎng)絡(luò)數(shù)據(jù)集成的研究需要,基于

3、國(guó)內(nèi)外有關(guān)網(wǎng)絡(luò)數(shù)據(jù)源模式識(shí)別的研究成果,本文提出了一種識(shí)別網(wǎng)絡(luò)數(shù)據(jù)源模式的方法。該方法建立在統(tǒng)計(jì)分析的基礎(chǔ)上,通過(guò)觀察大量含有查詢表單的數(shù)據(jù)源,發(fā)現(xiàn)查詢表單表現(xiàn)的一般結(jié)構(gòu),從而確定可能存在的表單語(yǔ)法。雖然來(lái)源不同,但是表單語(yǔ)法引導(dǎo)著查詢表單的生成。因此,本文建立了識(shí)別網(wǎng)絡(luò)數(shù)據(jù)源模式的系統(tǒng)框架,通過(guò)設(shè)計(jì)一個(gè)代碼序列語(yǔ)法和一個(gè)自動(dòng)機(jī)解析器實(shí)現(xiàn)對(duì)表單語(yǔ)法的捕獲,進(jìn)而理解并自動(dòng)提取網(wǎng)絡(luò)數(shù)據(jù)源表單信息。實(shí)驗(yàn)結(jié)果表明這種方法是有效的,識(shí)別網(wǎng)絡(luò)數(shù)據(jù)源