Deep Web環(huán)境下的結(jié)果數(shù)據(jù)抽取與模式標(biāo)注的研究.pdf

1、Deep Web是不能被搜索引擎檢索到的網(wǎng)絡(luò)中的資源。Deep Web中包含的信息量比Surface Web中大了幾個(gè)數(shù)量級(jí)，并且隨著Deep Web中的數(shù)據(jù)源的個(gè)數(shù)的不斷增長(zhǎng)，Deep Web顯得越來越重要。Deep Web中的網(wǎng)頁(yè)通常是通過向表單中提交查詢而返回的，并且結(jié)果頁(yè)面中的數(shù)據(jù)大都是結(jié)構(gòu)化的。Deep Web網(wǎng)頁(yè)占據(jù)了互聯(lián)網(wǎng)中全部網(wǎng)頁(yè)的很大比例，因此自動(dòng)的抽取Deep Web網(wǎng)頁(yè)中的數(shù)據(jù)對(duì)于搜索引擎以及數(shù)據(jù)集成等應(yīng)用都會(huì)帶來

2、幫助。同時(shí)，從網(wǎng)頁(yè)中得到的關(guān)于現(xiàn)實(shí)世界中對(duì)象的元數(shù)據(jù)信息可以應(yīng)于數(shù)據(jù)挖掘等學(xué)科。
　　本文的主要目的在于提出一種能夠自動(dòng)抽取Deep Web網(wǎng)頁(yè)中的數(shù)據(jù)并且能夠?qū)?shù)據(jù)項(xiàng)進(jìn)行屬性標(biāo)注的解決方案。該解決方案主要分為兩個(gè)部分，第一部分是數(shù)據(jù)抽取器，這部分主要用來抽取網(wǎng)頁(yè)中的結(jié)構(gòu)化的數(shù)據(jù)。數(shù)據(jù)抽取器的核心則是MMDR（改進(jìn)的數(shù)據(jù)區(qū)域定位）算法，該算法首先將HTML網(wǎng)頁(yè)轉(zhuǎn)換成DOM結(jié)構(gòu)，然后通過比較相鄰子樹之間的相似程度來定位具有相同結(jié)構(gòu)的

3、數(shù)據(jù)。
　　第二個(gè)重要的組成部分則是屬性標(biāo)注器。屬性標(biāo)注器主要用來對(duì)抽取到的數(shù)據(jù)記錄中的數(shù)據(jù)項(xiàng)進(jìn)行標(biāo)注。屬性標(biāo)注器主要基于條件隨機(jī)場(chǎng)。條件隨機(jī)場(chǎng)是一種概率圖模型，主要用于標(biāo)注以及切分等任務(wù)。同時(shí)屬性標(biāo)注器使用探測(cè)與合并算法，使得標(biāo)注的結(jié)果具有更加明確的含義。
　　通過實(shí)驗(yàn)結(jié)果以及對(duì)實(shí)驗(yàn)的分析，驗(yàn)證了本文提出的方法能夠有效地抽取并標(biāo)注結(jié)果頁(yè)面中的數(shù)據(jù)。這些方法不僅能夠解決數(shù)據(jù)抽取及模式識(shí)別的問題，而且能夠?qū)?shù)據(jù)集成提供理論與實(shí)