Deep Web環(huán)境下的結(jié)果數(shù)據(jù)抽取與模式標(biāo)注的研究.pdf

1、Deep Web是不能被搜索引擎檢索到的網(wǎng)絡(luò)中的資源。Deep Web中包含的信息量比Surface Web中大了幾個數(shù)量級，并且隨著Deep Web中的數(shù)據(jù)源的個數(shù)的不斷增長，Deep Web顯得越來越重要。Deep Web中的網(wǎng)頁通常是通過向表單中提交查詢而返回的，并且結(jié)果頁面中的數(shù)據(jù)大都是結(jié)構(gòu)化的。Deep Web網(wǎng)頁占據(jù)了互聯(lián)網(wǎng)中全部網(wǎng)頁的很大比例，因此自動的抽取Deep Web網(wǎng)頁中的數(shù)據(jù)對于搜索引擎以及數(shù)據(jù)集成等應(yīng)用都會帶來

2、幫助。同時，從網(wǎng)頁中得到的關(guān)于現(xiàn)實世界中對象的元數(shù)據(jù)信息可以應(yīng)于數(shù)據(jù)挖掘等學(xué)科。
　　本文的主要目的在于提出一種能夠自動抽取Deep Web網(wǎng)頁中的數(shù)據(jù)并且能夠?qū)?shù)據(jù)項進行屬性標(biāo)注的解決方案。該解決方案主要分為兩個部分，第一部分是數(shù)據(jù)抽取器，這部分主要用來抽取網(wǎng)頁中的結(jié)構(gòu)化的數(shù)據(jù)。數(shù)據(jù)抽取器的核心則是MMDR（改進的數(shù)據(jù)區(qū)域定位）算法，該算法首先將HTML網(wǎng)頁轉(zhuǎn)換成DOM結(jié)構(gòu)，然后通過比較相鄰子樹之間的相似程度來定位具有相同結(jié)構(gòu)的

3、數(shù)據(jù)。
　　第二個重要的組成部分則是屬性標(biāo)注器。屬性標(biāo)注器主要用來對抽取到的數(shù)據(jù)記錄中的數(shù)據(jù)項進行標(biāo)注。屬性標(biāo)注器主要基于條件隨機場。條件隨機場是一種概率圖模型，主要用于標(biāo)注以及切分等任務(wù)。同時屬性標(biāo)注器使用探測與合并算法，使得標(biāo)注的結(jié)果具有更加明確的含義。
　　通過實驗結(jié)果以及對實驗的分析，驗證了本文提出的方法能夠有效地抽取并標(biāo)注結(jié)果頁面中的數(shù)據(jù)。這些方法不僅能夠解決數(shù)據(jù)抽取及模式識別的問題，而且能夠?qū)?shù)據(jù)集成提供理論與實