基于條件隨機域的Web信息抽取研究.pdf

1、隨著互聯(lián)網(wǎng)資源的迅速增長，僅僅依靠瀏覽器以及基于關(guān)鍵字檢索查詢的搜索引擎，已遠(yuǎn)不能滿足互聯(lián)網(wǎng)用戶的信息需求，Web信息抽取應(yīng)運而生。本文以條件隨機域模型為主要研究內(nèi)容，研究了結(jié)構(gòu)新穎的條件隨機域模型，選擇了一種適合Web信息抽取的條件隨機域，提出了基于該模型的Web信息抽取系統(tǒng)。本文的工作和特點如下：
　　鑒于目前國內(nèi)對線性鏈?zhǔn)綏l件隨機域這一簡單模型研究和應(yīng)用得比較多，但是對結(jié)構(gòu)復(fù)雜，能對數(shù)據(jù)更好建模的條件隨機域模型研究得很少，本

2、文在前人的基礎(chǔ)上研究了兩類結(jié)構(gòu)新穎的條件隨機域模型，對這些模型的數(shù)學(xué)表達(dá)式、算法進(jìn)行了系統(tǒng)的研究，為下一步工作打下了堅實的理論基礎(chǔ)。
　　CRF模型相比HMM，可以加入遠(yuǎn)距離、重疊性等特征。雖然CRF模型在國內(nèi)已得到廣泛應(yīng)用，但所研究的模型多是基于馬爾可夫假設(shè)的線性鏈模型，該模型不能夠表達(dá)節(jié)點間的長距離依賴關(guān)系，所以很少有對在模型中加入長距離特征的研究。本文對這個問題進(jìn)行了專門研究，提出了長距離依賴條件隨機域模型，并基于該模型進(jìn)行

3、了 Web 文本信息抽取實驗，結(jié)果表明長距離特征確實對提高模型的抽取性能有很大幫助。
　　近年來，利用統(tǒng)計模型進(jìn)行Web信息抽取的研究越來越多，但大部分抽取系統(tǒng)存在共同的缺陷：一方面可擴展性較差，特征函數(shù)都內(nèi)置在源代碼中，對于有不同需求的抽取者來說，幾乎不能定制自己的特征函數(shù)；另一方面為了獲得較好的抽取性能，模型需要大量的訓(xùn)練頁面，而標(biāo)記訓(xùn)練頁面是非常耗時耗力的。本文結(jié)合XML技術(shù)的可擴展性和方便交流性，提出了XML條件隨機域模型