Web信息抽取框架技術(shù)研究.pdf

1、從非結(jié)構(gòu)化和半結(jié)構(gòu)化的互聯(lián)網(wǎng)信息中抽取結(jié)構(gòu)化信息的技術(shù)廣泛應(yīng)用于商業(yè)數(shù)據(jù)挖掘、社交網(wǎng)絡(luò)分析和垂直搜索引擎等領(lǐng)域。信息結(jié)構(gòu)化包括一系列環(huán)節(jié):設(shè)定信息抽取范圍、網(wǎng)頁爬取、網(wǎng)頁預(yù)處理、定義抽取內(nèi)容、構(gòu)建抽取規(guī)則和信息存儲(chǔ)，進(jìn)一步可以分為應(yīng)用依賴的和應(yīng)用獨(dú)立的環(huán)節(jié)。本文提出信息結(jié)構(gòu)化的一般框架，基本思想是設(shè)定信息抽取的范圍和內(nèi)容是框架中應(yīng)用依賴的環(huán)節(jié)，而其他環(huán)節(jié)具有應(yīng)用獨(dú)立性，通過設(shè)計(jì)一套描述方法配置應(yīng)用依賴的操作，將應(yīng)用獨(dú)立的環(huán)節(jié)向開發(fā)人員屏

2、蔽，提高框架的通用性和應(yīng)用開發(fā)效率。具體貢獻(xiàn)如下:
　　(1)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)通用的Web信息抽取框架。從信息結(jié)構(gòu)化流程中抽象出該框架，框架提供了一個(gè)統(tǒng)一的Web信息抽取模型;基于抽象和信息隱蔽的工程原則對(duì)框架進(jìn)行總體設(shè)計(jì)，將信息結(jié)構(gòu)化過程抽象為應(yīng)用依賴的信息范圍和內(nèi)容描述與應(yīng)用獨(dú)立的其他環(huán)節(jié)，讓開發(fā)人員配置應(yīng)用依賴的操作而屏蔽應(yīng)用獨(dú)立的環(huán)節(jié)，提高框架的通用性和應(yīng)用開發(fā)效率。
　　(2)提出并實(shí)現(xiàn)了一種基于知識(shí)圖譜的詞類生成

3、算法。本文引入詞類的概念分析網(wǎng)頁主題，并使用文檔-詞類向量對(duì)網(wǎng)頁分類，而手工構(gòu)建詞類比較困難。本文基于知識(shí)圖譜自動(dòng)構(gòu)建有效的詞類，降低了詞類構(gòu)建的難度。
　　(3)提出并實(shí)現(xiàn)了一種基于DOM節(jié)點(diǎn)分類的信息抽取方法。采用監(jiān)督學(xué)習(xí)的方法構(gòu)建信息的抽取規(guī)則，將信息抽取問題看作分類問題，以信息所在的DOM節(jié)點(diǎn)為粒度進(jìn)行分類，提出了DOM節(jié)點(diǎn)的樣式特征、內(nèi)容特征和上下文特征。
　　(4)在文獻(xiàn)[46]的數(shù)據(jù)集上進(jìn)行了網(wǎng)頁分類實(shí)驗(yàn)，與基