基于GHMM的Web文本信息抽取技術(shù)研究與系統(tǒng)設(shè)計(jì).pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，Web已經(jīng)成為這個世界上最大的信息來源。如何獲取有用的Web信息則是大家面臨的共同問題，Web信息抽取就是針對這一問題而提出的。目前大部分信息抽取僅停留在對純文本的信息抽取上，還并未考慮網(wǎng)頁文本的特殊性。另外，信息抽取也很少涉及語義的理解。 目前，信息抽取常用的模型是隱馬爾可夫模型，它因易于建立、適應(yīng)性強(qiáng)、抽取精度高等優(yōu)點(diǎn)而日益受到研究者的關(guān)注，但該模型僅適用于普通文本，對含有更多其他信息的網(wǎng)頁來說也并不合

2、適。通過對網(wǎng)頁的分析，Web文本信息通常包含更多輸出屬性比如：詞條，版面以及格式屬性。考慮到傳統(tǒng)隱馬爾可夫模型的狀態(tài)轉(zhuǎn)移過程中僅將單一詞條屬性作為觀測輸出特征，本文將多重屬性（包括詞條，版面以及格式屬性）作為隱馬爾可夫模型觀測輸出特征，從而引入廣義隱馬爾可夫模型。 對于純文本，傳統(tǒng)的HMM是以單一語句為信息抽取的基本單位，其假設(shè)的狀態(tài)轉(zhuǎn)移序列（從左到右，然后從上到下）對含有多媒體的二維空間的網(wǎng)頁來說也并不合適。通過對網(wǎng)頁的分析，

3、我們發(fā)現(xiàn)網(wǎng)頁的視覺版面結(jié)構(gòu)由不同的塊組成，而且這些塊之間還有一定的邏輯關(guān)系。本文利用基于可視化的網(wǎng)頁分割算法（VIPS）對網(wǎng)頁進(jìn)行分塊，得到一種更適用于網(wǎng)頁的基于版面結(jié)構(gòu)的狀態(tài)轉(zhuǎn)移序列。由于任一時刻出現(xiàn)的觀測輸出矢量概率不僅依賴于系統(tǒng)當(dāng)前狀態(tài)，而且依賴于系統(tǒng)在前一時刻所處的狀態(tài)，所以本文提出了基于二階Markov鏈的改進(jìn)的廣義隱馬爾可夫模型。 另外，針對網(wǎng)頁的語意分析，本文采用了一種基于角色標(biāo)注的命名實(shí)體識別方法，其基本思想是：

4、針對網(wǎng)頁文本，結(jié)合角色表的規(guī)則，采用改進(jìn)廣義隱馬爾可夫模型進(jìn)行角色標(biāo)注，在角色序列的基礎(chǔ)上，進(jìn)行字符串識別，最終實(shí)現(xiàn)命名實(shí)體的識別，進(jìn)而實(shí)現(xiàn)了從Web網(wǎng)頁的結(jié)構(gòu)及語義兩方面對信息的抽取。 本文通過對當(dāng)前招聘網(wǎng)站上海量的招聘信息進(jìn)行定題Web信息挖掘和信息抽取，開發(fā)了基于GHMM的Web文本的抽取系統(tǒng)WebIE。本文首先介紹了Web文本信息抽取技術(shù)的基本概念，然后通過對Web頁面的分析，根據(jù)Web頁面的特點(diǎn)并結(jié)合角色標(biāo)注的實(shí)體識別