Web對(duì)象的信息抽取的關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展,Web已經(jīng)成為世界上最大的信息來(lái)源。如何獲取有用的Web信息則是大家面臨的共同問(wèn)題,Web信息抽取就是針對(duì)這一問(wèn)題而提出的。目前大部分信息抽取僅停留在對(duì)純文本的信息抽取上,對(duì)網(wǎng)頁(yè)文本的特殊性考慮不足。另外,信息抽取也很少涉及語(yǔ)義的理解。針對(duì)這些問(wèn)題,本文以當(dāng)前招聘網(wǎng)站上海量的招聘信息為試驗(yàn)數(shù)據(jù),來(lái)進(jìn)行定題Web信息挖掘和信息抽取的研究。
　　 本文圍繞Web對(duì)象抽取中的關(guān)鍵技術(shù)展開(kāi)研究。通過(guò)對(duì)Web頁(yè)面特點(diǎn)

2、的分析,實(shí)現(xiàn)Web頁(yè)面的自動(dòng)分割,從而獲得主題文本。將主題信息抽象成Web對(duì)象,從而根據(jù)Web對(duì)象的特征來(lái)進(jìn)行Web對(duì)象的命名實(shí)體以及實(shí)體關(guān)系的識(shí)別,并且通過(guò)實(shí)驗(yàn)說(shuō)明改進(jìn)的模型對(duì)于信息抽取有很好的效果,最后提出了系統(tǒng)的不足和未來(lái)的研究方向。具體的研究?jī)?nèi)容包括:
　　 首先,針對(duì)網(wǎng)頁(yè)是二維的特點(diǎn),根據(jù)網(wǎng)頁(yè)的結(jié)構(gòu)和文本內(nèi)容特征,提出了基于網(wǎng)頁(yè)的多重特征表示方法,實(shí)現(xiàn)了對(duì)于網(wǎng)頁(yè)語(yǔ)義層面的特征表示。為了體現(xiàn)網(wǎng)頁(yè)各個(gè)區(qū)域差異,采用二維模型

3、對(duì)其建模,將傳統(tǒng)的HMM推廣到偽二維隱馬爾可夫模型,由此本文提出了基于偽二維隱馬爾可夫模型的網(wǎng)頁(yè)自動(dòng)分割技術(shù)。
　　 其次,根據(jù)Web抽取信息的特點(diǎn),引入Web對(duì)象的概念。將結(jié)構(gòu)特點(diǎn)和文本特點(diǎn)這兩種一維特征相結(jié)合,并且進(jìn)一步將這種一維特征抽象為語(yǔ)義紋理的二維特征,從而實(shí)現(xiàn)了從對(duì)象本身進(jìn)行抽取方法的改進(jìn),并為后文利用一維特征對(duì)Web對(duì)象實(shí)體的識(shí)別,以及二維特征對(duì)Web對(duì)象實(shí)體和屬性關(guān)系的識(shí)別做準(zhǔn)備。
　　 再次,針對(duì)Web

4、對(duì)象的一維特征,從Web文本的結(jié)構(gòu)特點(diǎn)和內(nèi)容特點(diǎn)進(jìn)行了分析,采用統(tǒng)計(jì)模型和實(shí)體特征相結(jié)合的方法,提出了一種DSTCRFs模型,利用該模型不同的層次來(lái)進(jìn)行Web對(duì)象的實(shí)體以及屬性的識(shí)別,尤其是針對(duì)一些復(fù)雜的嵌套實(shí)體的識(shí)別,從而將職位名、機(jī)構(gòu)名、地名、時(shí)間等命名實(shí)體的識(shí)別放在統(tǒng)一的框架下完成。
　　 最后,傳統(tǒng)模型多利用Web文本的結(jié)構(gòu)和內(nèi)容特點(diǎn)進(jìn)行實(shí)體的特征描述,并且需要依賴于VIPS樹(shù)進(jìn)行建模。本文在傳統(tǒng)模型的基礎(chǔ)上,將結(jié)構(gòu)和內(nèi)