基于HMM和BP網(wǎng)絡(luò)混合模型的web文本信息抽取研究.pdf

1、隨著Internet的發(fā)展,web上的信息正爆炸式增長(zhǎng),由于信息的無序性以及人們不滿足于自己去檢索必要的信息,等等諸如此類的需求推動(dòng)了web文本信息抽取的研究。但是目前信息抽取中使用的主要技術(shù),存在一些問題,比如自適應(yīng)性不好,統(tǒng)計(jì)能力不強(qiáng)等,造成抽取結(jié)果中的準(zhǔn)確性和召回率較低,通過分析以上問題,本文提出了一種基于混合模型的方法,能較好的改善上述問題,提高抽取質(zhì)量。
　　本文通過介紹在文本信息抽取領(lǐng)域使用的兩種主要技術(shù):隱馬爾可夫模

2、型(HMM)和BP網(wǎng)絡(luò),并分析了二者的優(yōu)缺點(diǎn),HMM是一種優(yōu)秀的統(tǒng)計(jì)學(xué)模型,其優(yōu)越的時(shí)序性,動(dòng)態(tài)性和優(yōu)秀的建模能力已經(jīng)使得該模型成功應(yīng)用于各個(gè)領(lǐng)域,但其適應(yīng)性交差,并需要大量的訓(xùn)練數(shù)據(jù);BP網(wǎng)絡(luò)有優(yōu)秀的決策能力,對(duì)不確定信息的描述能力以及自適應(yīng)性較強(qiáng),但是該模型時(shí)序性不強(qiáng),而且需要特定的輸入條件。在此基礎(chǔ)上研究如何通過隱馬爾科夫模型和神經(jīng)網(wǎng)絡(luò)模型的結(jié)合,來提高目前信息抽取方法的準(zhǔn)確性和召回率。通過分析發(fā)現(xiàn),兩種模型在優(yōu)缺點(diǎn)上互補(bǔ),將 H

3、MM與BP網(wǎng)絡(luò)結(jié)合在一起,可以即克服HMM在分類能力以及適應(yīng)性上的不足,又可以彌補(bǔ)BP網(wǎng)絡(luò)需要特定輸入和建模能力弱等缺陷。
　　在分析了前人對(duì)信息抽取技術(shù)的改進(jìn)后,本文采用對(duì)待抽取文本進(jìn)行分塊的方法,首先將文本進(jìn)行人工標(biāo)注,然后對(duì)各狀態(tài)進(jìn)行多HMM訓(xùn)練,將HMM訓(xùn)練后的最佳狀態(tài)輸出概率作為BP網(wǎng)絡(luò)的輸入,在BP網(wǎng)絡(luò)中進(jìn)行映射,運(yùn)用BP網(wǎng)絡(luò)分類能力強(qiáng)的特點(diǎn)對(duì)文本狀態(tài)進(jìn)行映射分類。實(shí)驗(yàn)結(jié)果表明,該混合模型比傳統(tǒng)的HMM模型或者BP網(wǎng)絡(luò)