基于深度置信網(wǎng)絡(luò)的中文信息抽取方法.pdf

1、信息抽取是指從非結(jié)構(gòu)化或者半結(jié)構(gòu)化的文本中標(biāo)明用戶感興趣的內(nèi)容，并且將其組織成結(jié)構(gòu)化文本的過(guò)程。在這個(gè)知識(shí)爆炸的時(shí)代，需要信息抽取技術(shù)快速準(zhǔn)確地提供海量文本中的重要內(nèi)容。
　　深度置信網(wǎng)絡(luò)(DBN, Deep Belief Nets)網(wǎng)絡(luò)是近年興起的機(jī)器學(xué)習(xí)模型，它結(jié)合了無(wú)監(jiān)督學(xué)習(xí)過(guò)程和有監(jiān)督學(xué)習(xí)過(guò)程，在圖像處理領(lǐng)域已取得巨大成就，但是在信息抽取領(lǐng)域的運(yùn)用還有待開(kāi)發(fā)。本文利用DBN網(wǎng)絡(luò)進(jìn)行以下兩個(gè)任務(wù)：
　　(1)中文實(shí)體檢

2、測(cè)與識(shí)別任務(wù)；
　　(2)中文實(shí)體關(guān)系檢測(cè)與識(shí)別任務(wù)研究?jī)?nèi)容主要有以下四點(diǎn)：
　　(1)研究DBN網(wǎng)絡(luò)在實(shí)體檢測(cè)與識(shí)別任務(wù)中的運(yùn)用。實(shí)體檢測(cè)與實(shí)體識(shí)別可以順序進(jìn)行，即按任務(wù)順序建立兩個(gè)模型，也可以組合進(jìn)行，即在一個(gè)模型中同時(shí)得出檢測(cè)與識(shí)別的結(jié)果。本文利用DBN網(wǎng)絡(luò)按照這兩種策略分別建立實(shí)體檢測(cè)與識(shí)別系統(tǒng)。實(shí)驗(yàn)?zāi)Ｐ头謩e基于詞特征和字特征展開(kāi)，以比較這兩種特征提取形式結(jié)合DBN網(wǎng)絡(luò)后，在實(shí)體檢測(cè)與識(shí)別任務(wù)中的優(yōu)劣。實(shí)驗(yàn)還對(duì)不同神

3、經(jīng)元數(shù)量的淺層DBN網(wǎng)絡(luò)的結(jié)果，淺層DBN網(wǎng)絡(luò)與深層DBN網(wǎng)絡(luò)的結(jié)果， DBN網(wǎng)絡(luò)與其他機(jī)器學(xué)習(xí)模型的結(jié)果進(jìn)行了比較，闡述了它們各自的特點(diǎn)。
　　(2)引入維特比算法對(duì)DBN網(wǎng)絡(luò)的實(shí)體檢測(cè)與識(shí)別結(jié)果進(jìn)行后處理，進(jìn)一步提高DBN網(wǎng)絡(luò)對(duì)實(shí)體檢測(cè)與識(shí)別的結(jié)果。進(jìn)行實(shí)體檢測(cè)與識(shí)別任務(wù)時(shí)， DBN網(wǎng)絡(luò)忽略了當(dāng)前字符與上下文字符的標(biāo)記限制，本文利用維特比算法對(duì)DBN網(wǎng)絡(luò)輸出結(jié)果進(jìn)行后處理，尋找最大概率的標(biāo)記序列，剔除不符合邏輯的標(biāo)記。本文分別

4、采用了實(shí)際概率和二元概率進(jìn)行維特比后處理。實(shí)際概率由訓(xùn)練語(yǔ)料統(tǒng)計(jì)得到，貼近實(shí)際情況但是不一定適合測(cè)試語(yǔ)料。二元概率賦予符合邏輯的狀態(tài)同等概率，降低了對(duì)標(biāo)記序列的限制。
　　(3)研究DBN網(wǎng)絡(luò)在實(shí)體關(guān)系檢測(cè)與識(shí)別任務(wù)中的運(yùn)用。本文利用DBN網(wǎng)絡(luò)建立實(shí)體關(guān)系檢測(cè)和實(shí)體關(guān)系識(shí)別順序進(jìn)行的系統(tǒng)，以及實(shí)體關(guān)系檢測(cè)與實(shí)體關(guān)系識(shí)別組合進(jìn)行的系統(tǒng)。實(shí)驗(yàn)依然是在詞特征和字特征兩種字符特征上展開(kāi)，比較兩者對(duì)于此任務(wù)在DBN網(wǎng)絡(luò)中的適用性。關(guān)系樣例的

5、特征組合包括一元字符特征，實(shí)體相對(duì)位置特征和依存樹(shù)特征等7種特征。實(shí)驗(yàn)分別在不同神經(jīng)元數(shù)量的淺層DBN網(wǎng)絡(luò)和深層DBN網(wǎng)絡(luò)上進(jìn)行，以確定最好的網(wǎng)絡(luò)結(jié)構(gòu)。并且將DBN網(wǎng)絡(luò)的結(jié)果與其他機(jī)器學(xué)習(xí)方法的結(jié)果對(duì)比，驗(yàn)證深層DBN網(wǎng)絡(luò)是適合于實(shí)體關(guān)系檢測(cè)與識(shí)別任務(wù)的模型。
　　(4)使用兩種方式改進(jìn)DBN網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，使它的實(shí)體檢測(cè)與識(shí)別任務(wù)的結(jié)果得到優(yōu)化。利用梯度下降法進(jìn)行有監(jiān)督學(xué)習(xí)會(huì)遭遇“導(dǎo)數(shù)消亡”問(wèn)題，網(wǎng)絡(luò)的錯(cuò)誤信息很難傳送到靠近輸入