基于深度置信網(wǎng)絡(luò)的中文信息抽取方法.pdf

1、信息抽取是指從非結(jié)構(gòu)化或者半結(jié)構(gòu)化的文本中標(biāo)明用戶感興趣的內(nèi)容，并且將其組織成結(jié)構(gòu)化文本的過程。在這個知識爆炸的時代，需要信息抽取技術(shù)快速準(zhǔn)確地提供海量文本中的重要內(nèi)容。
　　深度置信網(wǎng)絡(luò)(DBN, Deep Belief Nets)網(wǎng)絡(luò)是近年興起的機器學(xué)習(xí)模型，它結(jié)合了無監(jiān)督學(xué)習(xí)過程和有監(jiān)督學(xué)習(xí)過程，在圖像處理領(lǐng)域已取得巨大成就，但是在信息抽取領(lǐng)域的運用還有待開發(fā)。本文利用DBN網(wǎng)絡(luò)進(jìn)行以下兩個任務(wù)：
　　(1)中文實體檢

2、測與識別任務(wù)；
　　(2)中文實體關(guān)系檢測與識別任務(wù)研究內(nèi)容主要有以下四點：
　　(1)研究DBN網(wǎng)絡(luò)在實體檢測與識別任務(wù)中的運用。實體檢測與實體識別可以順序進(jìn)行，即按任務(wù)順序建立兩個模型，也可以組合進(jìn)行，即在一個模型中同時得出檢測與識別的結(jié)果。本文利用DBN網(wǎng)絡(luò)按照這兩種策略分別建立實體檢測與識別系統(tǒng)。實驗?zāi)Ｐ头謩e基于詞特征和字特征展開，以比較這兩種特征提取形式結(jié)合DBN網(wǎng)絡(luò)后，在實體檢測與識別任務(wù)中的優(yōu)劣。實驗還對不同神

3、經(jīng)元數(shù)量的淺層DBN網(wǎng)絡(luò)的結(jié)果，淺層DBN網(wǎng)絡(luò)與深層DBN網(wǎng)絡(luò)的結(jié)果， DBN網(wǎng)絡(luò)與其他機器學(xué)習(xí)模型的結(jié)果進(jìn)行了比較，闡述了它們各自的特點。
　　(2)引入維特比算法對DBN網(wǎng)絡(luò)的實體檢測與識別結(jié)果進(jìn)行后處理，進(jìn)一步提高DBN網(wǎng)絡(luò)對實體檢測與識別的結(jié)果。進(jìn)行實體檢測與識別任務(wù)時， DBN網(wǎng)絡(luò)忽略了當(dāng)前字符與上下文字符的標(biāo)記限制，本文利用維特比算法對DBN網(wǎng)絡(luò)輸出結(jié)果進(jìn)行后處理，尋找最大概率的標(biāo)記序列，剔除不符合邏輯的標(biāo)記。本文分別

4、采用了實際概率和二元概率進(jìn)行維特比后處理。實際概率由訓(xùn)練語料統(tǒng)計得到，貼近實際情況但是不一定適合測試語料。二元概率賦予符合邏輯的狀態(tài)同等概率，降低了對標(biāo)記序列的限制。
　　(3)研究DBN網(wǎng)絡(luò)在實體關(guān)系檢測與識別任務(wù)中的運用。本文利用DBN網(wǎng)絡(luò)建立實體關(guān)系檢測和實體關(guān)系識別順序進(jìn)行的系統(tǒng)，以及實體關(guān)系檢測與實體關(guān)系識別組合進(jìn)行的系統(tǒng)。實驗依然是在詞特征和字特征兩種字符特征上展開，比較兩者對于此任務(wù)在DBN網(wǎng)絡(luò)中的適用性。關(guān)系樣例的

5、特征組合包括一元字符特征，實體相對位置特征和依存樹特征等7種特征。實驗分別在不同神經(jīng)元數(shù)量的淺層DBN網(wǎng)絡(luò)和深層DBN網(wǎng)絡(luò)上進(jìn)行，以確定最好的網(wǎng)絡(luò)結(jié)構(gòu)。并且將DBN網(wǎng)絡(luò)的結(jié)果與其他機器學(xué)習(xí)方法的結(jié)果對比，驗證深層DBN網(wǎng)絡(luò)是適合于實體關(guān)系檢測與識別任務(wù)的模型。
　　(4)使用兩種方式改進(jìn)DBN網(wǎng)絡(luò)的學(xué)習(xí)過程，使它的實體檢測與識別任務(wù)的結(jié)果得到優(yōu)化。利用梯度下降法進(jìn)行有監(jiān)督學(xué)習(xí)會遭遇“導(dǎo)數(shù)消亡”問題，網(wǎng)絡(luò)的錯誤信息很難傳送到靠近輸入