基于遞歸神經(jīng)網(wǎng)絡(luò)的中文自然語言處理技術(shù)研究.pdf

1、遞歸神經(jīng)網(wǎng)絡(luò)作為一種特殊的深層神經(jīng)網(wǎng)絡(luò)，近年來被成功地應(yīng)用于英文的語言建模和句法分析等問題中。然而，遞歸神經(jīng)網(wǎng)絡(luò)在中文自然語言處理中的相關(guān)工作則相對較少。中文和英文之間存在很大的差別，因此在處理中文自然語言問題時(shí)，不能完全照搬英文的處理方法。
　　本文分析了中文語言的特點(diǎn)，并使用基于遞歸神經(jīng)網(wǎng)絡(luò)的方法，對中文自然語言處理中的語言模型、分詞、詞性標(biāo)注和命名實(shí)體識別問題進(jìn)行了研究，主要工作包括;
　　(1)針對中文漢字?jǐn)?shù)量少且字

2、與字之間的關(guān)系復(fù)雜的特點(diǎn)，提出了Embedding遞歸神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)將字的表示與歷史的表示分離開來，避免了增大隱藏層會導(dǎo)致網(wǎng)絡(luò)參數(shù)過度增加的問題。本文借助Minibatch、預(yù)訓(xùn)練和Dropout方法優(yōu)化了Embedding遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，并成功地將該網(wǎng)絡(luò)應(yīng)用到中文字語言模型的構(gòu)建中。
　　(2)針對中文詞法分析依賴上下文特征的特點(diǎn)，改進(jìn)了已有的Embedding遞歸神經(jīng)網(wǎng)絡(luò)，提出了多Embedding遞歸神經(jīng)網(wǎng)絡(luò)。該網(wǎng)

3、絡(luò)不僅具備向后觀察的能力，而且復(fù)用了語言模型訓(xùn)練出來的Embeddings作為中文字符的表示特征，從而避免了手工構(gòu)造樣本特征的過程，降低了人力成本。在該網(wǎng)絡(luò)的基礎(chǔ)上，本文進(jìn)一步引入了一種雙向訓(xùn)練策略，使得模型可以充分利用字符序列的上下文信息。本文成功地將該網(wǎng)絡(luò)應(yīng)用到分詞、詞性標(biāo)注和命名實(shí)體識別任務(wù)的處理中。
　　實(shí)驗(yàn)表明，使用預(yù)訓(xùn)練和Dropout方法的Embedding遞歸神經(jīng)網(wǎng)絡(luò)語言模型的混亂度性能要明顯優(yōu)于傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)語