基于深度學(xué)習(xí)的中文自然語(yǔ)言處理.pdf

1、深度學(xué)習(xí)是當(dāng)前機(jī)器學(xué)習(xí)領(lǐng)域研究的前沿與熱點(diǎn)之一，深度學(xué)習(xí)的研究與應(yīng)用已經(jīng)在英文自然語(yǔ)言處理領(lǐng)域成功地產(chǎn)生了諸多突破性的成果。在中文自然語(yǔ)言處理領(lǐng)域，基于深度學(xué)習(xí)的研究近年來(lái)方興未艾。但是，由于中文與英文本質(zhì)上的不同特點(diǎn)，在英文自然語(yǔ)言處理領(lǐng)域獲得良好結(jié)果的深度學(xué)習(xí)模型和方法無(wú)法被直接應(yīng)用于中文，研究人員需要根據(jù)中文的特點(diǎn)重新建立合適的深度學(xué)習(xí)模型，尋找合適的訓(xùn)練方法。
　　本文在深度學(xué)習(xí)的英語(yǔ)自然語(yǔ)言處理模型的基礎(chǔ)上，提出了適用于

2、中文自然語(yǔ)言處理的深度神經(jīng)網(wǎng)絡(luò)模型，以及針對(duì)該模型的完整的訓(xùn)練方法，包括無(wú)監(jiān)督預(yù)訓(xùn)練方法以及有監(jiān)督調(diào)優(yōu)訓(xùn)練方法。該模型無(wú)需任何語(yǔ)言學(xué)知識(shí)或手工特征設(shè)計(jì)，可被用于中文分詞、詞性標(biāo)注以及命名實(shí)體識(shí)別等多種中文自然語(yǔ)言處理任務(wù)。具體來(lái)說(shuō):1）本文針對(duì)中文的特點(diǎn)，提出了中文自然語(yǔ)言處理深度神經(jīng)網(wǎng)絡(luò)模型;2）本文提出了一個(gè)新的優(yōu)化目標(biāo)來(lái)構(gòu)造中文神經(jīng)語(yǔ)言模型，并從理論上說(shuō)明了使用本文提出的優(yōu)化目標(biāo)訓(xùn)練中文神經(jīng)語(yǔ)言模型等價(jià)于訓(xùn)練一個(gè)特殊的降噪自動(dòng)編碼

3、器——文本窗口降噪自動(dòng)編碼器(Text Window Denoising Autoencoder);3）本文描述了通過(guò)堆疊文本窗口自動(dòng)編碼器來(lái)預(yù)訓(xùn)練中文自然語(yǔ)言處理深度神經(jīng)網(wǎng)絡(luò)的過(guò)程;4）本文說(shuō)明了針對(duì)具體任務(wù)有監(jiān)督地調(diào)優(yōu)訓(xùn)練中文自然語(yǔ)言處理深度神經(jīng)網(wǎng)絡(luò)的過(guò)程。
　　本文根據(jù)提出的模型以及訓(xùn)練方法，建立了一個(gè)完整的基于深度神經(jīng)網(wǎng)絡(luò)的中文自然語(yǔ)言處理系統(tǒng)。該系統(tǒng)的主要特點(diǎn)為:1）完全基于統(tǒng)計(jì)，無(wú)需任何語(yǔ)言學(xué)知識(shí)或手工特征設(shè)計(jì);2）支