語言層先驗知識對若干自然語言處理任務(wù)中神經(jīng)網(wǎng)絡(luò)模型的影響研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展以及計算機硬件的更新，神經(jīng)網(wǎng)絡(luò)模型在最近幾年發(fā)展迅速，已經(jīng)被廣泛應(yīng)用于圖像識別、語音識別等領(lǐng)域，并且應(yīng)用已經(jīng)較為成熟。在自然語言處理領(lǐng)域中，神經(jīng)網(wǎng)絡(luò)同樣也是前沿熱點。
　　在此之前，自然語言處理任務(wù)大多對自然語言處理方面的知識要求較高，尤其是使用規(guī)則的方法，其要求更加高。而基于統(tǒng)計的自然語言處理方法雖然不需要像基于規(guī)則的方法對于研究者有較高的語言學要求，但仍然需要具備自然語言處理的各種知識。但在使用神經(jīng)網(wǎng)絡(luò)模型處理

2、自然語言處理任務(wù)時，并不需要很多自然語言處理各種任務(wù)的知識。而是首先使用詞向量來表示所輸入的文本，再使用神經(jīng)網(wǎng)絡(luò)模型提取文本中的特征來完成自然語言處理任務(wù)，這只需了解神經(jīng)網(wǎng)絡(luò)的知識即可完成大部分自然語言處理的任務(wù)。然而，使用神經(jīng)網(wǎng)絡(luò)模型處理這些問題時雖然可以適應(yīng)于各種任務(wù)，但是其效果很難超過傳統(tǒng)方法，使用神經(jīng)網(wǎng)絡(luò)這種模型的原因更多的是在于其簡單易用，但其效果只是接近或者達到傳統(tǒng)方法。其部分原因很可能是在神經(jīng)網(wǎng)絡(luò)模型中加入先驗知識還比較少

3、，直接從文本提取特征并未達到預(yù)期效果。
　　因此本研究探究語言層先驗知識對使用神經(jīng)網(wǎng)絡(luò)模型的自然語言處理任務(wù)的影響。對于不同任務(wù)，比較不同先驗知識以及不同的先驗知識輸入位置（不同的先驗知識輸入位置主要針對機器翻譯任務(wù)）對于神經(jīng)網(wǎng)絡(luò)模型的影響。在自然語言處理基本任務(wù)、文本分類和機器翻譯三類任務(wù)上進行了實驗。比較發(fā)現(xiàn)，在部分任務(wù)上，不同的先驗知識對于不同的神經(jīng)網(wǎng)絡(luò)模型的影響是不同的。同時，在部分任務(wù)上使用合適的神經(jīng)網(wǎng)絡(luò)模型，加入恰當?shù)?/p>