語言層先驗(yàn)知識(shí)對(duì)若干自然語言處理任務(wù)中神經(jīng)網(wǎng)絡(luò)模型的影響研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展以及計(jì)算機(jī)硬件的更新，神經(jīng)網(wǎng)絡(luò)模型在最近幾年發(fā)展迅速，已經(jīng)被廣泛應(yīng)用于圖像識(shí)別、語音識(shí)別等領(lǐng)域，并且應(yīng)用已經(jīng)較為成熟。在自然語言處理領(lǐng)域中，神經(jīng)網(wǎng)絡(luò)同樣也是前沿?zé)狳c(diǎn)。
　　在此之前，自然語言處理任務(wù)大多對(duì)自然語言處理方面的知識(shí)要求較高，尤其是使用規(guī)則的方法，其要求更加高。而基于統(tǒng)計(jì)的自然語言處理方法雖然不需要像基于規(guī)則的方法對(duì)于研究者有較高的語言學(xué)要求，但仍然需要具備自然語言處理的各種知識(shí)。但在使用神經(jīng)網(wǎng)絡(luò)模型處理

2、自然語言處理任務(wù)時(shí)，并不需要很多自然語言處理各種任務(wù)的知識(shí)。而是首先使用詞向量來表示所輸入的文本，再使用神經(jīng)網(wǎng)絡(luò)模型提取文本中的特征來完成自然語言處理任務(wù)，這只需了解神經(jīng)網(wǎng)絡(luò)的知識(shí)即可完成大部分自然語言處理的任務(wù)。然而，使用神經(jīng)網(wǎng)絡(luò)模型處理這些問題時(shí)雖然可以適應(yīng)于各種任務(wù)，但是其效果很難超過傳統(tǒng)方法，使用神經(jīng)網(wǎng)絡(luò)這種模型的原因更多的是在于其簡(jiǎn)單易用，但其效果只是接近或者達(dá)到傳統(tǒng)方法。其部分原因很可能是在神經(jīng)網(wǎng)絡(luò)模型中加入先驗(yàn)知識(shí)還比較少

3、，直接從文本提取特征并未達(dá)到預(yù)期效果。
　　因此本研究探究語言層先驗(yàn)知識(shí)對(duì)使用神經(jīng)網(wǎng)絡(luò)模型的自然語言處理任務(wù)的影響。對(duì)于不同任務(wù)，比較不同先驗(yàn)知識(shí)以及不同的先驗(yàn)知識(shí)輸入位置（不同的先驗(yàn)知識(shí)輸入位置主要針對(duì)機(jī)器翻譯任務(wù)）對(duì)于神經(jīng)網(wǎng)絡(luò)模型的影響。在自然語言處理基本任務(wù)、文本分類和機(jī)器翻譯三類任務(wù)上進(jìn)行了實(shí)驗(yàn)。比較發(fā)現(xiàn)，在部分任務(wù)上，不同的先驗(yàn)知識(shí)對(duì)于不同的神經(jīng)網(wǎng)絡(luò)模型的影響是不同的。同時(shí)，在部分任務(wù)上使用合適的神經(jīng)網(wǎng)絡(luò)模型，加入恰當(dāng)?shù)?/p>