基于神經(jīng)網(wǎng)絡(luò)的自然語言語義表達(dá)及推理方法研究.pdf

1、認(rèn)知智能旨在實(shí)現(xiàn)機(jī)器具備像人一樣的理解、聯(lián)想、推理等能力，是人工智能的重要領(lǐng)域。自然語言語義表達(dá)與常識推理是認(rèn)知智能研究的關(guān)鍵任務(wù)。自然語言語義表達(dá)指的是將自然語言轉(zhuǎn)換成機(jī)器可以處理的語義表征形式，是實(shí)現(xiàn)自然語言理解的基礎(chǔ)。現(xiàn)階段的語義表達(dá)方法主要基于統(tǒng)計分布假設(shè)，利用海量文本與統(tǒng)計建模，將自然語言中的語義信息表征為高維稀疏或低維稠密的向量形式。如何提高語義表征向量的精度仍然是當(dāng)前語義表達(dá)研究的關(guān)鍵問題。常識推理關(guān)注機(jī)器對常識知識的運(yùn)用

2、以及推理能力。現(xiàn)階段的常識推理方法仍以馬爾科夫邏輯網(wǎng)絡(luò)、貝葉斯網(wǎng)絡(luò)等傳統(tǒng)概率邏輯推理方法為代表。這些方法往往存在模型結(jié)構(gòu)復(fù)雜、先驗(yàn)信息依賴性強(qiáng)、效率低、擴(kuò)展性差等問題。
　　本文圍繞基于神經(jīng)網(wǎng)絡(luò)的自然語言語義表達(dá)及推理方法，在詞語語義表達(dá)、面向常識推理的神經(jīng)網(wǎng)絡(luò)模型、常識知識庫構(gòu)建方法和自然語言推理系統(tǒng)等方面開展研究工作，具體包括:
　　首先，研究了融合多源信息與神經(jīng)網(wǎng)絡(luò)建模的詞語語義表達(dá)方法。現(xiàn)有詞語語義表達(dá)方法單一依賴基

3、于海量文本的統(tǒng)計分布假設(shè)，受文本噪聲和歧義等影響，語義表達(dá)的精度不夠理想。因此本文提出了融合海量文本與詞匯語義知識的語義詞向量構(gòu)建方法和詞性信息監(jiān)督下的詞性增強(qiáng)詞向量方法，通過在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中合理利用語義知識庫、詞性序列等多源信息，提高了單詞語義表達(dá)精度，取得了多個自然語言理解任務(wù)上的性能提升。
　　其次，研究了面向常識推理的神經(jīng)網(wǎng)絡(luò)建模方法。針對傳統(tǒng)推理方法中存在的事件表達(dá)稀疏性與推廣性問題，本文將連續(xù)語義空間表達(dá)引入常識推

4、理，提出了神經(jīng)聯(lián)想模型。該模型將大量自然事件映射到連續(xù)語義空間中，利用深層人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對事件間聯(lián)想關(guān)系的統(tǒng)一建模，最終完成基于事件聯(lián)想的常識推理。在多個自然語言理解及推理任務(wù)上的實(shí)驗(yàn)結(jié)果表明，神經(jīng)聯(lián)想模型取得了優(yōu)于現(xiàn)有模型的性能，并且具有良好的知識遷移學(xué)習(xí)能力。
　　再次，研究了基于海量文本的常識知識庫自動構(gòu)建方法。針對常識知識庫稀缺且人工構(gòu)建代價高的問題，本文提出了基于海量文本的因果知識獲取方法。該方法首先定義常用詞語詞典用

5、于約束常識知識庫的構(gòu)建空間，然后在海量文本上進(jìn)行核心句抽取與自動分析操作，最終得到大量具有因果關(guān)系的短語對作為常識知識庫?；谝陨戏椒?，本文完成了包含五十余萬條因果短語對的常識知識庫的構(gòu)建，為后續(xù)的自然語言推理系統(tǒng)構(gòu)建提供了數(shù)據(jù)支撐。
　　最后，設(shè)計實(shí)現(xiàn)了面向認(rèn)知智能評測的自然語言推理系統(tǒng)。在上述語義表達(dá)、常識推理模型、常識知識庫構(gòu)建等研究工作的基礎(chǔ)上，構(gòu)建了面向WinogradSchema Challenge(WSC)評測任務(wù)的