基于詞的分布式表示的中文閱讀理解研究.pdf

1、自然語言處理是人工智能研究的核心領(lǐng)域之一。在自然語言處理中,閱讀理解技術(shù)的發(fā)展進步對于處于信息時代的人們準(zhǔn)確獲取所需信息帶來便利。閱讀理解任務(wù)是對給定的自然語言文章以及給定與文章相關(guān)的問題,計算機能夠從該文中自動獲得問題的答案句。近年來,國內(nèi)外關(guān)于閱讀理解的研究有很多,大都是基于句子中詞語之間的匹配進行研究。而基于漢語中詞語或者字的分布式實值表示的向量在歐氏空間中來刻畫詞語之間相似關(guān)系的閱讀理解研究還很少。
　　本文首先嘗試使用神

2、經(jīng)網(wǎng)絡(luò)語言模型訓(xùn)練得到漢語中詞和字的向量表示矩陣,而后基于山西大學(xué)自主研究開發(fā)的中文閱讀理解語料庫 CRCC,對于由問句和答案句構(gòu)成的兩類分類問題,使用最大熵模型對每個句子進行建模,在原始的十個詞層面特征的基礎(chǔ)上加入我們構(gòu)建的詞的分布式實值向量表示這個特征,其中分布式詞向量特征分別是以下幾類:1)MAXOUT特征,刻畫問題句和答案句的詞對應(yīng)的分布式實值向量的最大值的歐式距離;2)算法平均特征,刻畫問句和答案句中的詞所對應(yīng)的實值向量的平均

3、值的歐式距離;3)詞的平均相似度匹配特征,對問句和答案句對應(yīng)的實值向量先求距離再求平均值;4)余弦夾角特征,分別對以上三個特征求余弦夾角。這些特征主要是用來度量問題句和候選答案句的相似程度。針對語料庫規(guī)模有限等情況,在語料上使用holdout驗證方法,隨機切分了五次得到訓(xùn)練集和測試集。采用HumSent準(zhǔn)確率來評價模型的預(yù)測性能。
　　本文首先使用訓(xùn)練好的原始詞向量矩陣得到初步結(jié)果,而后對詞向量矩陣進行尺度優(yōu)化,最后,在模型中加入

4、基于分布式表示的字向量矩陣和經(jīng)過尺度優(yōu)化的字向量矩陣。通過多次實驗對比,我們選擇性能好的字向量矩陣和特征來訓(xùn)練得到本文的結(jié)果。實驗表明,在閱讀理解問題回答任務(wù)中,把通過尺度優(yōu)化的詞向量矩陣得到的特征加入到最大熵模型中,使用總共十一個特征進行訓(xùn)練,在測試集上的HumSent準(zhǔn)確率達到63.37％。進而加入基于字的分布式表示的向量矩陣和特征,最終的HumSent準(zhǔn)確率達到63.81%,比原始十個特征61.74%的HumSent準(zhǔn)確率提高2.