基于非結(jié)構(gòu)化文檔的開放域自動(dòng)問(wèn)答系統(tǒng)技術(shù)研究.pdf

1、自動(dòng)問(wèn)答系統(tǒng)能夠根據(jù)用戶輸入的自然語(yǔ)言問(wèn)題，直接返回精確的答案。本文的研究方向是基于非結(jié)構(gòu)化文檔的開放域自動(dòng)問(wèn)答系統(tǒng)，其特點(diǎn)是背后的數(shù)據(jù)源是非結(jié)構(gòu)化的文檔庫(kù)，面向的問(wèn)題是通用問(wèn)題，并不局限于某個(gè)領(lǐng)域。典型的基于非結(jié)構(gòu)化文檔的開放域自動(dòng)問(wèn)答系統(tǒng)一般由問(wèn)題處理模塊、文檔處理模塊和答案處理模塊三個(gè)部分組成，其主要存在兩個(gè)問(wèn)題，第一是文檔處理模塊返回的段落候選集規(guī)模過(guò)大導(dǎo)致答案處理模塊準(zhǔn)確率降低。第二是基于規(guī)則的答案抽取過(guò)于繁瑣，靈活性差。針對(duì)

2、第一個(gè)問(wèn)題，使用句子篩選和句子排序模塊將段落候選集縮減為單個(gè)的答案句子。針對(duì)第二個(gè)問(wèn)題，使用端到端的深度神經(jīng)網(wǎng)絡(luò)模型代替?zhèn)鹘y(tǒng)的基于規(guī)則的答案抽取算法。
　　本研究針對(duì)句子篩選模塊，改進(jìn)了一種計(jì)算文檔相似度的算法Word Mover'sDistance(WMD)，并提出了一種將BM25和WMD結(jié)合的混合模型。分別進(jìn)行了文檔分類和文本排序?qū)嶒?yàn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的WMD算法和混合模型比其他基準(zhǔn)算法有更好的效果。針對(duì)句子排序模塊，設(shè)計(jì)

3、了五種特征來(lái)衡量問(wèn)句和候選答案句子之間的相關(guān)性，并以此相關(guān)性得分對(duì)候選答案句子進(jìn)行排序。這些特征包含了不同的級(jí)別。該模型稱為Multiple Level Feature Rank(MLFR)模型。測(cè)試并對(duì)比了若干基于深度神經(jīng)網(wǎng)絡(luò)的句子排序模型。實(shí)驗(yàn)結(jié)果表明，MLFR模型有更好的排序效果。最后，引入了一個(gè)端到端的深度神經(jīng)網(wǎng)絡(luò)模型用于答案抽取，并將此模型與前面的句子篩選和句子排序模塊組合在一起，設(shè)計(jì)實(shí)驗(yàn)進(jìn)行了整體的性能評(píng)估。本文對(duì)典型的基于