面向問答系統(tǒng)的問題分類與答案抽取研究.pdf

1、隨著人工智能、信息檢索以及自然語言處理等技術(shù)地發(fā)展，問答系統(tǒng)的研究也取得了長足地進步。特別是TREC等會議舉辦的問答系統(tǒng)評測任務(wù)又進一步推動了問答系統(tǒng)的發(fā)展。相比英文而言，中文領(lǐng)域并沒有流行的問答系統(tǒng)評測，相關(guān)的數(shù)據(jù)集也十分匱乏，導(dǎo)致目前中文問答系統(tǒng)的研究相對落后。本文使用基于在線搜索引擎的方式來實現(xiàn)答案檢索，主要研究工作為面向中文問答系統(tǒng)的問題分析與答案抽取。
　　在問題分析部分，本文首先提出了一種基于詞組合及問題類別的停用詞選

2、取方法，在選取停用詞時先從由n個詞組合成的短語中提取，并且在提取過程中考慮問題類別情況，通過不斷減小n的值來完成迭代。在本文的數(shù)據(jù)集上，這一方法取得了較好的效果。
　　接著，針對本文的問題，基于TF-IDF的思想提出了一種問句分類特征選取方法TFC-ICF。該方法綜合考慮了一個詞語標(biāo)識某個類別的能力及其在各個類別中的分布情況，從而可以選取到質(zhì)量更高的分類特征。本文使用基于SVM模型的分類器來進行自動分類，使用TFC-ICF方法選取

3、的特征詞在問題分類上的準(zhǔn)確率可以達到80.45％。為了進一步提高問題分類的性能，本文以TFC-ICF方法為基準(zhǔn)，提出了人工特征選取方法、基于關(guān)鍵詞擴展的特征選取和選取語法信息的特征選取，并且在后兩種方法中實驗了多種不同的特征使用方法。通過與TFC-ICF方法結(jié)合使用，上述三種方法在問題分類上的最高準(zhǔn)確率分別可以達到86.01％、85.14％和82.13％。
　　在答案抽取部分，本文首先討論了如何使用基于向量空間模型的句子相似度計算