開放域的自動問答系統(tǒng)的研究.pdf

1、信息技術和互聯網的發(fā)展使得互聯網上的以數字形式呈現的信息越來越豐富，這使得人們開始使用這些信息。如今人們能夠通過搜索引擎，比如，Google(http：//www.google.com)和Baidu(http：//www.baidu.com)，方便、快捷地找到自己需要的各種信息。這類搜索引擎，也叫信息檢索系統(tǒng)(InformationRetrievalSystem，IR)，接收一個或者幾個關鍵字作為輸入，然后從一個大的文檔庫中(比如，Wo

2、rldWideWeb，即萬維網)檢索結果，最后返回一系列的指向文檔的鏈接和摘要給用戶。通常情況下，這類基于關鍵字的搜索引擎能夠滿足大部分用戶的需要。然而，這類搜索引擎也存在一些不足之處：首先，返回網頁的質量很大程度上依賴于用戶輸入的關鍵字，這對于那些沒有使用經驗的用戶來說是一個很大的挑戰(zhàn)，因為他們很難用一兩個關鍵字來表述他們的信息需求；其次，搜索引擎返回的是一系列相關的文檔，而不是精確的答案。通常用戶需要從這眾多的返回結果中查找他們需要

3、的答案。 為了克服這些不足之處，近年來，越來越多的研究機構和公司致力于新一代信息檢索系統(tǒng)的研究。其中一個很重要的方向就是問答系統(tǒng)(QuestionAnsweringSystem，QA)。問答系統(tǒng)接收以自然語言的形式表述的問題作為輸入(例如：哪一條河流是世界上最長的?)，而不是關鍵字。同樣地，問答系統(tǒng)也是從一個大的文檔集中(比如，萬維網或者一個本地的文檔集)查找答案。問答系統(tǒng)將找到的精確答案而不是一系列的相關文檔返回給用戶。問答系

4、統(tǒng)的研究試圖使系統(tǒng)能回答較寬范圍的問題，包括：事實、列舉、定義、方式、原因、假設、語義約束和跨語言類型的問題。比起其他的信息檢索系統(tǒng)，比如文檔檢索系統(tǒng)，問答系統(tǒng)被認為需要涉及更加復雜的自然語言處理技術。 本文主要集中在開放域的問答系統(tǒng)的研究。準確地說，本文集中在開放域的事實型和定義型問答系統(tǒng)的研究。事實型問題的答案往往是命名實體，比如，數字、人名或者機構名等等。諸如“誰是科林鮑威爾?”或者“什么是模具?”的問題就屬于定義類問題。

5、 在事實型問答系統(tǒng)中，本文提出了一種新的答案排序的方法：在網上利用偽反饋來對候選答案作再排序。偽反饋(也叫本地反饋或者盲反饋)是一項通常被用來提高信息檢索系統(tǒng)性能的技術。在本文中，為了選出最佳答案，首先，在網上為每一個問題和候選答案對構建偽文檔。然后，通過計算構建的偽文檔和問題之間的TFIDF相似度對候選答案進行再排序。在2003年的文本檢索會議(TextREtrievalConference，TREC)的標準數據集上，一系列的

6、實驗被用來評測本文提出的方法。實驗結果顯示，本文提出的方法行之有效，相比基準系統(tǒng)，本系統(tǒng)的精度提高了14﹪。 在定義型問答系統(tǒng)中，本文也提出了一種新的答案排序方法。在TREC2003和TREC2004的評測中排名靠前的系統(tǒng)中，基于中心詞向量(特征向量)的統(tǒng)計排序法被廣泛使用，這些中心詞是從外部資源中抽取出來的。在這些系統(tǒng)中，基于獨立假設，中心詞向量中的各個詞被看作是彼此相互獨立的。為了放松該假設，本文提出了一種新的基于語言模型的