Design and Implementation of Automatic Question Answering System.pdf

1、近年來，隨著Web技術的發(fā)展，開發(fā)能夠滿足用戶對不相關信息的快速訪問服務成為了一種重要應用。問答服務就是這樣一種服務，其目標是面向某個具體問題提供答案。在過去的十年中，受TREC（文本檢索會議）的自動問答論壇影響，開發(fā)了許多自動問答系統。自動問答技術涉及到很多NLP（自然語言處理技術），如信息檢索(IR)，信息抽取(IE)，自動摘要，會話界面等。目前的自動問答系統可以分為兩類:開放域自動問答系統和受限域自動問答系統。開放域自動問答系統面

2、向幾乎所有問題的解答，主要依靠通用本體和知識庫技術。同時，在開放域問答系統中問題的類型是不固定的。受限域自動問答系統主要處理特定領域的問題（如生物醫(yī)藥或天氣預報），由于自然語言處理中可以經常利用領域知識構建本體，從而受限域自動問答系統相對簡單。同時，在受限域自動問答系統中所接受的問題類型也是有限的。
　　本文的目標是設計并實現SieQA自動問答系統，該系統為一個面向東北大學國際交流學院的受限域自動問答系統。為此，本文首先研究了自動

3、問答系統的-般處理過程:
　　首先，分析自然語言問題，給出關鍵字以及問題域;
　　然后，使用關鍵字和問題域，對問題進行分類;
　　接下來，根據問題分類，縮減相似的候選問題數量;
　　然后，計算問題與候選問題間的相似度;
　　最后，根據相似度得到問題答案，如果沒有找到問題答案則記錄該問題，并將該問題轉給人工解決。
　　這樣，該過程中，需要解決以下問題:
　　(1)問題分析，通過識別問題中的單詞并標

4、注語義，以對問題進行分類以理解問題目標;
　　(2)問題選擇，通過相似度計算，在大量的候選問題中選擇合適的問題及答案，以實現自動問題解答。
　　在問題分析中，其關鍵是要理解問題目標。為了識別問題目標，需要進行形態(tài)句法分析，以識別單詞是動詞、名詞或者形容詞等，并對單詞進行標注。通過形態(tài)句法分析，將幫助確定問題關注于哪類事務。在此基礎上，為了識別問題所關注的對象，還需要識別問題的語義以確定該問題是哪類問題。問題分類是要將問題歸為

5、幾個語義類別。這些分類是事先定義的，依賴于問題關鍵字進行判斷，比如when關注于時間或者日期，where關注于地點，who關注于人。利潤，如果問題是“Who was the first Chinese in space?”，該問題將期待一個人名的答案。事實上，所有的問答系統都有一個問題分類模塊。問題分類的準確性對于自動問答系統的性能是非常重要的。然而，對于一些英語單詞，如which，并沒有過多的帶有其他語義類型信息。這樣，就需要進一步分

6、析識別問題關鍵字。這樣，本文構建了一個問題類型表，它是一個層次結構。
　　問題選擇是要在大量的候選問題中選擇合適的問題及答案。這樣就需要度量兩個問題語句的相似度。該相似度計算應考慮語法和語義相似兩個方面。語句間相似性度量步驟如下:
　　(1)標記化，將句子分為一系列單詞;
　　(2)執(zhí)行詞性標注，對單詞進行名動詞識別，利用Brill標記算法進行基于規(guī)則的標注;
　　(3)詞義消歧，有些單詞有多個語義，利用WSD(

7、Word Sense Disambiguation)來消除歧義;
　　(4)詞義相似性度量，根據wordnet，利用路徑長度，如公式WUP(s1，s2)=2*depth(LCS)/depth(s1)+depth(s2)所示，計算詞義相似性。其中s1和s2表示源和目的詞，depth表示計算節(jié)點到根距離的函數。LCS表示s1和s2間最小相同部分。
　　(5)語義相似度矩陣構建，語義相似度矩陣R[m，n]中每個表示X的位置為i的詞

8、與Y的位置為j的詞之間的相似度。
　　(6)語句相似度計算。根據句子間的語義相似矩陣，利用Dice相關系數計算得到兩個句子的語義相似度，如公式v=2*|X∩Y|/|X|+|Y|所示。
　　這樣，根據以上描述，兩個語句X和Y的相似性計算算法如下:Sum=0;Threshold=0.5;for(int i=0;i＜|X|;i++){max=-1;for(intj=0;j＜|Y|;j++){if(R[i，j]＞max)max=R[

9、i，j];}If(max＞=Threshold){Sum+=max;}}Sim=2*Sum/(|X|+|Y|);
　　在此基礎上，本文描述了自動問答系統的功能分析。自動問答系統由兩部分構成:客戶App和管理端Web應用。
　　客戶App的功能是要提供一個界面以使得用戶能夠提問、獲取答案并瀏覽提問歷史記錄?？蛻鬉pp可以分為以下功能模塊:
　　(1)注冊模塊:主要是提供新用戶的注冊;
　　(2)登錄模塊:主要是使得

10、用戶能夠提供用戶名和密碼之后登錄系統;
　　(3)個人資料設置模塊:主要是使得用戶可以修改個人資料信息;
　　(4)提問模塊，在用戶登錄該系統之后，可以提問;
　　(5)瀏覽歷史記錄模塊:用戶可以瀏覽歷史提問信息。
　　管理端Web應用主要是提供管理員編輯問題類別、管理問題以及回答未正確處理問題和用戶提問歷史統計分析等功能。管理端Web可以分為以下功能模塊:
　　(1)登錄模塊:主要是使得用戶能夠提供用戶名

11、和密碼之后登錄系統;
　　(2)個人資料設置模塊:主要是使得用戶可以修改個人資料信息;
　　(3)用戶管理模塊:主要對注冊用戶進行權限管理及用戶信息維護等;
　　(4)問題域管理模塊:主要是使得用戶能夠修改編輯問題域;
　　(5)問題管理模塊:主要是使得用戶能夠修改編輯刪除問題;
　　(6)未正確處理問題解答模塊:主要是使得用戶能夠對系統未正確處理問題提供解答。
　　(7)查看統計信息模塊:主要是使得

12、用戶能夠查看問題回答情況。
　　在系統分析的基礎上，本文描述了系統的體系結構設計和邏輯結構設計，并給出了關鍵功能模塊設計和數據庫設計。其中客戶App包括3層:顯示層、交互層和服務器層。其中，顯示層是android聊天應用，用于以圖形界面方式提供系統登錄、提問、獲取答案以及瀏覽歷史問答記錄等功能。交互層主要負責通過socket端口接收和發(fā)送消息。服務器層為遠程服務器，用以與顯示層間發(fā)送接收消息。管理端Web應用采用顯示層、Web應用

13、層和數據層的3層體系結構。其中，顯示層是通過不同的Web界面提供用戶登錄、問題域管理、用戶角色管理和未解答問題角色指派等功能。同時，它也提供系統統計功能。該層同時也提供用戶請求的處理、問題自動響應以及失敗情況下的通知發(fā)送功能。Web應用層由Wicket，spring，hibernate和JPA技術開發(fā)。數據層主要存儲系統中的數據，如用戶信息、問題信息和角色權限信息等。為了支持系統功能，通過實體類分析和數據庫表關系分析，本系統主要構建了1

14、4張數據庫表，包括:用戶信息表、角色表、用戶角色表、權限表、角色權限表、問題域表、問題子域表、問題表、答案表、問題類別表、用戶問題表、用戶答案表、未回答問題表。
　　在系統設計的基礎上，給出了本文的關鍵功能模塊實現，詳細說明了系統開發(fā)環(huán)境，并討論了問題分析、分類以及相似度計算的實現原理和代碼。同時，給出了客戶App的提問和登錄模塊的實現原理及界面，給出了管理端Web應用的登錄、查看統計信息和問題管理模塊的實現原理及界面。
　

15、　本文開展了一系列的實驗對答案獲取進行了測試。實驗結果驗證了其準確性。同時，對系統中關鍵功能模塊進行了系統測試。測試結果表明，該系統能夠幫助東北大學國際交流學院實現留學相關問題的自動解答。
　　最后，本文總結了論文的主要工作。本文主要設計并實現了一個自動問答系統。該系統中利用語句分析、分類和相似度計算技術，從數據庫（包括問題和答案的數據庫）中獲取答案。論文中給出了受限域自動問答方法的整體結構和處理過程。基于自動問答方法以及國際交流