招生問答系統(tǒng)的設(shè)計[文獻綜述]

1、<p><b>　?。?011屆）</b></p><p><b>　　畢業(yè)論文（設(shè)計）</b></p><p><b>　　文獻綜述</b></p><p>　　題　 目: 招生問答系統(tǒng)的設(shè)計 　 </p><p>　　學(xué) 　院:　　

2、 商學(xué)院 　　 </p><p>　　專　　業(yè):　　 信息管理與信息系統(tǒng)　　 </p><p>　　班　　級:　　　 　　 </p><p>　　學(xué)　 號:　　 　　 　　 </p><p>

3、;　　姓　 名:　　　 　 </p><p>　　指導(dǎo)教師:　　　 　　 </p><p><b>　　教　務(wù)　處　制</b></p><p><b>　　一、前言部分</b></p><p>

4、　　2010年6月，參加2010年高考的人數(shù)為976萬，雖然人數(shù)比去年下降，但是由于從2005年以來各個高校的擴招，使得今年的錄取人數(shù)比往年增加了不少。隨著網(wǎng)絡(luò)和信息技術(shù)的快速發(fā)展，同時人們想更快地獲取信息的愿望越來越強烈。這在招生工作中表現(xiàn)比較突出，每年到高考后填報志愿這段時間，上網(wǎng)查找招生信息和問詢招生信息的學(xué)生和家長很多，學(xué)校通常組織多名工作人員守在計算機前進行問題的解答。在招生工作中，很多問題是一樣的，如果將訊問多的問題和答案放

5、入問答庫，將常見問題讓系統(tǒng)回答，則可以較少工作人員的工作量，同時，也能提高回答問題的時間。</p><p>　　互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)上的信息越來越多。如何在這些海量信息中快速準(zhǔn)確地找到所需要的信息也越來越困難。雖然現(xiàn)在的搜索引擎已經(jīng)取得了很大的成功，但是這些搜索引擎是被設(shè)計用來獲取與用戶查詢請求相關(guān)的文檔的，因為其查詢序列是一系列關(guān)鍵詞的組合，而不是以自然語言的形式提供的，同時其返回的結(jié)果是與查詢相關(guān)的網(wǎng)頁的列表

6、，其中只有一小部分是用戶需要的信息，而且用戶必須自己從這些文檔中找到相關(guān)的信息。事實上，用戶可能更習(xí)慣于用自然語言來描述一個問題而不是一系列的關(guān)鍵詞，通常情況下用戶所需要的只是問題的確切答案，而不是與該問題相關(guān)的一系列網(wǎng)頁。另一方面，傳統(tǒng)的問答系統(tǒng)雖然可以對用戶提出的問題給出確定的答案；但是這些問答系統(tǒng)的知識庫是基于一個固定的文檔集合，尚且不能滿足用戶的各種各樣的需求。問答系統(tǒng)的目標(biāo)就是解決這些問題。由于互聯(lián)網(wǎng)信息的豐富多樣性，毫無疑問

7、可以作為問答系統(tǒng)知識庫的理想資源。</p><p>　　20世紀(jì)90年代以來，Internet在世界范圍內(nèi)得到迅猛的發(fā)展，網(wǎng)上的信息越來越多，極大地推動了自然語言處理技術(shù)的發(fā)展，同時也對自然語言處理技術(shù)提出了更高的要求。人們希望在雜亂無章的網(wǎng)絡(luò)世界中快速準(zhǔn)確地獲得自己想要的信息。自動問答技術(shù)正是為了滿足人們的這種愿望而發(fā)展起來的。人們可以用普通的問句對自動問答系統(tǒng)提問，自動問答系統(tǒng)將在語料庫或者互聯(lián)網(wǎng)中搜索相應(yīng)的

8、答案，然后把答案直接返回給用戶。這樣用戶就可以通過自動問答系統(tǒng)方便地獲得自己想要的信息。</p><p>　　而現(xiàn)在由于高校招生的數(shù)量巨大使得用人工的方法去回答考生的問題變成一項浩大的工程。招生問答系統(tǒng)就在這個時候被提了出來。</p><p>　　目前很多考生對招生政策有很多問題，如果采用人工回答的方式非常不現(xiàn)實，既浪費人力物力也得不到很好的效果，如果利用系統(tǒng)本身的知識庫，以及利用豐富的互

9、聯(lián)網(wǎng)資源作為問答系統(tǒng)的知識庫，完全可以開發(fā)出既可以滿足廣大考生和家長的需求，又可以減輕高等學(xué)校招生咨詢的壓力的問答系統(tǒng)。</p><p><b>　　二、主題部分</b></p><p><b>　　1.問答系統(tǒng)</b></p><p>　　常用的問題集（FAQ）可以作為自動問答系統(tǒng)中的一個組成部分。它把用戶經(jīng)常提問的問題

10、和相關(guān)答案保存起來，對于用戶輸入的問題，可以首先在常文問題庫中查找答案。如果能夠找到相應(yīng)的問題，就可以直接將問題所對應(yīng)的答案返回給用戶，而不需要經(jīng)過問題；理解、信息檢索、答案抽取等許多復(fù)雜的處理過程，提高了效率。國內(nèi)今年來在該領(lǐng)域作了一些工作國內(nèi)的這方面研究還很少[1]。</p><p>　　在信息檢索領(lǐng)域，查詢擴展是公認(rèn)的能夠有效提高查全率的技術(shù)之一，“其基本思想是利用與查詢關(guān)鍵詞相關(guān)的詞語對查詢進行修正，以找

11、到更多的相關(guān)文檔，提高查全率”[2]。</p><p>　　問答系統(tǒng)屬于信息檢索的一個分支，相比傳統(tǒng)的基于關(guān)鍵詞的檢索，它具有更精確的檢索結(jié)果?！白詣訂柎鹣到y(tǒng)既能用自然語言句子提問，又能為用戶直接返回所需的答案，而不是相關(guān)的網(wǎng)頁。所以說，問答系統(tǒng)能更好的滿足用戶的檢索需求，能更快地找出用戶所需的答案?？梢哉f，問答系統(tǒng)就是新一代的搜索引擎?！盵3]。</p><p>　　開發(fā)基于招生領(lǐng)域的問

12、答系統(tǒng)對現(xiàn)在來說是非常有現(xiàn)實意義的，此系統(tǒng)應(yīng)該具有以下幾個優(yōu)勢：</p><p>　　（1）此系統(tǒng)能夠減輕瞬間訪問量。具有中國特色的高考每年考生數(shù)百萬之多，考生一半都集中在幾天的時間訪問招生問答系統(tǒng)，咨詢有關(guān)填報志愿的問題，而且都是一些關(guān)于學(xué)校的招生政策問題，這樣，瞬間訪問量很大，還需要及時正確的回答問題。</p><p>　　（2）此系統(tǒng)是基于一定領(lǐng)域開發(fā)的。問答系統(tǒng)都是針對某個領(lǐng)域而開

13、發(fā)的，招生問答系統(tǒng)也不例外，這樣可以減少相關(guān)算法計算的復(fù)雜度。</p><p>　?。?）此系統(tǒng)能夠減少回答問題的重復(fù)性。目前幾乎所有的大學(xué)，在網(wǎng)上招生問答的幾天是建立，每天需要很多人來值班，守在計算機前面，隨時回答考生或家長的提問，當(dāng)然，有很多問題是重復(fù)的。</p><p>　?。?）此系統(tǒng)應(yīng)該具有較強的實用性和通用性。我國每所大學(xué)的招生政策大同小異，但是其專業(yè)設(shè)置、優(yōu)勢學(xué)科卻不盡相同，

14、必須開發(fā)出具有通用性的招生問答系統(tǒng)。</p><p>　　（5）此系統(tǒng)應(yīng)該具有一定的推廣價值。我國大約有1300所大學(xué)，在每所大學(xué)的網(wǎng)絡(luò)上都可以安裝這樣的招生問答系統(tǒng)。</p><p>　　2．國外典型的招生問答系統(tǒng)</p><p>　　問答系統(tǒng)在80年代的自然語言處理領(lǐng)域曾風(fēng)行一時，因為Turing實驗告訴人們?nèi)绻嬎銠C能夠像人一樣與人進行對話，就可以認(rèn)為計算機有

15、智能。但是由于當(dāng)時的條件限制，所有的實驗都是在非常受限的領(lǐng)域，甚至是固定段落上進行的，所以自動問答一直被限制在特殊領(lǐng)域。此后，由于大規(guī)模文本處理技術(shù)的興起，問答系統(tǒng)的研究受到了冷落。</p><p>　　最近幾年，隨著網(wǎng)絡(luò)和信息技術(shù)的快速發(fā)展，同時人們想更快地獲取信息的愿望也重新促進了自動問答技術(shù)的發(fā)展。有越來越多的公司參與了自動問答技術(shù)的研究。最近，大量的問答系統(tǒng)開始出現(xiàn)。這些問答系統(tǒng)可以被分為兩類：一類是基于

16、構(gòu)建自己的檢索系統(tǒng)和答案抽取系統(tǒng)。另一類是使用WWW作為知識庫并且使用通用的搜索引擎（Google等）來獲得與問題相關(guān)的信息然后做進一步的處理從而抽取出問題的答案。例如，該要回答的問題是寫入一個或多個搜索引擎查詢，然后再發(fā)送到谷歌搜索引擎。由谷歌返回的摘要進行評分對回答模式也產(chǎn)生的問題。類似的可行的答案，都聚集在一起，重新評分基于頻率。 qa42提出的三個答案得分最高的[4]。</p><p>　　國外出現(xiàn)了一些

17、比較成型的，能為用戶解答非受限制領(lǐng)域以及特定領(lǐng)域問題的問答系統(tǒng)。這些典型的問答系統(tǒng)有：</p><p>　　（1）AskJeeves[5]：該系統(tǒng)是美國AskJeeves公司開發(fā)的。AskJeeves允許用戶用自然語言句子提問，檢索系統(tǒng)會自動分析用戶的提問，然后通過與用戶的交互進一步明確用戶的真正意圖，這使得用戶能夠充分表達(dá)自己的檢索要求，這種檢索方式檢索到的網(wǎng)頁比單純基于關(guān)鍵詞的網(wǎng)頁更符合用戶的需求。但是，As

18、kJeeves返回的結(jié)果仍然是網(wǎng)頁，而不是問題的直接答案。</p><p>　?。?）Start[6]：是麻省理工學(xué)院開發(fā)的問答系統(tǒng)，于1993年開發(fā)發(fā)布在Internet上。該系統(tǒng)是第一個面向國際互聯(lián)網(wǎng)的自然語言問答系統(tǒng)，它能夠回答針對MIT信息實驗室的地理學(xué)知識的用戶提問。同時，該系統(tǒng)的答案不局限于文本，也可以是圖片、聲音或者動畫等。Start系統(tǒng)使用主體-關(guān)系-對象三元組的形勢存放系統(tǒng)知識以及回答問題，回答

19、問題能力非常有限，系統(tǒng)的精確性比較差。同時，該系統(tǒng)是以英文為母語的，只能識別用英語提交的問題。</p><p>　　（3）AnswerBus[7]：也是一個比較成熟的問答系統(tǒng)，AnswerBus是一個多語種的自動問答系統(tǒng)，它不僅可以回答英語的問題，還可以回答多國語言的問題。</p><p>　?。?）FAQFind[8]：芝加哥大學(xué)人工智能實驗室開發(fā)的FAQFinder。該系統(tǒng)預(yù)先收集FA

20、Q庫，通過使用語義網(wǎng)分析與概念匹配技術(shù)，采用基于向量的搜索引擎從問答對文件中抽取答案。</p><p>　　3．國內(nèi)典型的招生問答系統(tǒng)</p><p>　　國內(nèi)的教學(xué)網(wǎng)站一般都具有較好的交互，答疑功能和反饋機制，并且每個學(xué)生都由專門的教室負(fù)責(zé)，利用E-mail、傳真、信件、電話等進行答疑交流。</p><p>　　國內(nèi)的問答系統(tǒng)一般是作為遠(yuǎn)程教學(xué)支撐平臺的一個子系統(tǒng)

21、，而不是一個獨立的問答系統(tǒng)。目前成型的系統(tǒng)中，有一些采用基于人工智能中知識和推理的方法完成較小規(guī)模的問答系統(tǒng)，它依賴于領(lǐng)域知識庫的建設(shè)和規(guī)則推理的約束[9]。很多遠(yuǎn)程教學(xué)平臺知識提供一些簡答的答疑方式，并沒有專門的答疑系統(tǒng)。這種方式大部分依靠人工來實現(xiàn)答疑，這些答疑方式對于遠(yuǎn)程教育老說有很多缺點：一是會耗費教師較多的時間來答疑，教師經(jīng)常需要重復(fù)回答學(xué)生的一些問題；二是答疑經(jīng)常會延時，有時學(xué)生提出的疑問好長時間沒有回復(fù)，這在一定程度上影響

22、了學(xué)生的學(xué)習(xí)積極性和學(xué)習(xí)效率。另外，國內(nèi)還有一些答疑系統(tǒng)采用較復(fù)雜的技術(shù)，實現(xiàn)了自動答疑，克服了以上不足。他們可以分為兩類[10]：</p><p>　?。?）基于FAQ庫的智能答疑系統(tǒng)</p><p>　　比較典型的是上海交通大學(xué)的遠(yuǎn)程智能答疑系統(tǒng)。該系統(tǒng)的FAQ庫存儲了用戶可能提出的問答對。系統(tǒng)根據(jù)用戶輸入的自然語言句子，自動抽取其中的關(guān)鍵詞和庫中問題進行關(guān)鍵詞匹配，并將最匹配的問題的

23、答案從庫中返回給用戶。TREC（Text Retrieval Conference）是國際上著名的文本檢索會議，它于1999年第一次設(shè)立QA Track[11]。系統(tǒng)回應(yīng)語料庫問題的不是1字串就是常量字符串“無或零”。因為沒有絕對保證語料問題的文本集合（知識庫）內(nèi)有答案，當(dāng)系統(tǒng)相信不能找到答案的時候“無或零”就被返回給用戶[12]。哈爾濱工業(yè)大學(xué)也開發(fā)過基于常見問題庫的問答系統(tǒng)。與上面介紹的系統(tǒng)不同的是，它考慮了詞語的語義，采用基于語義

24、的橘子相似度計算方法來實現(xiàn)問題的答疑。該系統(tǒng)運用計算用戶問題與FAQ庫中的問題的詞語語義相似度，進而得到句子之間的相似度，將相似度滿足一定條件的問題對應(yīng)的答案從庫中返回給用戶。</p><p>　　（2）基于全文檢索的智能答疑系統(tǒng)</p><p>　　基于全文檢索的智能答疑系統(tǒng)主要利用了信息檢索技術(shù)來實現(xiàn)答疑。它的特點是知識庫不是現(xiàn)成的問題答案對，二是相關(guān)文檔庫。對用戶問句進行自然語言理解

25、后，采用信息檢索技術(shù)對文檔庫中的文檔進行檢索后，將文檔按與查詢的相關(guān)度排序輸出，最后系統(tǒng)對相關(guān)度比較高的文檔采用答案抽取技術(shù)進行答案抽取后返回給用戶。</p><p>　　4. 招生問答的綜合評述</p><p>　　基于網(wǎng)絡(luò)的系統(tǒng)研究還不是很多。華盛頓大學(xué)的MULDER[13]，是第一個完全以網(wǎng)絡(luò)作為其知識庫的自動問答系統(tǒng)，它將檢索到的網(wǎng)絡(luò)文檔下載到本地，并且對這些文檔進行詳細(xì)的語法分析

26、從中抽取答案。新加坡國立大學(xué)的LAMP[14]是另外一個MULDER類似的系統(tǒng)。</p><p>　　針對目前國內(nèi)外智能問答系統(tǒng)的發(fā)展現(xiàn)狀的發(fā)現(xiàn)，主要需要改善的是：</p><p>　?。?）國內(nèi)的問答系統(tǒng)沒有國外發(fā)展得快，技術(shù)還不成熟。國外的問答系統(tǒng)已經(jīng)能夠在某些領(lǐng)域發(fā)揮作用。但是由于這些系統(tǒng)都是以英語為背景進行研究的，還不能直接移植到中文中。</p><p>　

27、?。?）鑒于現(xiàn)在的問答系統(tǒng)對答疑速度方面都有一定的缺陷?，F(xiàn)在需要設(shè)計的問答系統(tǒng)要把蘊涵豐富答疑材料的文檔庫和常文問題庫相結(jié)合，實現(xiàn)從文檔中自動得到答案的策略。該方案會使得系統(tǒng)對常問問題能快速給出解答，提高了系統(tǒng)的效率和準(zhǔn)確率；同時還能回答沒有存儲的大部分問題，大大增強系統(tǒng)的問答能力和實用性。同時，系統(tǒng)還應(yīng)該提高問答的準(zhǔn)確性和智能性。</p><p>　　在信息檢索領(lǐng)域，對檢索結(jié)果的評價通常通過召回率(Recall

28、，“查全率”)和準(zhǔn)確率（Precision，“正確率”）或者兩者的綜合指標(biāo)來進行評價。然而在問答系統(tǒng)中，由于在進行檢索之后，還需要進一步從返回的結(jié)果當(dāng)中進行答案的抽取，因此應(yīng)該更側(cè)重于評價返回的文本中是否存在含有正確答案的問答[15]。</p><p>　　通過上述幾點的描述,可以大致的對準(zhǔn)入系統(tǒng)有個整體的了解。怎么客觀而又科學(xué)地評測問答系統(tǒng)的有關(guān)性能，是一個很重要的問題。一般來說，問答系統(tǒng)的評測標(biāo)準(zhǔn)應(yīng)該包括一下

29、幾個方面的問題：</p><p>　?。?）系統(tǒng)給出的答案應(yīng)該是準(zhǔn)確的。</p><p>　?。?）系統(tǒng)響應(yīng)的時間越短越好。</p><p>　?。?）系統(tǒng)給出的答案應(yīng)該是全面的。</p><p>　?。?）系統(tǒng)給出的答案應(yīng)該語句流暢，簡明扼要。</p><p>　　問答系統(tǒng)需要一個評價幾只來衡量問答系統(tǒng)的性能。首先需

30、要建立一個測試集，這個測試集是人工做出來的問題和答案的集合。把這個測試集中的問題提交給問答系統(tǒng)。讓問答系統(tǒng)自動的給出答案。然后把問答系統(tǒng)自動找出的答案和測試集中的答案進行人工的對比。如果問答系統(tǒng)給出的答案通過人工的對比基本正確，則可以判斷這個答案是正確的，否則可以判斷這個答案是錯誤的。</p><p><b>　　三、總結(jié)部分</b></p><p>　　招生問答系統(tǒng)

31、避免了傳統(tǒng)知識庫的結(jié)構(gòu)，穩(wěn)定性差的毛病，消耗大量的人力物力，還有傳統(tǒng)的信息檢索和信息提取的正確性不高的特點。招生問答系統(tǒng)避免了傳統(tǒng)知識庫的結(jié)構(gòu)，穩(wěn)定性差的毛病，消耗大量的人力物力，還有傳統(tǒng)的信息檢索和信息提取的正確性不高的特點。 </p><p>　　本文主要對以下方面：1.知識庫結(jié)構(gòu)設(shè)計。知識庫一般由基于實例的問答庫、基于內(nèi)容理解的檢索問答庫、具有人工反饋機制的問答系統(tǒng)三部分組成。2.答案提取研究。答案提取是問

32、答系統(tǒng)的主要模塊，答案提取有許多方式和方法。3.問題模塊研究。對問題的分析，尋找合適的算法可以有效的正確找到所需要的答案。4.問答系統(tǒng)設(shè)計。本文提出了基于招生領(lǐng)域的問答系統(tǒng)，完成了系統(tǒng)的設(shè)計架構(gòu)和流程。</p><p><b>　　四、參考文獻</b></p><p>　　[1] BURKE R D,HAMMOND K J,KULYUKIN V, et al. Que

33、stion Answering from Frequently Asked Question Files：Experiences with the FAQ Finder Systemp [J].AI Magazine,1997,18；57-66.</p><p>　　[2] 田萱,杜小勇,李海華.語義查詢擴展中詞語-概念相關(guān)度計算[J].軟件學(xué)報,2008,19（8）:2043-2053.</p>

34、<p>　　[3] 鄭實福,劉挺,秦兵等.中文自動問答系統(tǒng)綜述[J].中文信息學(xué)報,2002,6（16）:46-52.</p><p>　　[4] Jyotika Prasad,Antone R,Vogt Riku Inoue.qa42:Web-Based Question Answering System[C].CS224N Final Programming Assignment,1-11.<

35、/p><p>　　[5] 王樹西,劉群,白碩.問答系統(tǒng)研究綜述.中文信息學(xué)報,2002,16（6）:46-52.</p><p>　　[6] 陸汝鈐.世紀(jì)之交的知識工程與知識科學(xué).北京:清華大學(xué)出版社,2001.</p><p>　　[7] 況立群,韓燮.基于對象的XML知識表示方法[期刊論文]-華北工學(xué)院學(xué)報,2002,23（6）.</p><p&

36、gt;　　[8] 陳新中,藺麗華,王道平.面向?qū)ο蟮闹R表示方法研究[期刊論文]西安礦業(yè)學(xué)院學(xué)報 1999,19（4）.</p><p>　　[9] 王樹西,劉群,白碩.基于動態(tài)知識庫的問答系統(tǒng)研究[M]語言計算與基于內(nèi)容的文本處理,北京:清華大學(xué)出版社,2003:587-592.</p><p>　　[10] 武旭,須德.基于向量空間模型的文本自動分類系統(tǒng)的研究與實現(xiàn)[期刊論文]-北方交

37、通大學(xué)學(xué)報,2003,27（2）.</p><p>　　[11] E.Voorhees.Overview of the TREC-9 Question Answering Track[A].In：Proceedings of the 9th Text Retrieval Conference(TREC9)[C],NIST,Gaithersburg,MD,2000,71-80.</p><p&g

38、t;　　[12] Hoa Trang Dang1,Diane Kelly2,and Jimmy Lin. Overview of the TREC 2007 Question Answering Tarck[J].ACL 2003 Workshop on Multilingual Summarization and Question Answering[C].Morristown,USA:Association for Computat

39、ionalLinguistics,2003,61-68.</p><p>　　[13] C.Kwork,O.Etzioni,and D.S.Weld.Scaling Question Answering to the Web[A]. In：Proceedings of the 10th World Wide Web Conference(WWW2001)[C], Hong Kong,2001,150-161.&l

40、t;/p><p>　　[14] Dell Zhang,Wee Sun Lee. A Web-based Question Answering System[A].In：Proceedings of the SMA Annual Symposium 2003[C],NUS,Singapore,Jan 2003.</p><p>　　[15] 余正濤,樊孝忠,宋麗榮.基于特定問題類別的漢語問答系