問答系統(tǒng)中的文本信息抽取研究與應(yīng)用.pdf

1、近年來，互聯(lián)網(wǎng)的迅速發(fā)展，使得人們能夠在這個(gè)平臺上方便地保存數(shù)據(jù)、交流信息以及共享知識。但是，互聯(lián)網(wǎng)中海量的數(shù)據(jù)給用戶快速準(zhǔn)確地獲得這些所需的知識帶來了困難。針對這樣的需求，基于Web的信息檢索和信息抽取逐漸成為了重要的研究課題。當(dāng)搜索引擎的不足開始凸現(xiàn)，如何將豐富的資源合理地利用，使機(jī)器理解其中信息，成為網(wǎng)絡(luò)時(shí)代機(jī)器智能的一大熱門研究課題。在這樣的背景下，建立在信息檢索與信息抽取技術(shù)之上的問答技術(shù)領(lǐng)域蓬勃發(fā)展起來。問答系統(tǒng)以自然語言的

2、問題取 代關(guān)鍵詞作為輸入，允許用戶準(zhǔn)確表達(dá)自己的需求；將準(zhǔn)確的答案短句返回給用戶，節(jié)約了用戶搜索、定位答案的時(shí)間。 問答系統(tǒng)按照獲取答案的方式可以分為自動問答系統(tǒng)和交互式問答系統(tǒng)兩種；根據(jù)系統(tǒng)所處理的問題的范圍可以分為開放領(lǐng)域問答系統(tǒng)和特定領(lǐng)域問答系統(tǒng)兩種。前者不限輸入的問題范圍，試圖為任意主題內(nèi)的任意問題尋找答案。后者只接受針對某一個(gè)特定領(lǐng)域的問題，往往有此領(lǐng)域內(nèi)的領(lǐng)域知識作為指導(dǎo)。本文針對信息抽取在問答系統(tǒng)中的應(yīng)用，

3、圍繞這兩種不同的問答系統(tǒng)展開了研究。對開放領(lǐng)域內(nèi)的問答，研究了如何加強(qiáng)對問題的語義分析能力、如何更有效地利用歷史數(shù)據(jù)庫以提高機(jī)器智能；對特定領(lǐng)域內(nèi)的問答，研究了如何更好利用經(jīng)驗(yàn)解決新的問題等，以提高問答系統(tǒng)的答案正確率。本文的主要研究內(nèi)容和創(chuàng)新之處如下： 第一，對問題語義的準(zhǔn)確分析是把握用戶需求的關(guān)鍵。本文對文本中語義約束信息的識別展開了研究，期望對有信號詞指示的語義約束部分，給出正確的檢測，并對由同一信號詞指示的多種語義約束，

4、給出正確的區(qū)分。為此提出了一種運(yùn)用依存關(guān)系樹比對來檢測文本中多語義約束的方法。對每一類語義約束，搜集信號詞以及相應(yīng)的例句組成案例庫，并定義部分依存關(guān)系樹(PDT)核函數(shù)來計(jì)算兩個(gè)對象之間的相似度。在實(shí)際計(jì)算過程中，運(yùn)用Apriori算法，來降低計(jì)算該核函數(shù)的復(fù)雜度。 第二，不管是自動問答系統(tǒng)還是交互式問答系統(tǒng)，都在日積月累的用戶使用中積累了大量的問答數(shù)據(jù)。為了有效地重用這些歷史數(shù)據(jù)，本文開展了從歷史問答對中抽取知識的研究，期望將

5、短文本答案的問答對蘊(yùn)含的知識自動轉(zhuǎn)化為結(jié)構(gòu)化的知識表達(dá)，不斷積累；并使得系統(tǒng)可以憑借積累的知識庫進(jìn)行查詢檢索，并返回結(jié)果。這樣一是可以節(jié)約建造知識庫的人力，二是可以對新問題給出一個(gè)參考答案，節(jié)約交互式系統(tǒng)中用戶得到答案的時(shí)間。為此本文描述了從問答對到知識庫轉(zhuǎn)化的工作流程，將語義模板匹配和上述語義約束的識別的工作相結(jié)合，來獲取對問題句中知識的提取，并運(yùn)用以語義網(wǎng)絡(luò)為基礎(chǔ)的結(jié)構(gòu)來表達(dá)互相聯(lián)系互相約束的知識簇。實(shí)現(xiàn)了一個(gè)用戶交互式的原型系統(tǒng)，

6、演示了上述知識庫積累和使用的過程。 第三，在特定領(lǐng)域內(nèi)的自動問答中，領(lǐng)域知識起到非常關(guān)鍵的作用。在一些領(lǐng)域中，經(jīng)驗(yàn)是解答新問題的最好的依據(jù)。因此，本文以植物生長環(huán)境的推薦任務(wù)為應(yīng)用場景，對用基于案例推理的方法來重用該領(lǐng)域內(nèi)的經(jīng)驗(yàn)進(jìn)行了研究。提出了一種學(xué)習(xí)獲取修正規(guī)則的方法。運(yùn)用資源空間模型(RSM)和語義鏈接網(wǎng)絡(luò)(SLN)來表達(dá)和構(gòu)建案例庫，將案例之間相互聯(lián)系起來。以案例比對的方法分析案例庫，以得到修正規(guī)則；案例之間的聯(lián)系和基本