問答系統(tǒng)中問句分析技術(shù)的研究與應用.pdf

1、當前的信息檢索系統(tǒng)基于關(guān)鍵詞進行查詢，忽略了語義的多樣性和語言結(jié)構(gòu)分析。問答系統(tǒng)允許用戶使用自然語言問句進行信息查詢，不僅符合人們的習慣，而且能夠更加精確地描述用戶的信息需求；系統(tǒng)直接返回確切答案或者蘊含答案的文本片段，提高了用戶信息查詢的效率。因此，問答系統(tǒng)是信息檢索技術(shù)向人性化、智能化方向發(fā)展的必然趨勢。問句分析就是對問句的理解，是問答系統(tǒng)的核心技術(shù)。正確地理解問句是問題求解的前提條件，只有正確理解問句才能找到正確的答案。以往的問答

2、系統(tǒng)的主要研究對象是事實類問句，針對這類問句的分析技術(shù)已經(jīng)比較完善。但面向非事實類復雜問句的分析研究才剛剛開始?；ヂ?lián)網(wǎng)上存在大量的非事實類問答資源，這些問答資源廣泛存在于各大基于網(wǎng)絡社區(qū)的問答系統(tǒng)（Community Question Answering system, CQA）中。在CQA中，用戶通過“人問人答”的方式進行信息交流和知識積累。CQA能夠解決一些需要專業(yè)知識甚至復雜推理的問題，在一定程度上彌補了自動問答系統(tǒng)和搜索引擎的不

3、足。這類系統(tǒng)發(fā)展非常迅速，已經(jīng)在互聯(lián)網(wǎng)上形成了海量的問答資源。這些資源多數(shù)屬于非常復雜的非事實類問句。對這些問答資源進行分析和重復利用也需要新的問句分析技術(shù)和手段。本文重點研究了問句尤其是非事實類問句的分析技術(shù)，旨在解決非事實類復雜問句的分析及求解。研究內(nèi)容主要包括以下幾個部分：
　　第一，對問句預處理問題展開研究，提出了一種粗糙集與最大熵相結(jié)合的模型，用于解決問句中并列結(jié)構(gòu)的識別問題。該模型使用粗糙集對特征屬性進行約減，然后將約

4、減后生成的決策規(guī)則轉(zhuǎn)化為組合特征與原有特征一起作為輸入提供給最大熵模型。實驗表明，使用組合特征后，并列結(jié)構(gòu)的識別準確率和召回率都有提高。另外，還研究了問句的句法分析，提出了一種基于詞知識的依存句法分析方法（Knowledge based Probabilistic Dependency Parsing, KPDP）。該算法的有效性在中文和英文兩個語料庫上得到了驗證，在此基礎(chǔ)上將該方法應用于問句句法分析，取得了較好的效果。
　　(Q

5、uestion Information Chunk Annotation,QICA）分析方法。該方法依據(jù)語義將問句中的信息分為五類，從而將問句從字符空間影射到一個結(jié)構(gòu)化的語義空間，更易于問句的理解和表示。將QICA轉(zhuǎn)化為一個序列化標注問題，并同時使用最大熵模型、最大熵馬爾可夫模型、條件隨機場模型以及大間隔馬爾可夫模型進行了標注實驗，其中大間隔馬爾可夫模型取得了最好的標注效果。第三，對問句分類問題展開研究，針對非事實類問句無法按照答案類型

6、設(shè)計問句分類體系的問題，設(shè)計了一個粗粒度的問句分類體系。應用多分類的思想實現(xiàn)了相應的復雜問句多分類，即一個問句可以同時屬于多個分類，問句的分類結(jié)果是一個問句類別集合。最后提出了兩步解決方法：第一步，判斷一個問句是否屬于某一個問句分類，第二步，合并這些分類的結(jié)果，最終給出問句的分類集合。第四，對海量問句的檢索問題展開研究，使用搜索引擎的倒排索引技術(shù)并擴展了傳統(tǒng)的VSM（Vector Space Model）模型，設(shè)計了一個基于語義的S-V

7、SM (Semantic Vector Space Model)模型。利用QICA分析結(jié)果和問句分類結(jié)果，S-VSM實現(xiàn)了在檢索過程中問句間語義相似度的計算。實驗表明S-VSM較VSM具有明顯的優(yōu)勢。最后，將本文研究的問句分析技術(shù)應用到實踐，實現(xiàn)了一個面向金融領(lǐng)域的問答系統(tǒng)。該系統(tǒng)包含三個子系統(tǒng)：（1）數(shù)據(jù)采集子系統(tǒng)，完成問答語料庫的構(gòu)建；（2）在線問答子系統(tǒng)，為互聯(lián)網(wǎng)上的用戶提供知識交流平臺；（3）問句檢索子系統(tǒng)，通過檢索問答數(shù)據(jù)庫完