問答系統(tǒng)中問句分析技術的研究與應用.pdf

1、當前的信息檢索系統(tǒng)基于關鍵詞進行查詢，忽略了語義的多樣性和語言結構分析。問答系統(tǒng)允許用戶使用自然語言問句進行信息查詢，不僅符合人們的習慣，而且能夠更加精確地描述用戶的信息需求；系統(tǒng)直接返回確切答案或者蘊含答案的文本片段，提高了用戶信息查詢的效率。因此，問答系統(tǒng)是信息檢索技術向人性化、智能化方向發(fā)展的必然趨勢。問句分析就是對問句的理解，是問答系統(tǒng)的核心技術。正確地理解問句是問題求解的前提條件，只有正確理解問句才能找到正確的答案。以往的問答

2、系統(tǒng)的主要研究對象是事實類問句，針對這類問句的分析技術已經比較完善。但面向非事實類復雜問句的分析研究才剛剛開始?；ヂ?lián)網上存在大量的非事實類問答資源，這些問答資源廣泛存在于各大基于網絡社區(qū)的問答系統(tǒng)（Community Question Answering system, CQA）中。在CQA中，用戶通過“人問人答”的方式進行信息交流和知識積累。CQA能夠解決一些需要專業(yè)知識甚至復雜推理的問題，在一定程度上彌補了自動問答系統(tǒng)和搜索引擎的不

3、足。這類系統(tǒng)發(fā)展非常迅速，已經在互聯(lián)網上形成了海量的問答資源。這些資源多數屬于非常復雜的非事實類問句。對這些問答資源進行分析和重復利用也需要新的問句分析技術和手段。本文重點研究了問句尤其是非事實類問句的分析技術，旨在解決非事實類復雜問句的分析及求解。研究內容主要包括以下幾個部分：
　　第一，對問句預處理問題展開研究，提出了一種粗糙集與最大熵相結合的模型，用于解決問句中并列結構的識別問題。該模型使用粗糙集對特征屬性進行約減，然后將約

4、減后生成的決策規(guī)則轉化為組合特征與原有特征一起作為輸入提供給最大熵模型。實驗表明，使用組合特征后，并列結構的識別準確率和召回率都有提高。另外，還研究了問句的句法分析，提出了一種基于詞知識的依存句法分析方法（Knowledge based Probabilistic Dependency Parsing, KPDP）。該算法的有效性在中文和英文兩個語料庫上得到了驗證，在此基礎上將該方法應用于問句句法分析，取得了較好的效果。
　　(Q

5、uestion Information Chunk Annotation,QICA）分析方法。該方法依據語義將問句中的信息分為五類，從而將問句從字符空間影射到一個結構化的語義空間，更易于問句的理解和表示。將QICA轉化為一個序列化標注問題，并同時使用最大熵模型、最大熵馬爾可夫模型、條件隨機場模型以及大間隔馬爾可夫模型進行了標注實驗，其中大間隔馬爾可夫模型取得了最好的標注效果。第三，對問句分類問題展開研究，針對非事實類問句無法按照答案類型

6、設計問句分類體系的問題，設計了一個粗粒度的問句分類體系。應用多分類的思想實現(xiàn)了相應的復雜問句多分類，即一個問句可以同時屬于多個分類，問句的分類結果是一個問句類別集合。最后提出了兩步解決方法：第一步，判斷一個問句是否屬于某一個問句分類，第二步，合并這些分類的結果，最終給出問句的分類集合。第四，對海量問句的檢索問題展開研究，使用搜索引擎的倒排索引技術并擴展了傳統(tǒng)的VSM（Vector Space Model）模型，設計了一個基于語義的S-V

7、SM (Semantic Vector Space Model)模型。利用QICA分析結果和問句分類結果，S-VSM實現(xiàn)了在檢索過程中問句間語義相似度的計算。實驗表明S-VSM較VSM具有明顯的優(yōu)勢。最后，將本文研究的問句分析技術應用到實踐，實現(xiàn)了一個面向金融領域的問答系統(tǒng)。該系統(tǒng)包含三個子系統(tǒng)：（1）數據采集子系統(tǒng)，完成問答語料庫的構建；（2）在線問答子系統(tǒng)，為互聯(lián)網上的用戶提供知識交流平臺；（3）問句檢索子系統(tǒng)，通過檢索問答數據庫完