面向在線問答社區(qū)的問題檢索與答案抽取技術研究與實現(xiàn).pdf

1、由于自然語言處理的復雜性，現(xiàn)有的基于關鍵字的搜索引擎無法較好的理解、處理自然語言問題。與搜索引擎相比，社區(qū)型問答系統(tǒng)能夠更好的理解用戶意圖，直接返回自然語言提問的答案。社區(qū)型問答系統(tǒng)已成為網(wǎng)絡上不可或缺的高質量信息來源。
　　然而社區(qū)型問答系統(tǒng)還存在如下挑戰(zhàn)。問答平臺較多，問答資源分散在各個問答社區(qū)；自然語言問句表述多樣性造成相似問句難以匹配；高質量答案淹沒在大量低質量答案之中；相似問題下的最佳答案無法快速獲取。本文在問題檢索、答

2、案抽取方面進行了具體的工作，設計實現(xiàn)了一個面向在線問答社區(qū)的多平臺的問答系統(tǒng)。
　　在問題檢索部分，本文設計了面向多平臺的相似問題查詢排序模型。第一步，識別問題類型并到對應在線問答社區(qū)的分類中檢索相似問題。首先對自然語言形式的提問進行預處理，提取問題特征，考慮不同問題類別與不同在線問答社區(qū)的對應關系，到相應的問答社區(qū)分類中檢索。第二步，將多個來源的相似問題檢索結果按照與提問的相關度進行排序。排序過程綜合考慮問句的語義距離特征，統(tǒng)計

3、模型特征與問題質量特征，通過排序學習算法調(diào)整權重，選擇與用戶意圖最相近的問題。
　　在答案抽取部分，本文設計了面向多平臺的最佳答案查詢排序模型。第一步采用有監(jiān)督機器學習的方法從大量答案中過濾掉無關答案，通過層次化模型來得到高質量候選答案集合。第二步綜合考慮相似問題下的所有答案，得到多平臺的最佳答案。首先通過比較問題與提問的關聯(lián)度、問題和答案的關聯(lián)度，提取答案質量的關鍵特征。然后基于ListNet算法構建答案排序模型，選出與問句最相