基于文本分類的問答系統(tǒng)的研究與實現(xiàn).pdf

1、自動文本分類技術是自然語言處理關鍵技術之一，簡單的說文本分類技術是根據(jù)文本的不同特征，將具有相同特征的文本劃分到同一個類別當中。自動文本分類是在人工基礎上演變過來的，傳統(tǒng)的人工分類的技術遠遠不能滿足海量的文本數(shù)據(jù)的處理工作。自動文本分類的技術由于其精準和高效性，又節(jié)約大量的人力和物力，已經(jīng)被廣泛的運用到垃圾短信過濾，新聞分類，數(shù)字圖書館分類，對話問答系統(tǒng)等等領域。
　　自動問答系統(tǒng)是一種新的搜索引擎，它融合了文本分類和信息檢索等相

2、關技術。自動問答系統(tǒng)允許用戶以自然語言的方式輸入問題，然后經(jīng)過系統(tǒng)對問題的理解，回答給用戶準確而又簡練的答案。問答系統(tǒng)主要由三個部分組成，問題理解、信息檢索、答案獲取等。而其中問題理解是最核心的部分，問題理解包括文本分類、信息抽取等關鍵技術。圍繞上述內(nèi)容，本文主要完成了以下兩個方面的工作。
　　第一，針對最近鄰（KNN）文本分類時間效率低的缺點，提出了一種結合文本信息量和kmeans的KNN文本裁剪算法?？紤]到訓練文本中存在類別相

3、關性弱的文本，先計算各類別每條文本包含的信息量并排序；對向量空間模型利用kmeans聚類刪除噪聲文本；再結合文本的重要性在各類別中篩選出等量的代表文本構建新的訓練樣本空間；最后在新的樣本空間上利用KNN算法進行分類。實驗證明該算法在分類效率上得到了明顯的提高。
　　第二，結合文本分類的相關技術構建了一個問答系統(tǒng)，其中分類算法使用到最近鄰分類、卷積神經(jīng)網(wǎng)絡分類、循環(huán)神經(jīng)網(wǎng)絡分類。系統(tǒng)的核心模塊有文本過濾模塊、領域分類模塊、信息抽取模