基于語義的中文文本自動分類系統(tǒng)的研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展導致了網(wǎng)絡中的文本數(shù)據(jù)也隨之迅速增長，因此如何高效處理這些文本信息成為一個重要的研究課題。而文本自動分類技術作為文本信息處理中的一個重要環(huán)節(jié)引起了人們的廣泛關注。文本分類能夠處理大量的文本，可以在較大程度上解決信息紊亂的現(xiàn)狀，方便用戶準確地定位所需要的信息。文本分類作為信息檢索、信息過濾、搜索引擎、文本數(shù)據(jù)庫、數(shù)字化圖書館等領域的技術基礎，有著廣泛的應用前景。
　　 文本分類的首要問題是文本數(shù)據(jù)的數(shù)學表示模型。目

2、前多數(shù)文本分類方法都是以向量空間模型為基礎的。這種文本表示方法比較簡單，但卻引發(fā)了向量空間的高維性和稀疏性問題，這使得文本分類具有相當高的時間復雜度；同時向量空間模型忽略了特征項之間的語義相關性，這就導致大量語義信息的丟失，使得到的特征向量不能很好地代表文本內容；最后，基于向量空間模型的文本分類方法都沒有很好地解決文本數(shù)據(jù)所特有的兩個自然語言問題：同義詞和相關詞。所有這些問題都極大地干擾了文本分類的效率和準確性，使文本分類的性能下降。<

3、br>　　 為了解決上述問題，本文將語義詞典引入到文本分類領域。使用《哈工大信息檢索研究室同義詞詞林擴展版》(簡稱《同義詞詞林》)將向量空間模型中基于詞的特征項進行語義分析，使用同義詞或相關詞集合概念代替單個詞條，將傳統(tǒng)向量空間模型中的特征項由詞映射為代表深層次語義的概念，從而將原始的基于詞的向量空間模型映射為基于語義概念的向量空間模型。對基于上述語義概念向量空間模型的中文文本分類進行了深入研究，然后運用軟件工程的一般理論，設計并實現(xiàn)