基于語義的中文文本自動分類系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、互聯(lián)網(wǎng)的飛速發(fā)展導(dǎo)致了網(wǎng)絡(luò)中的文本數(shù)據(jù)也隨之迅速增長，因此如何高效處理這些文本信息成為一個重要的研究課題。而文本自動分類技術(shù)作為文本信息處理中的一個重要環(huán)節(jié)引起了人們的廣泛關(guān)注。文本分類能夠處理大量的文本，可以在較大程度上解決信息紊亂的現(xiàn)狀，方便用戶準(zhǔn)確地定位所需要的信息。文本分類作為信息檢索、信息過濾、搜索引擎、文本數(shù)據(jù)庫、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ)，有著廣泛的應(yīng)用前景。
　　 文本分類的首要問題是文本數(shù)據(jù)的數(shù)學(xué)表示模型。目

2、前多數(shù)文本分類方法都是以向量空間模型為基礎(chǔ)的。這種文本表示方法比較簡單，但卻引發(fā)了向量空間的高維性和稀疏性問題，這使得文本分類具有相當(dāng)高的時間復(fù)雜度；同時向量空間模型忽略了特征項(xiàng)之間的語義相關(guān)性，這就導(dǎo)致大量語義信息的丟失，使得到的特征向量不能很好地代表文本內(nèi)容；最后，基于向量空間模型的文本分類方法都沒有很好地解決文本數(shù)據(jù)所特有的兩個自然語言問題：同義詞和相關(guān)詞。所有這些問題都極大地干擾了文本分類的效率和準(zhǔn)確性，使文本分類的性能下降。<

3、br>　　 為了解決上述問題，本文將語義詞典引入到文本分類領(lǐng)域。使用《哈工大信息檢索研究室同義詞詞林?jǐn)U展版》(簡稱《同義詞詞林》)將向量空間模型中基于詞的特征項(xiàng)進(jìn)行語義分析，使用同義詞或相關(guān)詞集合概念代替單個詞條，將傳統(tǒng)向量空間模型中的特征項(xiàng)由詞映射為代表深層次語義的概念，從而將原始的基于詞的向量空間模型映射為基于語義概念的向量空間模型。對基于上述語義概念向量空間模型的中文文本分類進(jìn)行了深入研究，然后運(yùn)用軟件工程的一般理論，設(shè)計(jì)并實(shí)現(xiàn)