基于概念的文本分類研究.pdf

1、隨著Internet網(wǎng)絡(luò)信息的激增，使得人們在面對海量的信息時感到束手無策，難以選擇，而傳統(tǒng)通過人工手段對龐大的原始文檔集進(jìn)行組織和整理的方法，不僅費時、費力，效果也不理想。于是為使用戶從繁瑣的文檔處理工作中解放出來，更加便捷地認(rèn)識和區(qū)分不同的文檔內(nèi)容，使大量的繁雜的文檔條例化和系統(tǒng)化，并能極大地提高信息的利用率，自動文本分類作為一項具有較大實用價值的關(guān)鍵技術(shù)被提出，有著廣泛的商業(yè)前景和應(yīng)用價值。 在本文中，我們針對傳統(tǒng)的基于關(guān)

2、鍵字的向量空間模型忽略了文本中語義信息的不足，提出了基于概念的文本表示方法，并用于文本分類，實現(xiàn)了一個基于概念的文本分類系統(tǒng)。 首先，我們說明了本文的研究背景及意義，分析了目前國內(nèi)外自然語言處理語義層的各種方法，以及利用WordNet來研究文本分類的研究現(xiàn)狀和發(fā)展趨勢。 然后，介紹了傳統(tǒng)的基于關(guān)鍵字的向量空間模型的文本分類的幾個重要階段，并著重介紹了其中的文本表示的相關(guān)技術(shù)和兩種經(jīng)典分類算法。 接著，本文利用Wo

3、rdNet進(jìn)行詞義消歧，提出了基于概念的文本表示方法，并將該方法用于支持向量機(SVM)和K-近鄰(KNN)分類器中，實現(xiàn)了基于概念的文本分類系統(tǒng)。 最后，使用路透社RCV1新聞文本集合，分別在SVM和KNN分類器上進(jìn)行基于概念的文本表示方法(CVSM)與基于關(guān)鍵字的向量空間模型(VSM)的2組比較實驗。實驗表明，前者在精確度、召回率和F1測試值上都高于后者，顯示出更好的分類效果。 同時，我們也在相同的數(shù)據(jù)集和文本表示方