基于概念的文本分類(lèi)研究.pdf

1、隨著Internet網(wǎng)絡(luò)信息的激增，使得人們?cè)诿鎸?duì)海量的信息時(shí)感到束手無(wú)策，難以選擇，而傳統(tǒng)通過(guò)人工手段對(duì)龐大的原始文檔集進(jìn)行組織和整理的方法，不僅費(fèi)時(shí)、費(fèi)力，效果也不理想。于是為使用戶從繁瑣的文檔處理工作中解放出來(lái)，更加便捷地認(rèn)識(shí)和區(qū)分不同的文檔內(nèi)容，使大量的繁雜的文檔條例化和系統(tǒng)化，并能極大地提高信息的利用率，自動(dòng)文本分類(lèi)作為一項(xiàng)具有較大實(shí)用價(jià)值的關(guān)鍵技術(shù)被提出，有著廣泛的商業(yè)前景和應(yīng)用價(jià)值。 在本文中，我們針對(duì)傳統(tǒng)的基于關(guān)

2、鍵字的向量空間模型忽略了文本中語(yǔ)義信息的不足，提出了基于概念的文本表示方法，并用于文本分類(lèi)，實(shí)現(xiàn)了一個(gè)基于概念的文本分類(lèi)系統(tǒng)。 首先，我們說(shuō)明了本文的研究背景及意義，分析了目前國(guó)內(nèi)外自然語(yǔ)言處理語(yǔ)義層的各種方法，以及利用WordNet來(lái)研究文本分類(lèi)的研究現(xiàn)狀和發(fā)展趨勢(shì)。 然后，介紹了傳統(tǒng)的基于關(guān)鍵字的向量空間模型的文本分類(lèi)的幾個(gè)重要階段，并著重介紹了其中的文本表示的相關(guān)技術(shù)和兩種經(jīng)典分類(lèi)算法。 接著，本文利用Wo

3、rdNet進(jìn)行詞義消歧，提出了基于概念的文本表示方法，并將該方法用于支持向量機(jī)(SVM)和K-近鄰(KNN)分類(lèi)器中，實(shí)現(xiàn)了基于概念的文本分類(lèi)系統(tǒng)。 最后，使用路透社RCV1新聞文本集合，分別在SVM和KNN分類(lèi)器上進(jìn)行基于概念的文本表示方法(CVSM)與基于關(guān)鍵字的向量空間模型(VSM)的2組比較實(shí)驗(yàn)。實(shí)驗(yàn)表明，前者在精確度、召回率和F1測(cè)試值上都高于后者，顯示出更好的分類(lèi)效果。 同時(shí)，我們也在相同的數(shù)據(jù)集和文本表示方