多級(jí)文本分類(lèi)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)技術(shù)發(fā)展迅速，博客、論壇、電子郵箱等技術(shù)的出現(xiàn)使得占網(wǎng)絡(luò)信息主導(dǎo)地位的文本信息爆炸式增長(zhǎng)，并給人們的學(xué)習(xí)、工作、生活等帶來(lái)越來(lái)越多的便利。但是互聯(lián)網(wǎng)的高速發(fā)展也使得大量不健康的文本信息充斥著網(wǎng)絡(luò)空間，給社會(huì)、家庭尤其是青少年帶來(lái)了諸多負(fù)面的影響。內(nèi)容安全逐漸成為信息安全的一項(xiàng)基本內(nèi)容。文本分類(lèi)是根據(jù)內(nèi)容對(duì)相關(guān)信息進(jìn)行組織、管理、識(shí)別及過(guò)濾的有力手段和核心技術(shù)之一，面向互聯(lián)網(wǎng)內(nèi)容安全的需求對(duì)文本分類(lèi)技術(shù)提出新的挑戰(zhàn)。
　　本文圍

2、繞互聯(lián)網(wǎng)內(nèi)容安全需求背景下的文本分類(lèi)這一主題，首先對(duì)文本分類(lèi)框架進(jìn)行了系統(tǒng)的研究，分析了特征選擇算法和特征加權(quán)算法。其次，對(duì)當(dāng)前比較熱門(mén)的幾種文本分類(lèi)算法進(jìn)行了研究對(duì)比，選擇了性能出色的SVM作為本系統(tǒng)的分類(lèi)算法。然后在對(duì)SVM理論理解的基礎(chǔ)上，對(duì)如何構(gòu)建SVM文本分類(lèi)系統(tǒng)進(jìn)行了深入的研究。
　　本文設(shè)計(jì)了基于SVM的多級(jí)文本分類(lèi)系統(tǒng)。該系統(tǒng)訓(xùn)練模塊采用信息增益算法進(jìn)行特征選擇，使用TFIDF算法進(jìn)行權(quán)重計(jì)算，SVM核函數(shù)則選擇線

3、性核函數(shù)，對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，生成分類(lèi)模型。分類(lèi)模塊則首先通過(guò)關(guān)鍵詞抽取步驟對(duì)文本集進(jìn)行可疑文本的抽取，然后對(duì)可疑文本集進(jìn)行層次化分類(lèi)，層次化分類(lèi)能細(xì)化文本所屬的類(lèi)別，如某文本屬于宗教類(lèi)下的佛教類(lèi)，分類(lèi)后系統(tǒng)自動(dòng)對(duì)文本按照類(lèi)別進(jìn)行歸檔整理。
　　實(shí)驗(yàn)表明，基于SVM的多級(jí)文本分類(lèi)系統(tǒng)具有較高的分類(lèi)準(zhǔn)確性和較快的分類(lèi)速度。在樣本庫(kù)充足的情況下，該系統(tǒng)可以根據(jù)用戶(hù)的需要確定分類(lèi)級(jí)數(shù)，對(duì)研究多級(jí)分類(lèi)有一定的幫助，對(duì)開(kāi)發(fā)智能型上網(wǎng)行為管理設(shè)