基于SVM算法的web分類研究與實(shí)現(xiàn).pdf

1、隨著全球互聯(lián)網(wǎng)的普及，世界已經(jīng)進(jìn)入到一個(gè)高速信息化時(shí)代。在互聯(lián)網(wǎng)上，web信息每天以幾何級(jí)數(shù)增長，通過網(wǎng)絡(luò)，人們可以很方便地瀏覽和共享巨大網(wǎng)絡(luò)資源，然而與此同時(shí)網(wǎng)絡(luò)上消極、不健康內(nèi)容迅猛增長，影響國家安定團(tuán)結(jié)，人們希望通過對(duì)網(wǎng)頁進(jìn)行內(nèi)容識(shí)別和分類過濾，實(shí)現(xiàn)用戶上網(wǎng)行為控制，營造和諧潔凈的網(wǎng)絡(luò)環(huán)境。隨著文本分類研究及應(yīng)用的逐步深入，Web分類成為數(shù)據(jù)挖掘一個(gè)重要的研究方向。本文主要研究Web分類算法，并對(duì)SVM算法進(jìn)行了改進(jìn)，應(yīng)用在基于安

2、全網(wǎng)絡(luò)網(wǎng)關(guān)（SIG）和統(tǒng)一威脅管理（UTM）的電信項(xiàng)目中的URL過濾，具體內(nèi)容有以下幾個(gè)方面：
　　 （1）對(duì)Web分類模型的研究。本文研究的Web分類是對(duì)HTML頁面的數(shù)據(jù)挖掘，通過研究分析web數(shù)據(jù)挖掘的來源、頁面預(yù)處理、常用分詞算法、文本特征詞的提取與訓(xùn)練以及分類器的訓(xùn)練，來從整體流程上把握Web分類的模型。
　　 （2）研究包括決策樹、K—最近鄰、樸素貝葉斯的Web分類算法。介紹了決策樹算法中較為典型的二叉樹分類

3、器的生成和修剪，同時(shí)研究基于概率論模型的樸實(shí)貝葉斯分類算法和數(shù)據(jù)挖掘領(lǐng)域中小樣本分類應(yīng)用較多的K—最近鄰分類算法。
　　 （3）重點(diǎn)研究基于統(tǒng)計(jì)學(xué)理論，適用于空間維度較高的支持向量機(jī)分類算法?？紤]到Web分類涉及種類繁多，并且近些年SVM多分類算法已得到廣泛驗(yàn)證，本文對(duì)SVM多分類算法進(jìn)行了比較，對(duì)其增量學(xué)習(xí)算法進(jìn)行了初步探討。
　　 （4）對(duì)于分類器的訓(xùn)練本文在強(qiáng)大統(tǒng)計(jì)理論支撐的SVM多分類器基礎(chǔ)上不斷修改核函數(shù)，得到