基于支持向量機的中文網(wǎng)頁自動分類技術研究.pdf

1、隨著WWW的迅速發(fā)展和普及，在線電子信息日益增多，人們已經(jīng)從信息資源匱乏的時代迅速過渡到信息極為豐富的數(shù)字化時代。面對網(wǎng)上海量的信息資源，人們很難迅速有效的找到真正所需的信息。因此，如何合理和有效地組織和管理網(wǎng)上信息，已經(jīng)日益成為信息處理領域里一個十分重要的研究課題。傳統(tǒng)上是依靠人工的方法對網(wǎng)頁進行分類，即專業(yè)人員在分析網(wǎng)頁的內(nèi)容后，將它分到一個或若干個比較合適的類別中。很明顯，隨著網(wǎng)頁信息容量的快速增長，仍然依靠人工的方式來進行大量的

2、網(wǎng)頁分類，將是不合適和不現(xiàn)實的。文本分類是組織和管理信息的有力手段，它可以在較大程度上解決目前網(wǎng)上信息雜亂無章的現(xiàn)象，使用戶更容易更準確地定位所需的信息，因此，對網(wǎng)頁的分類是必要的，也是必需的。這就使得對網(wǎng)頁自動分類的研究成為了一個日益重要的研究領域，并且，它還逐步與IR技術、搜索引擎、信息過濾等技術相結(jié)合，成為解決人們網(wǎng)上信息獲取的重要手段。 本文首先講述了現(xiàn)有的中文分詞技術，然后分析了網(wǎng)頁中對分類過程有貢獻的結(jié)構(gòu)成分，并針對

3、網(wǎng)頁的特點和網(wǎng)頁標記作用的不同對權值進行調(diào)整，充分利用了網(wǎng)頁中鏈接信息的作用，使其更加適用于自動分類過程。重點討論了支持向量機的相關問題。概述了統(tǒng)計學習理論的主要內(nèi)容，推導了支持向量機方法在文本線性可分和線性不可分情況下實現(xiàn)分類的數(shù)學公式，在此基礎上對支特向量機進行了擴展。采用了基于二叉樹、預抽取支持向量機及循環(huán)迭代算法的支持向量機對多類文本進行分類。同時提出了一種容噪的支持向量機方法KNN-SVM算法，并用于中文網(wǎng)頁的分類實驗，取得了