基于SVM的中文網(wǎng)頁分類方法的研究.pdf

1、隨著互聯(lián)網(wǎng)上信息的海量增長,尤其是萬維網(wǎng)的普及,網(wǎng)絡信息資源己經(jīng)涵蓋了社會生活的各個方面。通過什么樣的方法和途徑使網(wǎng)站的網(wǎng)頁信息資源得到合理有效地組織,提高信息檢索速度和準確度,是個讓人們感興趣的問題,也是國內(nèi)外研究的熱點。網(wǎng)頁分類提供了處理和組織大規(guī)模文本信息的關鍵技術,使得網(wǎng)絡信息資源得以合理有效地組織。
　　九十年代中后期,互聯(lián)網(wǎng)才開始在中國起步并發(fā)展,因此中文網(wǎng)頁分類技術相對落后,國內(nèi)很多機構比如中科院軟件研究所等近年來都

2、致力于研究中文文本和中文網(wǎng)頁的分類技術的研究,并取得一定的成果。目前網(wǎng)頁分類算法中,支持向量機(SVM)是研究的熱點。
　　在中文網(wǎng)頁分類中,網(wǎng)頁數(shù)量多,從網(wǎng)頁中提取的特征詞屬性數(shù)量大,這樣的大數(shù)據(jù)集必然會加長分類時間。實質(zhì)上,在樣本數(shù)量一定的條件下,只有部分特征屬性對分類起作用,因此人們采取對特征空間降維的方法,減少數(shù)據(jù)量。傳統(tǒng)上,主要采用主成分分析或者奇異值分解進行降維處理,這兩種方法把線性相關的屬性組合起來產(chǎn)生新特征,并按信

3、息比例選取若干項作為新的屬性集,雖然會失去一定的信息量,但是實現(xiàn)起來很容易,應用廣泛。
　　支持向量機處理小樣本分類時,能得到較好的效果,但應用于中文網(wǎng)頁分類時,由于數(shù)據(jù)量大,其魯棒性特點得不到發(fā)揮。PCA約簡能降低原屬性空間的維數(shù),從而減少了用于支持向量機分類學習的數(shù)據(jù)量,可以提高支持向量機的訓練速度和測試速度。此外,支持向量機主要用來處理線性數(shù)據(jù),而實際上的樣本數(shù)據(jù)往往都是非線性的,通過引入核函數(shù),可以很方便地對樣本進行映射,