基于支持向量機(jī)的中文網(wǎng)頁自動分類系統(tǒng).pdf

1、本文主要實(shí)現(xiàn)了一個基于支持向量機(jī)的中文網(wǎng)頁內(nèi)容的自動分類系統(tǒng)，介紹并實(shí)現(xiàn)了局域網(wǎng)內(nèi)通過網(wǎng)卡截獲網(wǎng)絡(luò)數(shù)據(jù)報并對數(shù)據(jù)報進(jìn)行重組，生成了HTML頁面，再結(jié)合HTML頁面內(nèi)容提取技術(shù)得到了純文本文件，這些保證了系統(tǒng)的實(shí)時性。 文章對幾種常用的中文自動分詞算法進(jìn)行了說明，并指出了不足之處，在此基礎(chǔ)上提出并實(shí)現(xiàn)了一種新的基于Bigram的無詞典分詞和特征詞抽取算法，這是本文的一個創(chuàng)新之處。此算法不僅能夠提高特征詞抽取的準(zhǔn)確性、很大程度上降低

2、了特征詞的維數(shù)，提高了系統(tǒng)的分類性能，并且可以根據(jù)不同的訓(xùn)練集生成不同的特征詞分詞詞典，具有很好的擴(kuò)展性和靈活性。在介紹和比較了幾種常用的文本自動分類算法的性能和適用環(huán)境的基礎(chǔ)上，采用了支持向量機(jī)算法的序列最小最優(yōu)化訓(xùn)練算法實(shí)現(xiàn)了中文網(wǎng)頁的自動分類，提高了系統(tǒng)的效率和準(zhǔn)確性。系統(tǒng)可以在出現(xiàn)較大的分類誤差時，通過對分類器重新訓(xùn)練進(jìn)行修正，不需要人工添加特征詞等工作，具有很好的自學(xué)習(xí)功能，為更廣泛的應(yīng)用打下了基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明，此系統(tǒng)可滿足