基于支持向量機(jī)的中文網(wǎng)頁(yè)自動(dòng)分類系統(tǒng).pdf

1、本文主要實(shí)現(xiàn)了一個(gè)基于支持向量機(jī)的中文網(wǎng)頁(yè)內(nèi)容的自動(dòng)分類系統(tǒng)，介紹并實(shí)現(xiàn)了局域網(wǎng)內(nèi)通過(guò)網(wǎng)卡截獲網(wǎng)絡(luò)數(shù)據(jù)報(bào)并對(duì)數(shù)據(jù)報(bào)進(jìn)行重組，生成了HTML頁(yè)面，再結(jié)合HTML頁(yè)面內(nèi)容提取技術(shù)得到了純文本文件，這些保證了系統(tǒng)的實(shí)時(shí)性。 文章對(duì)幾種常用的中文自動(dòng)分詞算法進(jìn)行了說(shuō)明，并指出了不足之處，在此基礎(chǔ)上提出并實(shí)現(xiàn)了一種新的基于Bigram的無(wú)詞典分詞和特征詞抽取算法，這是本文的一個(gè)創(chuàng)新之處。此算法不僅能夠提高特征詞抽取的準(zhǔn)確性、很大程度上降低

2、了特征詞的維數(shù)，提高了系統(tǒng)的分類性能，并且可以根據(jù)不同的訓(xùn)練集生成不同的特征詞分詞詞典，具有很好的擴(kuò)展性和靈活性。在介紹和比較了幾種常用的文本自動(dòng)分類算法的性能和適用環(huán)境的基礎(chǔ)上，采用了支持向量機(jī)算法的序列最小最優(yōu)化訓(xùn)練算法實(shí)現(xiàn)了中文網(wǎng)頁(yè)的自動(dòng)分類，提高了系統(tǒng)的效率和準(zhǔn)確性。系統(tǒng)可以在出現(xiàn)較大的分類誤差時(shí)，通過(guò)對(duì)分類器重新訓(xùn)練進(jìn)行修正，不需要人工添加特征詞等工作，具有很好的自學(xué)習(xí)功能，為更廣泛的應(yīng)用打下了基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明，此系統(tǒng)可滿足