基于支持向量機(jī)的中文網(wǎng)頁(yè)分類的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上的信息資源呈爆炸式增長(zhǎng)，萬(wàn)維網(wǎng)己經(jīng)成為擁有幾十億個(gè)web 頁(yè)面的分布式信息空間。在這海量的數(shù)字資源中，信息大都以半結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)形式存在，存儲(chǔ)組織雜亂無(wú)章，從中迅速有效地獲得所需信息非常困難。網(wǎng)頁(yè)分類作為處理和組織大量web數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂問(wèn)題，方便用戶準(zhǔn)確地定位所需的信息和分流信息，具有廣泛的應(yīng)用前景。 本文研究了中文網(wǎng)頁(yè)自動(dòng)分類問(wèn)題，運(yùn)用支持向量機(jī)算法進(jìn)行分類

2、，有效地提高了網(wǎng)頁(yè)分類的準(zhǔn)確性。首先，對(duì)網(wǎng)頁(yè)源代碼進(jìn)行深入研究，建立了一種網(wǎng)頁(yè)噪音自動(dòng)過(guò)濾的方法。根據(jù)web頁(yè)面的特征，提出網(wǎng)頁(yè)去噪的三個(gè)層次：標(biāo)簽過(guò)濾、提取內(nèi)容、再標(biāo)簽過(guò)濾，去除網(wǎng)頁(yè)中的Tag標(biāo)簽、廣告、版權(quán)信息，有效剔除與網(wǎng)頁(yè)主題無(wú)關(guān)的內(nèi)容，保留了網(wǎng)頁(yè)正文及相關(guān)信息。其次，將提取的網(wǎng)頁(yè)信息分為關(guān)鍵信息部分和正文信息部分，并將兩部分分別進(jìn)行處理，生成文本的向量格式。通過(guò)學(xué)習(xí)支持向量機(jī)分類算法，對(duì)向量文本進(jìn)行分類，得到的文本類別信息反映