基于支持向量機(jī)分類(lèi)算法的主題爬蟲(chóng)的研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)爬蟲(chóng)為搜索引擎從互聯(lián)網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎不可或缺的組成部分。通用網(wǎng)絡(luò)爬蟲(chóng)會(huì)從一個(gè)或者多個(gè)種子URL鏈接開(kāi)始，爬行整個(gè)網(wǎng)絡(luò)上的網(wǎng)頁(yè)。而主題網(wǎng)絡(luò)爬蟲(chóng)除了具有能夠爬行下載網(wǎng)頁(yè)的基本功能外，還能夠分析鏈接以及頁(yè)面內(nèi)容。主題網(wǎng)絡(luò)爬蟲(chóng)提供數(shù)據(jù)資源給面向主題的用戶查詢(xún)，它的目標(biāo)是抓取與特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，并不追求覆蓋整個(gè)網(wǎng)絡(luò)上的網(wǎng)頁(yè)。主題網(wǎng)絡(luò)爬蟲(chóng)已經(jīng)成為網(wǎng)絡(luò)信息挖掘和獲取領(lǐng)域的研究熱點(diǎn)，對(duì)搜索專(zhuān)業(yè)領(lǐng)域的信息資源有著相當(dāng)重要的意義。本文著重

2、研究了支持向量機(jī)算法在主題爬蟲(chóng)中的應(yīng)用，研究工作有以下幾個(gè)方面： （1）研究了支持向量機(jī)分類(lèi)算法原理，并對(duì)網(wǎng)頁(yè)的數(shù)學(xué)表示方法進(jìn)行了具體的描述，提出了一種基于支持向量機(jī)的網(wǎng)頁(yè)分類(lèi)算法，利用支持向量機(jī)對(duì)網(wǎng)頁(yè)進(jìn)行二類(lèi)分類(lèi)，找出所需的網(wǎng)頁(yè)；再利用向量空間模型，對(duì)分類(lèi)好的主題網(wǎng)頁(yè)進(jìn)行多類(lèi)分類(lèi)。 （2）在構(gòu)造支持向量機(jī)的過(guò)程中，為了有效提高分類(lèi)的召回率，引入了一種偏移因子，該算法對(duì)分類(lèi)函數(shù)進(jìn)行了修正，只需要計(jì)算二類(lèi)分類(lèi)器，減少了誤分