基于支持向量機(jī)技術(shù)的主題爬行策略研究.pdf

1、如今搜索引擎是一個(gè)十分活躍的話題和領(lǐng)域，在世界各地都能看到搜索引擎的身影。
　　 搜索引擎已經(jīng)成為信息產(chǎn)業(yè)一個(gè)重要的支撐，作為搜索引擎重要組成部分的網(wǎng)絡(luò)爬蟲也日漸受人重視。為了滿足不同背景、不同層次的人群的需求，針對(duì)某一領(lǐng)域的垂直搜索引擎產(chǎn)生了，同時(shí)主題爬蟲也開始嶄露頭角，針對(duì)主題爬蟲爬行策略的研究也逐漸升溫。本文通過在主題爬行中應(yīng)用支持向量機(jī)技術(shù)，從而提出了一種更加人性化、更加智能的主題爬行策略，針對(duì)這個(gè)問題，重點(diǎn)研究了以下內(nèi)

2、容。
　　 1)對(duì)主題爬蟲系統(tǒng)進(jìn)行了總體分析，使用了支持向量機(jī)技術(shù)，實(shí)現(xiàn)了一個(gè)針對(duì)國(guó)慶主題的主題爬蟲；通過多線程技術(shù)增加爬蟲的爬行效率，通過相關(guān)度分析預(yù)防并阻止“主題漂移”的發(fā)生；通過給予主題無關(guān)網(wǎng)頁一定的“預(yù)期價(jià)值”來挖掘其“潛在價(jià)值”的方式防止爬蟲陷入“局部最優(yōu)解”的困境。
　　 2)提出了一種基于支持向量機(jī)技術(shù)的主題爬行策略。首先將網(wǎng)頁下載到本地，并采用基于視覺效果的頁面分塊算法對(duì)下載到本地的網(wǎng)頁進(jìn)行預(yù)處理，去除其