基于HTML標(biāo)記的主題爬行器的設(shè)計與實現(xiàn).pdf

1、爬行器是搜索引擎中重要的組成部分，也是搜索引擎中最為重要的技術(shù)之一。爬行器是一個可以從因特網(wǎng)上自動提取網(wǎng)頁的系統(tǒng)，它為搜索引擎從互聯(lián)網(wǎng)上下載網(wǎng)頁。通用搜索引擎的爬行器一般是從幾個種子URL鏈接開始進行全盤爬行，而主題搜索引擎的爬行器除了通用爬行器的基本功能外，還能夠?qū)︽溄右约绊撁鎯?nèi)容進行識別，主題爬行器并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁，過濾與主題無關(guān)的網(wǎng)頁，并將獲取的網(wǎng)頁存入數(shù)據(jù)庫，提供給用戶查詢。主題爬行

2、器已經(jīng)成為搜索引擎技術(shù)領(lǐng)域的一個研究熱點，對于專業(yè)領(lǐng)域的搜索產(chǎn)生重要的作用。
　　本文首先介紹了主題爬行器的相關(guān)技術(shù)，接著介紹了通用爬行器和主題爬行器基本原理和工作流程，并分析了通用爬行器與主題爬行器之間的區(qū)別，然后介紹爬行器的頁面搜索策略和頁面分析算法。對于頁面主題相關(guān)性的判定，首先介紹了傳統(tǒng)的基于文本的判定的相關(guān)算法，并說明了傳統(tǒng)的基于文本算法的不足，并提出了一種“基于HTML標(biāo)記”的主題相關(guān)性判定的方法，根據(jù)HTML的標(biāo)記結(jié)

3、構(gòu)的不同，分別賦予出現(xiàn)在不同類型標(biāo)記的文本以不同的權(quán)重，這樣可以確保主題分類的準(zhǔn)確性。在實際應(yīng)用中可以根據(jù)不同的情況具體改變HTML標(biāo)記權(quán)重，使之能夠達(dá)到更好的效果。
　　對于主題爬行器的設(shè)計，本文先分析了系統(tǒng)總體設(shè)計，然后具體介紹了主題爬行器的系統(tǒng)設(shè)計及其實現(xiàn)，首先分析了系統(tǒng)的總體工作流程和各個子模塊的劃分，然后分別介紹了各個子模塊的具體的設(shè)計和實現(xiàn)，并分析了在設(shè)計各個模塊時所存在相對重要的技術(shù)問題。在實現(xiàn)的過程中力求模塊之間的