基于本體的網(wǎng)絡爬蟲設計及應用.pdf

1、過去的幾十年里，我們一起見證了因特網(wǎng)的迅猛發(fā)展和網(wǎng)絡信息的不斷膨脹。但是隨著信息量的逐漸增加，傳統(tǒng)的網(wǎng)絡爬蟲已經(jīng)不能很好地滿足用戶對爬蟲性能的需求。因此基于本體的網(wǎng)絡爬蟲應運而生，它的出現(xiàn)很大程度地提高了爬蟲對某個領域的查準率。而本體在網(wǎng)絡爬蟲中的應用，大大減小了一詞多義給主題爬蟲帶來的不精確性。目前，基于本體的網(wǎng)絡爬蟲技術還不夠成熟，在一些大型的搜索引擎中并未采用此技術。不過隨著搜索引擎技術不斷的發(fā)展和人們對網(wǎng)絡搜索技術要求的提高，基

2、于本體的網(wǎng)絡爬蟲將會為未來的搜索領域開辟一塊新的天地。
　　本文對基于本體的網(wǎng)絡爬蟲進行了深入的研究。在詳細地闡述了網(wǎng)絡爬蟲和本體論的知識之后，全面地介紹了基于本體網(wǎng)絡爬蟲的模型，并且對模型各個模塊進行了詳細的分析。同時結合國內(nèi)外對基于本體網(wǎng)絡爬蟲的研究，提出了構建基于本體網(wǎng)絡爬蟲的基本方法。首先結合本體論的基本知識，選取了計算機教育領域作為本體，對該領域進行了全面的分析并且使用開源軟件 Protégé來構建基于網(wǎng)絡本體語言（OW

3、L）的本體模型。其次，本文詳細地介紹了空間向量模型。該方法將頁面和本體用向量來表示，通過計算向量之間的夾角來衡量鏈接與領域之間的相關度。接著，采用Java語言來實現(xiàn)基于本體的網(wǎng)絡爬蟲系統(tǒng)，并且將本體論的知識，向量模型，與網(wǎng)絡爬蟲的技術相結合，全面地介紹了基于本體網(wǎng)絡爬蟲的每一個模塊的實現(xiàn)細節(jié)。最后，對網(wǎng)絡爬蟲爬取的信息進行了全面的分析，用查準率與查全率作為本體爬蟲性能的衡量指標。綜合地展示了基于本體的網(wǎng)絡爬蟲的性能。通過實驗結果我們可以