博客資源的爬取與檢索.pdf

1、目前，隨著經(jīng)濟文化的發(fā)展，互聯(lián)網(wǎng)信息資源正在急劇增加。信息的表現(xiàn)形式也不斷趨于多樣化，復雜化，諸如論壇、博客、播客、網(wǎng)絡硬盤等各種信息服務競相發(fā)展起來。面對這些浩如煙海的網(wǎng)絡信息，人們迫切需要一種有效的方式以快速提取出所需的，有價值的資源。事實證明，搜索引擎正是這樣一個非常有效的信息檢索工具。Web搜索引擎技術作為計算機與信息產(chǎn)業(yè)界爭相研究開發(fā)的對象，已經(jīng)日益成熟起來。 博客作為一種新興的網(wǎng)絡服務形式，已經(jīng)被越來越多的人所關注和

2、使用。然而由于其正處于發(fā)展階段，搜索引擎技術在博客檢索上的應用明顯有待改進。具體來說，博客(blog)是web網(wǎng)上的一種共享空間，用戶以日記的形式在該空間上發(fā)表文章、圖片、影音文件等個人資源。而傳統(tǒng)搜索引擎在時效性，覆蓋率，頁面分析等方面都無法滿足用戶搜索博客資源時的要求。因此，如何設計研發(fā)一款能夠準確抓取博客頁面，較大程度上覆蓋博客資源，更新及時的博客搜索引擎就成為目前搜索引擎研究領域的熱點和挑戰(zhàn)。 同時，作為校園網(wǎng)搜索系統(tǒng)的

3、一部分，該引擎檢索的博客資源還應盡量貼近校園生活。如何使一個博客搜索引擎按照特定的主題范圍搜索，以及如何對得到的結果自動分類以滿足特定人群的要求已成為目前研究的熱點話題。使該系統(tǒng)在貼近校園生活的范圍內進行搜索正是搜索引擎主題化的一個應用。 現(xiàn)在人們廣泛使用的知名商用搜索引擎在對博客網(wǎng)頁的檢索上都有所欠缺。雖然一些服務商也提供了專門的博客搜索功能，但它們在對特定主題以及分類方面仍有很多不足。本文將在傳統(tǒng)搜索引擎的基礎上設計并實現(xiàn)一

4、個專門用于博客資源檢索的搜索引擎系統(tǒng)，并力求使其具有面向主題與自動分類功能，以更好的應用到校園網(wǎng)搜索這一大型項目當中。 本文詳細說明了該搜索引擎系統(tǒng)的開發(fā)過程和方法，對搜索引擎的內部軟件組織和數(shù)據(jù)結構、數(shù)據(jù)存儲方法等內容都進行研究、分析和設計；并介紹了插件機制和分布式處理模型，將它們作為整個系統(tǒng)最基本的部分來設計和實現(xiàn)。 本文在研究Web搜索引擎的基本原理、核心技術和處理流程的基礎上，結合對博客搜索引擎具體需求的分析，借