基于RSS的搜索引擎框架的研究與應用.pdf

1、隨著計算機與互聯(lián)網(wǎng)的日益普及與應用，在10年左右的時間里互聯(lián)網(wǎng)上至少產(chǎn)生了50億的網(wǎng)頁，浩如煙海的互聯(lián)網(wǎng)信息極大地促進了搜索引擎技術(shù)的蓬勃發(fā)展，誕生了我們所熟知的Google、Yahoo、Baidu等一大批搜索引擎。據(jù)CNNIC統(tǒng)計，搜索引擎已成為繼電子郵件后的第二大應用[1]。目前搜索引擎主要發(fā)展方向有通用搜索引擎以及垂直搜索引擎兩種，兩者的主要區(qū)別是信息覆蓋的領域和范圍，但是兩類搜索引擎反映的信息普遍時效性較差。 網(wǎng)絡爬蟲是

2、一種對遠程信息資源進行抓取的網(wǎng)絡應用程序，它把遠程信息抓取并保存到本地。Lucene是一種開源的通用本地信息檢索框架，相對于傳統(tǒng)的一些信息應用提供了更快的反應速度。RSS(ReallySimpleSyndication)，也稱聚合內(nèi)容，作為一種網(wǎng)絡信息推送技術(shù)在各大門戶站點得到了廣泛應用。RSS訂閱機制使我們可以及時地獲取最新資源信息，摒棄過時信息的干擾。通過對網(wǎng)絡RSS資源的抓取檢索發(fā)現(xiàn)信息能夠充分保證信息的及時性，這也正是本文的研究

3、目標。 本文在閱讀了大量參考文獻的基礎上，對部分開源蜘蛛以及Lucene代碼進行深入分析研究，提出了一種針對網(wǎng)絡RSS信息抓取并檢索的方案：基于RSS爬蟲的搜索引擎框架。本文的主要工作及創(chuàng)新性可體現(xiàn)在以下幾個方面： (1)通過對網(wǎng)絡爬蟲Jobo基本原理以及部分開源代碼進行研究，完成了RSS網(wǎng)絡爬蟲的設計編程工作，針對性地設計并實現(xiàn)了代碼框架： 利用Tidy將Html內(nèi)容轉(zhuǎn)化為DOM樹形式，遍歷DOM樹提取網(wǎng)頁內(nèi)部

4、包含的文本鏈接地址以及圖片鏈接地址； 利用MD5算法計算網(wǎng)頁地址的32位hash值表示已抓取網(wǎng)頁并存儲為文件列表形式，新的待抓取網(wǎng)頁地址也利用相同算法計算后與文件列表中的值對比，有相同值就表示已抓取過，以此來屏蔽已抓取網(wǎng)頁連接； 網(wǎng)頁地址32位hash值存儲過程中實現(xiàn)了緩存機制，提高了磁盤讀寫效率。 (2)探討了Lucene提供的分詞，過濾，轉(zhuǎn)換等過程，實現(xiàn)了以ICTCLAS中文分詞系統(tǒng)為基礎的自定義分析器；