搜索引擎中Crawler的設(shè)計、實現(xiàn)與擴(kuò)展優(yōu)化.pdf

1、搜索引擎，是指一種在Web上應(yīng)用的軟件系統(tǒng)，它以一定的策略在Web上搜集和發(fā)現(xiàn)信息，在對信息進(jìn)行處理和組織后，為用戶提供Web信息查詢服務(wù)。 本文首先對搜索引擎的關(guān)鍵技術(shù)進(jìn)行了全面分析，包括：索引器原理、搜索器原理、爬取器原理、網(wǎng)頁質(zhì)量評估算法、詞法分析理論、中文分詞技術(shù)、文件倒排技術(shù)、布爾查詢理論。然后，在搜索引擎關(guān)鍵技術(shù)的基礎(chǔ)上，基于一個輕量級的架構(gòu)設(shè)計了搜索引擎的三個主要模塊：網(wǎng)頁爬蟲、索引器與搜索器。并重點實現(xiàn)了網(wǎng)頁爬蟲

2、模塊。 網(wǎng)頁爬蟲模塊中：在實現(xiàn)其核心功能的基礎(chǔ)上，提出了以下幾種優(yōu)化方案： 1、增量式模型及其實現(xiàn)：增量式搜集只對部分頁面進(jìn)行更新就可以刷新頁面集，可以大幅度減少批量更新次數(shù)，提高頁面集的新鮮度。 2、分布式擴(kuò)展與實現(xiàn)：把一個搜集節(jié)點擴(kuò)展為多個搜集節(jié)點，節(jié)點之間相互通信，并增加了控制節(jié)點來協(xié)調(diào)各節(jié)點的工作。 3、網(wǎng)頁權(quán)值計算：用于評估網(wǎng)頁的重要性，為網(wǎng)頁排序提供依據(jù)。采用了Google的PageRank算

3、法。 4、對磁盤存儲方式進(jìn)行擴(kuò)展：利用面向?qū)ο笳Z言的繼承與派生機制，對數(shù)據(jù)庫存儲方式和容錯文件格式提供了支持。 5、提出了一種新的網(wǎng)頁爬取策略：在第一次搜集網(wǎng)頁時根據(jù)計時策略給每個URL賦一個權(quán)值。在下一次爬取網(wǎng)頁的時候根據(jù)權(quán)值的大小去確定訪問URL的先后次序，避免帶寬資源過多浪費在低性能的服務(wù)器上。 索引模塊中：首先，討論了中文分詞的設(shè)計思想，選擇了分詞的算法。然后，提出了正向索引文件的建立策略。最后，給出了倒