基于RSS的博客采集系統(tǒng)設計與實現(xiàn).pdf

1、伴隨著Web2.0的興起，互聯(lián)網信息從傳統(tǒng)的ISP轉移到個人。博客網站雨后春筍般地涌現(xiàn)，互聯(lián)網迎來了“博客的春天”。信息開始了又一輪指數(shù)級爆炸增長。對用戶來說要想在浩瀚的信息海洋里找到想要的信息已非易事。信息的快速增長和人們的查找能力的矛盾愈演愈烈。對搜索引擎來說，面對博客這種頻繁更新的數(shù)據源，傳統(tǒng)搜索引擎根本無法跟上他的更新速度。如何應對這些更新頻繁的數(shù)據，已成為搜索引擎亟待解決地重要問題。正是博客的興起激活了RSS。它以其結構化特點

2、，在Web應用中受到越來越多的青睞，它使得網絡上的信息更加結構化。正是RSS的結構化特點使得網絡爬蟲可以通過跟蹤RSS頁面的更新及時捕獲更新信息，為解決數(shù)據的頻繁更新提供了一條可行之路。 本文設計了一種基于RSS的博客采集系統(tǒng)，希望能較好的解決及時追蹤更新數(shù)據的問題。不同于傳統(tǒng)搜索引擎使用的爬蟲，本論文實現(xiàn)的系統(tǒng)中共設計了兩個不同功能的爬蟲：RSS爬蟲和Blog爬蟲。其中RSS爬蟲負責廣泛采集RSS種子，而Blog爬蟲則通過遍歷