畢業(yè)論文（設計）基于主題的web信息采集技術研究

1、基于主題的基于主題的Web信息采集技術研究信息采集技術研究目錄第一章引言……………………………………………………………………………….11.1背景...11.2本文安排...2第二章Web信息采集概述………………………………………………………………42.1Web信息采集系統(tǒng)的基本原理...42.2Web信息采集系統(tǒng)的基本結構...42.3Web信息采集面臨的主要困難和相應的技術手段:62.4采集系統(tǒng)實例...8第三章Web信息采集的研究

2、現狀………………………………………………….....113.1基于整個Web的信息采集...113.2增量式Web信息采集:123.3基于主題的Web信息采集:123.4基于用戶個性化的Web信息采集...133.5基于Agent的信息采集...143.6遷移的信息采集...153.7基于元搜索的信息采集:153.8小結...15第四章基于主題的Web信息采集基本問題研究…………………………………...174.1基于主題的Web信息采集

3、的定義...174.2基于主題的Web信息采集的優(yōu)點...174.3基于主題的Web信息采集的分類...184.4主題頁面在Web上的分布特征...194.5相關性判別算法研究...21第五章基于主題的Web信息采集系統(tǒng)模型及我們的對策………………………...375.1系統(tǒng)模型...375.2模型中的關鍵問題及我們的策略...37第一章引言1.1背景背景隨著InterIntra的迅速發(fā)展，網絡正深刻地改變著我們的生活。而在網上發(fā)展最為迅

4、猛的WWW（WldWideWeb）技術，以其直觀、方便的使用方式和豐富的表達能力，已逐漸成為Inter上最重要的信息發(fā)布和傳輸方式。隨著信息時代的到來和發(fā)展，Web上的信息如雨后春筍般迅速增長起來。截止到2000年7月，Inter上的網頁數量就已經超過21億，上網用戶超過3億，而且網頁還在以每天700萬的速度增加[徐澤平2001]。這給人們的生活提供了豐富的資源。然而，Web信息的急速膨脹，在給人們提供豐富信息的同時，又使人們在對它們的

5、有效使用方面面臨一個巨大的挑戰(zhàn)。一方面網上的信息多種多樣、豐富多彩，而另一方面用戶卻找不到他們所需要的信息。因而基于WWW的網上信息的采集、發(fā)布和相關的信息處理日益成為人們關注的焦點。為此，人們發(fā)展了以Web搜索引擎為主的檢索服務。為了解決網上信息檢索的難題，人們在信息檢索領域進行了大量的研究，開發(fā)了各種搜索引擎(如Google、Yahoo)。這些搜索引擎通常使用一個或多個采集器從Inter上收集各種數據(如WWW、FTP、Email、

6、News)，然后在本地服務器上為這些數據建立索引，當用戶檢索時根據用戶提交的檢索條件從索引庫中迅速查找到所需的信息[Bowman1994]。作為這些搜索引擎的基礎和組成部分，Web信息采集正發(fā)揮著舉足輕重的作用，并且隨著應用的深化和技術的發(fā)展，它也越來越多的應用于站點結構分析、頁面有效性分析、Web圖進化、內容安全檢測、用戶興趣挖掘以及個性化信息獲取等多種服務和研究中。簡單說，Web信息采集是指通過Web頁面之間的鏈接關系，從Web上自

7、動地獲取頁面信息并且隨著鏈接不斷向所需要的Web頁面擴展的過程。傳統(tǒng)的Web信息采集的目標就是盡可能多地采集信息頁面，甚至是整個Web上的資源，而在這一過程中它并不太在意采集的順序和被采集頁面的相關主題。這樣做的一個極大好處是能夠集中精力在采集的速度和數量上，并且實現起來也相對簡單，例如Google采集系統(tǒng)在并行4個采集器時的速度可以達到每秒100頁，從而它配合搜索引擎給網絡用戶帶來了很大的便利。但是，這種傳統(tǒng)的采集方法也存在著很多缺陷