主題Web信息采集與分析技術研究.pdf

1、目前，搜索引擎逐漸成為用戶在Web上獲取信息的主要工具。傳統(tǒng)的通用搜索引擎利用一個Crawler程序面向整個Web進行信息采集，它的缺點是采集無針對性、頁面失效率高、不能滿足特定專業(yè)人群的需要。針對這種情況，需要一個分類細致精確、數據全面深入、更新及時的面向主題的搜索引擎。 本文設計了一個主題搜索引擎，并對現有的主題Web信息采集與分析技術進行了深入研究；按照評價鏈接價值所采用方法的不同，對Crawler的爬行搜索策略進行了分類

2、，分析和比較了各類搜索策略的特點及優(yōu)缺點。通過對幾種常見的Web社區(qū)結構的分析，指出現有的基于局部信息的主題Web信息采集技術存在一些問題：技術層面上的“局部最優(yōu)”與“主題漂移”之間，以及采集結果上查全率與查準率之間存在著不協調的現象。因此，本文決定利用基于概率選擇的，具有通用性、高適應性和全局性的遺傳算法來解決這一問題。 論文所做的工作主要有： ①根據傳統(tǒng)的通用搜索引擎與主題搜索引擎之間目的和實現手段上的差異，提出了一

3、個主題搜索引擎，并介紹了系統(tǒng)每一部分的功能和其實現方法。 ②研究了信息采集與分析技術、信息檢索技術，其中主要研究了主題Web信息采集與分析技術。通過對比和分析，發(fā)現現有技術的優(yōu)點和不足之處。 ③研究了遺傳算法的概念、特點、實現方法和其數學原理，并提出將其運用在主題Web信息采集領域里，改進信息采集系統(tǒng)的性能。 ④通過深入分析遺傳算法與主題Web信息采集技術的共性與不同之處，論述了在信息采集系統(tǒng)中應用遺傳算法的可