垂直搜索引擎中的主題爬蟲技術研究.pdf

1、隨著Internet的迅猛發(fā)展，網(wǎng)絡上的信息呈現(xiàn)爆發(fā)式的增長。通用搜索引擎已經(jīng)不能滿足人們對于個性化信息的需求，此時，面向特定領域的垂直搜索引擎應運而生。垂直搜索引擎可以滿足特定領域、人群的特定需求，能夠為用戶提供高質量、個性化的信息。主題爬蟲是垂直搜索引擎中的重要組成部分。主題爬蟲是根據(jù)用戶定制的主題，智能的爬行網(wǎng)絡上的主題相關資源，過濾主題無關資源，為垂直搜索引擎提供了數(shù)據(jù)來源。
　　 本文分析了主題爬蟲的系統(tǒng)結構、技術原理

2、，重點討論了爬蟲的主題表達、頁面的主題相關性分析和主題搜索算法。本文的主要研究工作如下:
　　 1)在主題表達方面，基于關鍵詞集合的主題表達不全面、精度不高，對此，本文提出了一種基于關鍵詞動態(tài)擴充的表示方法。首先，需要構建一個基本的關鍵詞集合;其次，本文提出了一種基于位置的TF-IDF(Term Frequency-Inverse Document Frequency)加權算法，根據(jù)文本在網(wǎng)頁中的位置進行加權，可以提取網(wǎng)頁的特征

3、詞;最后，在爬蟲爬行的過程中，利用頁面與主題的相似度和單詞匹配頻率等信息擴充特征詞到主題庫集合中，進而提升主題表達精度和覆蓋面。
　　 2)本文分析了Shark Search搜索算法，針對該算法在有些方面的不足進行了改進。在SharkSearch算法中，主題爬行策略采用的是鏈接上下文信息，但是，網(wǎng)頁中的鏈接上下文信息經(jīng)常充斥著噪音，反而會干擾鏈接的預測。本文提出利用URL字符本身的信息來替代鏈接上下文信息。因為URL字符串能代表

4、其指向的網(wǎng)頁內容，本文通過分析URL字符串的結構，得到一些啟發(fā)式信息，利用這些信息可以將URL字符串“翻譯”為可識別的文本信息，有利于計算它們與主題的相似度。此外，Shark Search算法是貪婪的，因此，很難在Web圖中找到全局最優(yōu)解，本文引入了隧道分析技術來解決Shark Search算法的貪婪性問題。
　　 本文綜合基于關鍵詞動態(tài)擴充的主題爬行算法和改進的Shark Search算法，將主題表示和主題預測結合起來，從整個