垂直搜索引擎中的主題爬蟲技術(shù)研究.pdf

1、隨著Internet的迅猛發(fā)展，網(wǎng)絡(luò)上的信息呈現(xiàn)爆發(fā)式的增長。通用搜索引擎已經(jīng)不能滿足人們對于個性化信息的需求，此時，面向特定領(lǐng)域的垂直搜索引擎應(yīng)運(yùn)而生。垂直搜索引擎可以滿足特定領(lǐng)域、人群的特定需求，能夠為用戶提供高質(zhì)量、個性化的信息。主題爬蟲是垂直搜索引擎中的重要組成部分。主題爬蟲是根據(jù)用戶定制的主題，智能的爬行網(wǎng)絡(luò)上的主題相關(guān)資源，過濾主題無關(guān)資源，為垂直搜索引擎提供了數(shù)據(jù)來源。
　　 本文分析了主題爬蟲的系統(tǒng)結(jié)構(gòu)、技術(shù)原理

2、，重點(diǎn)討論了爬蟲的主題表達(dá)、頁面的主題相關(guān)性分析和主題搜索算法。本文的主要研究工作如下:
　　 1)在主題表達(dá)方面，基于關(guān)鍵詞集合的主題表達(dá)不全面、精度不高，對此，本文提出了一種基于關(guān)鍵詞動態(tài)擴(kuò)充的表示方法。首先，需要構(gòu)建一個基本的關(guān)鍵詞集合;其次，本文提出了一種基于位置的TF-IDF(Term Frequency-Inverse Document Frequency)加權(quán)算法，根據(jù)文本在網(wǎng)頁中的位置進(jìn)行加權(quán)，可以提取網(wǎng)頁的特征

3、詞;最后，在爬蟲爬行的過程中，利用頁面與主題的相似度和單詞匹配頻率等信息擴(kuò)充特征詞到主題庫集合中，進(jìn)而提升主題表達(dá)精度和覆蓋面。
　　 2)本文分析了Shark Search搜索算法，針對該算法在有些方面的不足進(jìn)行了改進(jìn)。在SharkSearch算法中，主題爬行策略采用的是鏈接上下文信息，但是，網(wǎng)頁中的鏈接上下文信息經(jīng)常充斥著噪音，反而會干擾鏈接的預(yù)測。本文提出利用URL字符本身的信息來替代鏈接上下文信息。因為URL字符串能代表

4、其指向的網(wǎng)頁內(nèi)容，本文通過分析URL字符串的結(jié)構(gòu)，得到一些啟發(fā)式信息，利用這些信息可以將URL字符串“翻譯”為可識別的文本信息，有利于計算它們與主題的相似度。此外，Shark Search算法是貪婪的，因此，很難在Web圖中找到全局最優(yōu)解，本文引入了隧道分析技術(shù)來解決Shark Search算法的貪婪性問題。
　　 本文綜合基于關(guān)鍵詞動態(tài)擴(kuò)充的主題爬行算法和改進(jìn)的Shark Search算法，將主題表示和主題預(yù)測結(jié)合起來，從整個