基于向量空間模型的主題爬蟲算法研究.pdf

1、時下，網(wǎng)絡作為主導信息來源手段對人們的生產(chǎn)生活方式帶來了迅速的轉(zhuǎn)變，信息檢索的便利性不言而喻。但是，傳統(tǒng)的搜索引擎無法使用戶在特定時間內(nèi)得到有效的檢索結(jié)果。基于此，主題搜索引擎應運而生，終將成為搜索引擎發(fā)展趨勢之一。主題搜索引擎是在傳統(tǒng)搜索引擎的基礎(chǔ)上增加了新的搜索引擎服務模式。主題搜索引擎中的爬蟲稱為主題爬蟲。主題爬蟲在傳統(tǒng)網(wǎng)絡爬蟲的功能上添加了主題確立和相關(guān)性評價兩個模塊。主題爬蟲注重爬行的深度，它的目標是保證盡可能多的爬行、下載與

2、主題相關(guān)的網(wǎng)頁。它主要需要解決主題確立、相關(guān)性分析評價以及搜索算法三個核心問題。
　　本文對主題定義與描述、相關(guān)性評價和搜索算法等網(wǎng)絡爬蟲關(guān)鍵技術(shù)做了詳細闡述。深入研究了基于向量空間模型(Vector Space Model, VSM)的主題爬蟲相關(guān)度計算以及搜索算法。通過對傳統(tǒng)模型主題爬蟲算法的研究分析，提出了一種基于向量空間模型的多粒度SH主題爬蟲算法。
　　論文主要工作如下：
　　1．傳統(tǒng)的向量空間模型用特征項表

3、示關(guān)鍵詞，用TF-IDF方法計算關(guān)鍵詞的權(quán)重，即通過計算關(guān)鍵詞在文本中出現(xiàn)的次數(shù)衡量相關(guān)度。通過此方法計算結(jié)果僅僅是對文本詞語的模糊匹配，忽略了Web頁面本身結(jié)構(gòu)特點，準確性較差。針對傳統(tǒng)TF-IDF計算方法存在的缺陷，對頁面中的特征項做了詳細研究分析。首先，考慮特征項在相同文本的不同位置和在不同文本的位置權(quán)重加入語義分析，很好的區(qū)分了他們的分配權(quán)值；然后，利用改進的 TF-IDF公式計算特征項權(quán)重，改進后的計算方法彌補了傳統(tǒng)公式中將所

4、有位置一視同仁的弊端；最后，將上述公式計算的權(quán)重結(jié)果代入向量空間模型中對文本相似度分析計算。與傳統(tǒng)模型下的算法相比，改進后的算法更能準確的獲取主題相關(guān)頁面。
　　2．分析Shark-search(鯊魚算法)和HITS(Hyperlink-Induced Topic Search)算法中的優(yōu)點與不足。針對Shark-search算法中的噪音鏈接、廣告鏈接的缺陷和HITS算法中的主題漂移現(xiàn)象(與查詢不太相關(guān)的普通頁面在查詢排序中比較靠

5、前的現(xiàn)象稱為主題漂移)，深入分析Web頁面結(jié)構(gòu)。首先，對給定Web頁面進行分塊處理。處理方法采用VIPS(vision-based page segmentation)算法。VIPS算法的思想：從用戶角度觀察Web頁面，不去詳細分析Web頁面的內(nèi)部具體結(jié)構(gòu)，而是把頁面中一個語義塊作為一個個單一對象研究；基于語義塊檢測出分隔條，依據(jù)分隔條Web頁面內(nèi)部結(jié)構(gòu)被重新構(gòu)建。然后，采用多粒度Shark-search算法，同時與依賴查詢的HITS算