基于向量空間模型的主題爬蟲算法研究.pdf

1、時(shí)下，網(wǎng)絡(luò)作為主導(dǎo)信息來源手段對(duì)人們的生產(chǎn)生活方式帶來了迅速的轉(zhuǎn)變，信息檢索的便利性不言而喻。但是，傳統(tǒng)的搜索引擎無法使用戶在特定時(shí)間內(nèi)得到有效的檢索結(jié)果。基于此，主題搜索引擎應(yīng)運(yùn)而生，終將成為搜索引擎發(fā)展趨勢之一。主題搜索引擎是在傳統(tǒng)搜索引擎的基礎(chǔ)上增加了新的搜索引擎服務(wù)模式。主題搜索引擎中的爬蟲稱為主題爬蟲。主題爬蟲在傳統(tǒng)網(wǎng)絡(luò)爬蟲的功能上添加了主題確立和相關(guān)性評(píng)價(jià)兩個(gè)模塊。主題爬蟲注重爬行的深度，它的目標(biāo)是保證盡可能多的爬行、下載與

2、主題相關(guān)的網(wǎng)頁。它主要需要解決主題確立、相關(guān)性分析評(píng)價(jià)以及搜索算法三個(gè)核心問題。
　　本文對(duì)主題定義與描述、相關(guān)性評(píng)價(jià)和搜索算法等網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)做了詳細(xì)闡述。深入研究了基于向量空間模型(Vector Space Model, VSM)的主題爬蟲相關(guān)度計(jì)算以及搜索算法。通過對(duì)傳統(tǒng)模型主題爬蟲算法的研究分析，提出了一種基于向量空間模型的多粒度SH主題爬蟲算法。
　　論文主要工作如下：
　　1．傳統(tǒng)的向量空間模型用特征項(xiàng)表

3、示關(guān)鍵詞，用TF-IDF方法計(jì)算關(guān)鍵詞的權(quán)重，即通過計(jì)算關(guān)鍵詞在文本中出現(xiàn)的次數(shù)衡量相關(guān)度。通過此方法計(jì)算結(jié)果僅僅是對(duì)文本詞語的模糊匹配，忽略了Web頁面本身結(jié)構(gòu)特點(diǎn)，準(zhǔn)確性較差。針對(duì)傳統(tǒng)TF-IDF計(jì)算方法存在的缺陷，對(duì)頁面中的特征項(xiàng)做了詳細(xì)研究分析。首先，考慮特征項(xiàng)在相同文本的不同位置和在不同文本的位置權(quán)重加入語義分析，很好的區(qū)分了他們的分配權(quán)值；然后，利用改進(jìn)的 TF-IDF公式計(jì)算特征項(xiàng)權(quán)重，改進(jìn)后的計(jì)算方法彌補(bǔ)了傳統(tǒng)公式中將所

4、有位置一視同仁的弊端；最后，將上述公式計(jì)算的權(quán)重結(jié)果代入向量空間模型中對(duì)文本相似度分析計(jì)算。與傳統(tǒng)模型下的算法相比，改進(jìn)后的算法更能準(zhǔn)確的獲取主題相關(guān)頁面。
　　2．分析Shark-search(鯊魚算法)和HITS(Hyperlink-Induced Topic Search)算法中的優(yōu)點(diǎn)與不足。針對(duì)Shark-search算法中的噪音鏈接、廣告鏈接的缺陷和HITS算法中的主題漂移現(xiàn)象(與查詢不太相關(guān)的普通頁面在查詢排序中比較靠

5、前的現(xiàn)象稱為主題漂移)，深入分析Web頁面結(jié)構(gòu)。首先，對(duì)給定Web頁面進(jìn)行分塊處理。處理方法采用VIPS(vision-based page segmentation)算法。VIPS算法的思想：從用戶角度觀察Web頁面，不去詳細(xì)分析Web頁面的內(nèi)部具體結(jié)構(gòu)，而是把頁面中一個(gè)語義塊作為一個(gè)個(gè)單一對(duì)象研究；基于語義塊檢測出分隔條，依據(jù)分隔條Web頁面內(nèi)部結(jié)構(gòu)被重新構(gòu)建。然后，采用多粒度Shark-search算法，同時(shí)與依賴查詢的HITS算