基于領(lǐng)域本體的聚焦爬蟲技術(shù)研究.pdf

1、Web信息量的急劇猛增以及廣大互聯(lián)網(wǎng)搜索用戶信息檢索需求的不斷提升，使得搜索引擎技術(shù)由原來的面向全體互聯(lián)網(wǎng)用戶，提供公用信息服務(wù)的通用搜索引擎發(fā)展到面向特定領(lǐng)域，為用戶提供專業(yè)信息服務(wù)的垂直搜索引擎。相應(yīng)地，在通用爬蟲技術(shù)研究的基礎(chǔ)上，也需要進(jìn)一步對(duì)聚焦爬蟲技術(shù)進(jìn)行研究。
　　論文首先對(duì)搜索引擎和垂直搜索引擎、通用爬蟲和聚焦爬蟲的相關(guān)概念、體系結(jié)構(gòu)及工作原理做出了介紹和討論。然后，從抓取目標(biāo)的描述、網(wǎng)頁分析算法和網(wǎng)頁搜索算法三個(gè)角

2、度對(duì)傳統(tǒng)的聚焦爬蟲關(guān)鍵技術(shù)進(jìn)行了分析，為進(jìn)一步的研究打下了鋪墊。
　　論文重點(diǎn)對(duì)基于領(lǐng)域本體的聚焦爬蟲技術(shù)進(jìn)行了深入研究。主要的工作與論點(diǎn)如下：
　?。?）論文討論了被用作聚焦爬蟲主題模型的領(lǐng)域本體的設(shè)計(jì)、構(gòu)建和更新方法。從路徑距離、語義重合度、語義深度、語義密度和概念屬性幾個(gè)角度，研究并改進(jìn)了領(lǐng)域本體概念語義相似度的計(jì)算方法。
　?。?）論文提出一種基于領(lǐng)域本體概念語義相似性的主題相關(guān)度計(jì)算方法，通過對(duì)向量空間模型中

3、的網(wǎng)頁文檔向量進(jìn)行語義擴(kuò)展，使聚焦爬蟲對(duì)網(wǎng)頁的分析具備了一定程度的概念語義特性，提高了聚焦爬蟲的查全率和查準(zhǔn)率。
　?。?）論文提出一種面向主題的改進(jìn)的Hits算法，它從URL字符串、錨文本、擴(kuò)展錨文本及父頁面主題相關(guān)度幾個(gè)方面來分析鏈接基于內(nèi)容的主題相關(guān)性。然后，將基于內(nèi)容的分析加入到傳統(tǒng)的基于網(wǎng)絡(luò)鏈接結(jié)構(gòu)的Hits算法中，使其在綜合考慮網(wǎng)頁內(nèi)容和網(wǎng)絡(luò)鏈接結(jié)構(gòu)的前提下得到了很大程度的優(yōu)化，削弱了主題漂移現(xiàn)象。
　　（4）針