基于形式概念分析的聚焦爬蟲算法.pdf

1、移動互聯(lián)網(wǎng)的迅速增長使得搜索引擎面臨巨大的挑戰(zhàn)，搜索引擎如何適應(yīng)這種變化以及如何提供更優(yōu)質(zhì)的檢索服務(wù)成為了一個備受關(guān)注的問題，作為其重要組成部分的網(wǎng)絡(luò)爬蟲算法成為人們研究的熱點。通用網(wǎng)絡(luò)爬蟲由于爬行的規(guī)模較大，爬行頁面內(nèi)容比較雜亂，不能滿足用戶對于特定信息以及興趣主題的集中爬行。面向主題的網(wǎng)絡(luò)爬蟲可以有選擇的爬行與主題相關(guān)的網(wǎng)頁，有效的減少了爬行頁面的數(shù)量，而且提高了抓取的準(zhǔn)確度并滿足了用戶對特定主題的搜索需求。
　　 形式概念

2、分析是一種基于概念格的數(shù)據(jù)分析方法，自從形式概念分析理論提出以來，它就因為知識表示的直觀、簡潔等特點受到研究者的廣泛關(guān)注，已經(jīng)在軟件工程、圖書館和信息科學(xué)、數(shù)據(jù)挖掘等諸多領(lǐng)域得到了廣泛的應(yīng)用。
　　 本文通過研究現(xiàn)有主題爬蟲的原理，提出了將形式概念分析這一數(shù)據(jù)分析工具應(yīng)用到主題爬蟲的有關(guān)算法中，將概念格應(yīng)用到主題相關(guān)性分析以及排序算法，從而改進(jìn)了爬蟲的相關(guān)算法。本文的研究工作主要有:
　　 首先，本文通過對形式概念分析理