基于形式概念分析的聚焦爬蟲(chóng)算法.pdf

1、移動(dòng)互聯(lián)網(wǎng)的迅速增長(zhǎng)使得搜索引擎面臨巨大的挑戰(zhàn)，搜索引擎如何適應(yīng)這種變化以及如何提供更優(yōu)質(zhì)的檢索服務(wù)成為了一個(gè)備受關(guān)注的問(wèn)題，作為其重要組成部分的網(wǎng)絡(luò)爬蟲(chóng)算法成為人們研究的熱點(diǎn)。通用網(wǎng)絡(luò)爬蟲(chóng)由于爬行的規(guī)模較大，爬行頁(yè)面內(nèi)容比較雜亂，不能滿足用戶對(duì)于特定信息以及興趣主題的集中爬行。面向主題的網(wǎng)絡(luò)爬蟲(chóng)可以有選擇的爬行與主題相關(guān)的網(wǎng)頁(yè)，有效的減少了爬行頁(yè)面的數(shù)量，而且提高了抓取的準(zhǔn)確度并滿足了用戶對(duì)特定主題的搜索需求。
　　 形式概念

2、分析是一種基于概念格的數(shù)據(jù)分析方法，自從形式概念分析理論提出以來(lái)，它就因?yàn)橹R(shí)表示的直觀、簡(jiǎn)潔等特點(diǎn)受到研究者的廣泛關(guān)注，已經(jīng)在軟件工程、圖書(shū)館和信息科學(xué)、數(shù)據(jù)挖掘等諸多領(lǐng)域得到了廣泛的應(yīng)用。
　　 本文通過(guò)研究現(xiàn)有主題爬蟲(chóng)的原理，提出了將形式概念分析這一數(shù)據(jù)分析工具應(yīng)用到主題爬蟲(chóng)的有關(guān)算法中，將概念格應(yīng)用到主題相關(guān)性分析以及排序算法，從而改進(jìn)了爬蟲(chóng)的相關(guān)算法。本文的研究工作主要有:
　　 首先，本文通過(guò)對(duì)形式概念分析理