基于概念樹(shù)的主題爬取技術(shù)研究.pdf

1、網(wǎng)絡(luò)機(jī)器人的爬取方式一般可分為無(wú)遺漏爬取和主題爬取。企圖爬取Web上所有頁(yè)面的無(wú)遺漏爬取消耗巨大的存儲(chǔ)和帶寬資源，同時(shí)用戶利用它很難找到他們特定需要的Web文檔。而主題爬取只搜索屬于特定語(yǔ)義相關(guān)主題的重要Web文檔的WWW子集，減少了網(wǎng)絡(luò)流量和下載量，發(fā)展主題爬取技術(shù)顯得非常重要。但目前的主題爬取技術(shù)仍有一些欠缺，主要表現(xiàn)為由初始URL鏈接導(dǎo)向某目標(biāo)主題集的能力有限，當(dāng)與目標(biāo)主題集的鄰近區(qū)域沒(méi)有相關(guān)的文檔時(shí)，導(dǎo)向其它不相鄰的主題區(qū)域的能

2、力不足。 本文在研究Web頁(yè)面爬取原理與網(wǎng)絡(luò)機(jī)器人關(guān)鍵技術(shù)的基礎(chǔ)上，提出了基于概念樹(shù)的主題爬取方法(簡(jiǎn)稱FCMCT方法)，它利用領(lǐng)域概念樹(shù)賦予待爬取的URL對(duì)象以層次語(yǔ)義，以期改進(jìn)主題爬取的采集率性能。在FCMCT方法中，由目標(biāo)主題，從領(lǐng)域概念樹(shù)中獲取“knowledge-path”，按照“knowledge-path”構(gòu)造主題層次Web文檔與主題層(語(yǔ)義不相關(guān)層除外)都表示為類主題詞的向量形式，采用余弦相似度判斷它們之間的相似

3、性；將Web文檔中所析取的URL鏈接分配至與該文檔相關(guān)的主題層對(duì)應(yīng)的等待隊(duì)列，從而賦予了URL鏈接以Web文檔內(nèi)容方面的層次語(yǔ)義信息；考慮賦予URL鏈接以類主題詞的層次語(yǔ)義和其它度量的組合對(duì)各等待隊(duì)列排序。因此待爬取URL鏈接對(duì)象具有Web文檔內(nèi)容與類主題詞兩方面的層次語(yǔ)義信息。 基于FCMCT方法，采用非遞歸方式和多線程機(jī)制構(gòu)造了一個(gè)基于概念樹(shù)的主題搜索機(jī)器人原型。基于內(nèi)存的作業(yè)管理器，負(fù)責(zé)管理爬取過(guò)程中URL鏈接的加入、排序