基于層次優(yōu)化的動態(tài)概念背景圖的主題爬行策略研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,人們已經(jīng)習慣了從網(wǎng)絡(luò)上獲取信息。主題搜索引擎越來越受到學術(shù)界和企業(yè)界的廣泛關(guān)注。主題搜索引擎主要搜集那些與特定主題相關(guān)的網(wǎng)頁。主題爬蟲是主題搜索引擎的資源采集器,在遍歷網(wǎng)絡(luò)資源的同時會對所采集的網(wǎng)頁與特定主題作相關(guān)度判斷,按照相關(guān)度值的大小為一個待爬URL指定一個相應(yīng)的優(yōu)先級分值。從而可以保證下載相關(guān)網(wǎng)頁而舍棄那些偏離主題的網(wǎng)頁,使搜集回來的結(jié)果更能滿足用戶的需求。
　　本文提出了一種基于最優(yōu)化層次的概念背景圖的

2、主題爬行策略,該策略首先需要用戶向知名搜索引擎提交查詢詞,然后從返回的網(wǎng)頁鏈接挑中選幾個用戶最滿意的初始網(wǎng)頁,作為本研究的初始種子集。其次,下載種子集對應(yīng)的網(wǎng)頁并且提取網(wǎng)頁上的特征詞構(gòu)建概念背景圖。然后,在Yahoo!目錄上選擇不同層次的主題進行概念背景圖的分層研究。最后,提出了概念背景圖的動態(tài)更新方法。
　　論文的主要研究內(nèi)容包括以下幾點:
　　1.提出了一種對傳統(tǒng)概念背景圖進行層次優(yōu)化的方法。通過將一個完整的概念背景圖進

3、行分割成不同的子概念背景圖,分別研究每個子概念背景圖對網(wǎng)絡(luò)爬蟲的指導性能。
　　2.提出了最優(yōu)概念背景圖的概念。傳統(tǒng)概念背景圖往往包含了相應(yīng)的概念格中的全部概念。這樣就把概念格中的所有概念全部分到傳統(tǒng)概念背景圖的相應(yīng)層次,那些和核心概念有低相關(guān)性的概念就影響了指導性能。
　　3.在最優(yōu)化概念背景圖的基礎(chǔ)上提出了對概念背景圖進行動態(tài)更新方法。概念背景圖一般都是根據(jù)初始選中的種子集頁面和頁面相應(yīng)的特征詞進行構(gòu)建的。但是,在指導主