基于領(lǐng)域知識(shí)的網(wǎng)頁(yè)提取系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、國(guó)際互聯(lián)網(wǎng)是一個(gè)巨大的知識(shí)寶藏，基于互聯(lián)網(wǎng)的信息搜索是目前研究的熱點(diǎn)，出現(xiàn)象Yahoo，Google，Baidu等著名的網(wǎng)絡(luò)搜索引擎，他們支持用戶利用關(guān)鍵字搜索相關(guān)網(wǎng)頁(yè)，由于網(wǎng)絡(luò)搜索引擎要面對(duì)廣泛的知識(shí)領(lǐng)域，因此針對(duì)某一領(lǐng)域如信息領(lǐng)域由于沒(méi)有足夠的背景知識(shí)，導(dǎo)致檢索到大量無(wú)關(guān)的網(wǎng)頁(yè)，具有較大相關(guān)性的網(wǎng)頁(yè)又很少，因此研究設(shè)計(jì)針對(duì)某一具體領(lǐng)域的網(wǎng)頁(yè)獲取系統(tǒng)有一定的理論意義和應(yīng)用價(jià)值。 本文針對(duì)目前著名的網(wǎng)絡(luò)搜索引擎存在的不足，提出基

2、于領(lǐng)域知識(shí)的網(wǎng)頁(yè)采集模型框架，并設(shè)計(jì)一個(gè)實(shí)際系統(tǒng)，并將該系統(tǒng)應(yīng)用于計(jì)算機(jī)領(lǐng)域的信息檢索，即用戶輸入關(guān)鍵字，檢索系統(tǒng)根據(jù)背景知識(shí)生成一系列的關(guān)鍵字，再根據(jù)新生成的關(guān)鍵字進(jìn)行搜索，將搜索結(jié)果存入數(shù)據(jù)庫(kù)，供用戶查詢。本文的主要工作概括為以下幾點(diǎn)：提出基于背景知識(shí)進(jìn)行網(wǎng)頁(yè)檢索，利用謂詞邏輯表示背景知識(shí)；輸入關(guān)鍵字，利用背景知識(shí)生成一系列關(guān)鍵字；采集器的集成；將采集到的網(wǎng)頁(yè)保存到MySQL數(shù)據(jù)庫(kù)中供用戶查詢；網(wǎng)頁(yè)相關(guān)性判斷。 本文首先綜述

3、了網(wǎng)頁(yè)信息采集的基本結(jié)構(gòu)及國(guó)內(nèi)外發(fā)展?fàn)顩r，提出關(guān)鍵字與文本的映射、URL過(guò)濾，相似度等相關(guān)算法，并應(yīng)用于一個(gè)實(shí)際系統(tǒng)之中。該系統(tǒng)分四個(gè)模塊，即關(guān)鍵字模塊，URL過(guò)濾模塊，數(shù)據(jù)庫(kù)，采集模塊。關(guān)鍵字模塊包括領(lǐng)域背景的建立，多關(guān)鍵字的檢索，文本映射問(wèn)題；URL過(guò)濾模塊包括文本中包含的URL鏈接過(guò)濾判定，排序；數(shù)據(jù)庫(kù)包括了領(lǐng)域背景關(guān)鍵字本體的存儲(chǔ)，文本及文本中鏈接的存儲(chǔ)；采集部分介紹采集器的工作原理。 最后，通過(guò)實(shí)驗(yàn)進(jìn)行系統(tǒng)性能測(cè)試以及