基于領(lǐng)域本體的網(wǎng)頁信息采集與檢索研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展以及網(wǎng)絡(luò)信息的爆炸式增長，人們對信息檢索的需求越來越強，Google、百度等搜索引擎已經(jīng)成為人們?nèi)粘＞W(wǎng)絡(luò)生活必不可少的信息搜索工具。而現(xiàn)實生活中網(wǎng)絡(luò)用戶對信息需求情況卻不盡相同，有的用戶會需要某一領(lǐng)域的大量信息，經(jīng)加工整理后形成符合自己或者自己用戶需求的資源，用來檢索、數(shù)據(jù)挖掘，以及生成知識庫等，數(shù)字圖書館、主題專業(yè)網(wǎng)站等信息服務(wù)機構(gòu)就是從海量的Web信息中獲取自己需要的信息，為自己的用戶服務(wù)。 本課題就

2、是針對經(jīng)常對某一領(lǐng)域進行信息獲取的用戶設(shè)計的基于領(lǐng)域本體的網(wǎng)絡(luò)信息采集檢索系統(tǒng)。在本文中，利用本體概念的層次性，提出了一個基于本體的文本主題識別和檢索模型系統(tǒng)，該系統(tǒng)的功能模塊主要分為三大部分，一是本體的構(gòu)建，管理與存儲；二是利用Web爬蟲技術(shù)對網(wǎng)頁進行面向主題的采集；三是信息索引模塊，即對采集的信息建立索引，通過對用戶發(fā)送的提問進行預(yù)處理，實現(xiàn)基于本體的擴展查詢，反饋高相關(guān)度的信息結(jié)果。 本文首先介紹了本體和基于本體的信息檢索

3、的國內(nèi)外研究現(xiàn)狀，并介紹了本體研究中構(gòu)建本體的一般步驟，然后研究了基于本體的網(wǎng)頁信息采集檢索系統(tǒng)的關(guān)鍵技術(shù)： (1)基于本體概念層次的Web網(wǎng)頁主題識別算法研究，主要利用改進的BestFirst算法對Web網(wǎng)頁進行面向主題采集，分析了如何通過本體概念來識別網(wǎng)頁內(nèi)容和URL鏈接的主題相關(guān)度，如何將發(fā)現(xiàn)的URL鏈接加入采集作業(yè)隊列并排序進行采集； (2)結(jié)合Lucene開源技術(shù)，對采集信息進行倒排索引；按照本體概念間的關(guān)系對

4、用戶查詢進行語義擴展，并賦予權(quán)重，通過擴展的關(guān)鍵詞組計算網(wǎng)頁相似度，按相似度大小返回網(wǎng)頁給用戶，實現(xiàn)基于本體的擴展查詢。 接著，我們分析、設(shè)計、實現(xiàn)了一個面向主題的網(wǎng)絡(luò)信息采集檢索系統(tǒng)。該系統(tǒng)采用C/S架構(gòu)，首先利用Jena API將OWL(Web Ontology Language)本體文件映射到數(shù)據(jù)庫中。再利用采集器進行信息采集并保存到服務(wù)器，之后建立索引，然后通過網(wǎng)絡(luò)瀏覽器訪問Web服務(wù)器，與運行在Web服務(wù)器上的Serv