基于語義分析的主題信息采集技術的研究.pdf

1、現(xiàn)今隨著Web信息指數(shù)化的增長，傳統(tǒng)的基于整個Web的信息采集技術由于其采集的主題范圍過于廣泛，導致無法保證對信息的及時更新，并且較少考慮采集信息是否與查詢主題相關，已經(jīng)滿足不了人們對個性化信息檢索服務日益增長的需求。面向主題的信息采集技術由于其采集信息的內容只限于特定主題或專門領域，在搜索過程中無須對整個Web進行遍歷，只需選擇與主題相關的頁面進行訪問，基本回避了傳統(tǒng)信息采集系統(tǒng)信息指數(shù)膨脹的危機，成為近年的研究熱點。 本文對

2、國內外基于主題的信息采集領域的發(fā)展狀況進行了詳細的研究，分析了信息采集的工作原理，針對傳統(tǒng)通用信息采集自身固有的缺陷，根據(jù)主題頁面在Web上的分布特征，結合本體的相關理論及語義分析相關知識，在對鏈接、頁面與主題相關性判定技術的深入研究基礎上，提出了一種基于語義分析的主題信息采集的相關模型，該模型以本體構建領域知識概念集，結合語義計算，預測與主題相關的URL并對采集的頁面進行進一步的過濾，同時結合現(xiàn)有開源技術對該功能模型進行了詳細的設計與

3、實現(xiàn)。 語義分析是本文的重點，它是預測URL鏈接，采集主題相關頁面，過濾無關頁面的核心技術。本文在對“知網(wǎng)”進行詳細研究的基礎上，分析計算詞語之間的相關度及相似度，并著重介紹了利用知網(wǎng)進行多義詞詞義消岐，獲取鏈接擴展元數(shù)據(jù)、主題及頁面內容的義項集及義原集的相關算法。 本文利用詞匯的語義計算，從語義和概念層對文本及鏈接進行主題相關性分析，將基于內容評價的搜索策略和基于Web鏈接結構的搜索策略相結合，在對傳統(tǒng)Page Ran