基于語義分析的主題信息采集技術(shù)的研究.pdf

1、現(xiàn)今隨著Web信息指數(shù)化的增長(zhǎng)，傳統(tǒng)的基于整個(gè)Web的信息采集技術(shù)由于其采集的主題范圍過于廣泛，導(dǎo)致無法保證對(duì)信息的及時(shí)更新，并且較少考慮采集信息是否與查詢主題相關(guān)，已經(jīng)滿足不了人們對(duì)個(gè)性化信息檢索服務(wù)日益增長(zhǎng)的需求。面向主題的信息采集技術(shù)由于其采集信息的內(nèi)容只限于特定主題或?qū)ｉT領(lǐng)域，在搜索過程中無須對(duì)整個(gè)Web進(jìn)行遍歷，只需選擇與主題相關(guān)的頁(yè)面進(jìn)行訪問，基本回避了傳統(tǒng)信息采集系統(tǒng)信息指數(shù)膨脹的危機(jī)，成為近年的研究熱點(diǎn)。 本文對(duì)

2、國(guó)內(nèi)外基于主題的信息采集領(lǐng)域的發(fā)展?fàn)顩r進(jìn)行了詳細(xì)的研究，分析了信息采集的工作原理，針對(duì)傳統(tǒng)通用信息采集自身固有的缺陷，根據(jù)主題頁(yè)面在Web上的分布特征，結(jié)合本體的相關(guān)理論及語義分析相關(guān)知識(shí)，在對(duì)鏈接、頁(yè)面與主題相關(guān)性判定技術(shù)的深入研究基礎(chǔ)上，提出了一種基于語義分析的主題信息采集的相關(guān)模型，該模型以本體構(gòu)建領(lǐng)域知識(shí)概念集，結(jié)合語義計(jì)算，預(yù)測(cè)與主題相關(guān)的URL并對(duì)采集的頁(yè)面進(jìn)行進(jìn)一步的過濾，同時(shí)結(jié)合現(xiàn)有開源技術(shù)對(duì)該功能模型進(jìn)行了詳細(xì)的設(shè)計(jì)與

3、實(shí)現(xiàn)。 語義分析是本文的重點(diǎn)，它是預(yù)測(cè)URL鏈接，采集主題相關(guān)頁(yè)面，過濾無關(guān)頁(yè)面的核心技術(shù)。本文在對(duì)“知網(wǎng)”進(jìn)行詳細(xì)研究的基礎(chǔ)上，分析計(jì)算詞語之間的相關(guān)度及相似度，并著重介紹了利用知網(wǎng)進(jìn)行多義詞詞義消岐，獲取鏈接擴(kuò)展元數(shù)據(jù)、主題及頁(yè)面內(nèi)容的義項(xiàng)集及義原集的相關(guān)算法。 本文利用詞匯的語義計(jì)算，從語義和概念層對(duì)文本及鏈接進(jìn)行主題相關(guān)性分析，將基于內(nèi)容評(píng)價(jià)的搜索策略和基于Web鏈接結(jié)構(gòu)的搜索策略相結(jié)合，在對(duì)傳統(tǒng)Page Ran