面向分布式數(shù)據(jù)源的語義垂直搜索系統(tǒng)研究與實現(xiàn).pdf

1、近年來,隨著Internet技術(shù)的高速發(fā)展,Web信息爆炸性增長,互聯(lián)網(wǎng)已成為海量數(shù)據(jù)空間。人們從這些海量數(shù)據(jù)中得到自己需要的信息變的越來越困難,此時搜索技術(shù)變的尤為重要。隨著搜索引擎技術(shù)的高速發(fā)展,通用搜索引擎的功能變的日益強大,這使得通用搜索引擎的結(jié)構(gòu)也日益復雜,擁有龐大的索引數(shù)據(jù)和十分寬泛的主題,并且主題與主題之間無分類。而且通用搜索的搜索深度不夠,查準率較低,時效性較差等這些局限性決定了通用搜索并不能滿足特定用戶的需求。由于人們

2、對特定領(lǐng)域、特殊行業(yè)的個性化需求,人們迫切需要更有針對性、更具搜索深度的搜索引擎,在這種情況下,面向特定領(lǐng)域的垂直搜索技術(shù)應運而生。目前已有很多垂直搜索引擎,如生活搜索酷訊、旅游搜索去哪兒網(wǎng)等,但這些垂直搜索引擎仍采用基于關(guān)鍵詞的搜索方式,無法滿足用戶語義級別的檢索要求。
　　為了研究和實現(xiàn)語義層面的垂直搜索,提高檢索質(zhì)量,依據(jù)課題背景和課題來源,本文主要研究分布式環(huán)境下語義垂直搜索技術(shù)和系統(tǒng)實現(xiàn)。主要包括研究領(lǐng)域本體的構(gòu)建,基于

3、領(lǐng)域本體的語義查詢擴展方法,基于DOM樹的信息抽取,采用最新索引Lucene4.x等技術(shù)實現(xiàn)語義級別的垂直搜索,并做出實驗數(shù)據(jù)分析。本文研究和完成的主要工作有:
　　(1)通過計算機安全領(lǐng)域信息的采集、過濾、歸類等處理構(gòu)建面向計算機安全領(lǐng)域的領(lǐng)域本體,由于計算機安全領(lǐng)域涉及廣泛,出于時間上的考慮,本文針對計算機安全領(lǐng)域狹窄范圍進行本體的構(gòu)建。并對各類的屬性和類之間的關(guān)系進行定義描述,實現(xiàn)計算機安全領(lǐng)域知識的表示和信息組織。

4、　　(2)根據(jù)計算機安全領(lǐng)域獨有的特點,使用基于規(guī)則的DOM樹的信息抽取技術(shù)初步實現(xiàn)對計算機安全領(lǐng)域的相關(guān)信息的自動抽取,為將來本體的編輯和維護打下基礎。
　　(3)對本體中的實例、概念、對象屬性、數(shù)據(jù)屬性以及類與類之間的關(guān)系構(gòu)建索引,利用索引完成對用戶的查詢請求的語義分析和語義擴展,實現(xiàn)語義級別的信息檢索。
　　(4)根據(jù)某所提供的語義詞典和關(guān)系范疇構(gòu)建概念詞語層次體系,為語義查詢擴展打下基礎。
　　本文設計并實現(xiàn)了