基于本體的深度搜索系統(tǒng)關(guān)鍵詞庫的構(gòu)造與研究.pdf

1、DeepWeb是指那些沒有固定的超鏈接,不能被傳統(tǒng)的搜索引擎檢索到,而是由后臺數(shù)據(jù)庫根據(jù)用戶的搜索請求動態(tài)生成的Web頁面;與靜態(tài)Web頁面相比,DeepWeb中存儲的信息具有較高的價值和權(quán)威性。隨著Internet的飛速發(fā)展,DeepWeb中的信息量也在快速地增長。因此,如何有效獲取DeepWeb中的信息資源是大家都在關(guān)注的話題,具有很現(xiàn)實的重要意義。
　　 本文就如何有效獲取DeepWeb中存儲的數(shù)據(jù)信息,提出建立一個基于本

2、體查詢關(guān)鍵詞庫,以實現(xiàn)DeepWeb數(shù)據(jù)信息獲取過程中查詢表單的自動填充,解決DeepWeb信息搜索過程中存在的問題,如由于數(shù)據(jù)異構(gòu)導(dǎo)致不能統(tǒng)一獲取數(shù)據(jù)、通過手工獲取數(shù)據(jù)成本高以及根據(jù)搜索結(jié)果建立的本地數(shù)據(jù)庫不能及時更新等問題。目前電子商務(wù)的發(fā)展已經(jīng)成為DeepWeb發(fā)展的主要驅(qū)動力量,本文以電子商務(wù)網(wǎng)站為例,重點(diǎn)介紹了如何構(gòu)建合適的基于電子商務(wù)領(lǐng)域本體的查詢關(guān)鍵詞庫,如何利用查詢關(guān)鍵詞庫實現(xiàn)電子商務(wù)網(wǎng)站的信息集成,使本地數(shù)據(jù)庫具有實時

3、性、有效性和完整性。
　　 本文的主要工作和創(chuàng)新點(diǎn)包括以下幾點(diǎn):
　　 1、分析目前DeepWeb信息搜索技術(shù),提出構(gòu)建一個基于本體的查詢關(guān)鍵詞庫以實現(xiàn)DeepWeb數(shù)據(jù)集成。獲取DeepWeb數(shù)據(jù)是DeepWeb數(shù)據(jù)集成的首要工作,DeepWeb數(shù)據(jù)需要通過DeepWeb頁面上的用戶查詢接口來獲取,查詢關(guān)鍵詞庫可以對用戶查詢接口自動提供查詢關(guān)鍵詞,實現(xiàn)DeepWeb數(shù)據(jù)獲取過程的自動化。為了獲取更全面更專業(yè)的數(shù)據(jù),要求

4、查詢關(guān)鍵詞庫包含的關(guān)鍵詞是有效而全面的。本體可以將某一領(lǐng)域內(nèi)的所有概念通過語義關(guān)系聯(lián)系起來,根據(jù)本體構(gòu)建的關(guān)鍵詞庫就能夠包含領(lǐng)域內(nèi)所有的概念集合,提高DeepWeb信息搜索的查全率。
　　 2、使用本體構(gòu)造工具Protégé和本體描述語言O(shè)WL半自動地構(gòu)建了電子商務(wù)領(lǐng)域本體。構(gòu)建一個基于本體的查詢關(guān)鍵詞庫,首先需要建立一個完整的、準(zhǔn)確的本體。本文分析目前存在的幾種本體構(gòu)建方法的特點(diǎn),將目標(biāo)本體的構(gòu)建分為本體需求分析、領(lǐng)域知識獲取

5、、本體設(shè)計、本體實現(xiàn)和維護(hù)五個階段。根據(jù)電子商務(wù)網(wǎng)站中的數(shù)據(jù)特征,使用本體構(gòu)造工具Protégé和本體描述語言O(shè)WL半自動化地構(gòu)建了電子商務(wù)領(lǐng)域本體。
　　 3、在UNIX系統(tǒng)環(huán)境下構(gòu)建存儲本體層次關(guān)系的樹形目錄文件,生成初始關(guān)鍵詞庫。本體的存儲有文件存儲和關(guān)系數(shù)據(jù)庫存儲兩種方式。根據(jù)本體中概念的層次結(jié)構(gòu)特點(diǎn)和UNIX系統(tǒng)對于文件系統(tǒng)操作的快捷性以及良好的可移植性和安全性等特點(diǎn),本文采用UNIX環(huán)境下的文件存儲方式。將本體中的概

6、念和概念之間的關(guān)系采取特定的映射方式映射到樹形目錄文件結(jié)構(gòu)中,并通過編碼生成樹形目錄文件結(jié)構(gòu)中的文件夾和文件,形成查詢關(guān)鍵詞庫。
　　 4、對關(guān)鍵詞庫中所對應(yīng)的UNIX屬性文件目錄進(jìn)行遍歷,使用一個特定文件保存關(guān)鍵詞庫中的所有查詢關(guān)鍵詞,通過讀取特定文件中的內(nèi)容來實現(xiàn)詞的自動提取。為了給獲取DeepWeb數(shù)據(jù)提供查詢關(guān)鍵字,需要頻繁的檢索文件和訪問文件,這樣內(nèi)外存之間的信息交換量太大會影響文件檢索效率。針對這個問題,本文通過對庫

7、中所有目錄文件進(jìn)行遍歷,建立一個特定文件,保存關(guān)鍵詞庫中的所有查詢關(guān)鍵詞。信息檢索程序獲取查詢關(guān)鍵詞時只需對這個特定文件進(jìn)行訪問,這樣既提高了檢索的效率又增加了關(guān)鍵詞庫的安全性。
　　 5、通過本體學(xué)習(xí),實現(xiàn)關(guān)鍵詞庫的更新。提交關(guān)鍵詞查詢DeepWeb中存儲的數(shù)據(jù)后,得到包含DeepWeb數(shù)據(jù)的結(jié)果文檔。根據(jù)本體和上下文知識對文檔進(jìn)行本體學(xué)習(xí),經(jīng)過詞法分析、語義識別、本體查詢、本體更新和詞庫更新五個階段,實現(xiàn)關(guān)鍵詞庫的更新,并采