基于語義理解和動態(tài)網(wǎng)頁的主題爬行研究.pdf

1、隨著互聯(lián)網(wǎng)行業(yè)如火如荼的發(fā)展，WWW信息資源得到蓬勃的增長，近年來人們越來越關(guān)注搜索引擎的研究工作，傳統(tǒng)的基于關(guān)鍵字的搜索策略在目前已經(jīng)發(fā)展得相當(dāng)成熟，為了適應(yīng)WWW飛速發(fā)展的步伐，主題爬行技術(shù)、基于語義理解的搜索策略和從Web數(shù)據(jù)庫基礎(chǔ)上發(fā)展起來的動態(tài)網(wǎng)頁數(shù)據(jù)獲取技術(shù)受到廣大學(xué)者的關(guān)注，并已經(jīng)在國內(nèi)外展開了廣泛的研究，取得了一定的研究成果。
　　 本文的目的是通過對主題爬行相關(guān)技術(shù)、用戶查詢關(guān)鍵詞的語義擴(kuò)展、動態(tài)網(wǎng)頁DeepW

2、eb數(shù)據(jù)獲取關(guān)鍵技術(shù)這三個(gè)方面的具體研究，從搜索精度和搜索深度上考慮，提高傳統(tǒng)搜索引擎的查全率和查準(zhǔn)率，提出基于語義理解和動態(tài)網(wǎng)頁的主題爬行模型，該模型面向旅游領(lǐng)域，主要分為三大功能模塊：用戶查
　　 詢關(guān)鍵詞的語義擴(kuò)展模塊、動態(tài)網(wǎng)頁DeepWeb數(shù)據(jù)獲取模塊、結(jié)果頁面排序模塊。本文的主要研究工作：
　　 1.主題相關(guān)性算法研究，在對通用網(wǎng)絡(luò)爬蟲和主題爬蟲的基本原理的研究基礎(chǔ)上，重點(diǎn)研究了基于向量空間模型的各種主題相關(guān)性

3、算法，并在PageRank算法基礎(chǔ)上提出了面向主題的T-PageRank算法。
　　 2.領(lǐng)域本體知識庫的構(gòu)建，本文指出領(lǐng)域本體知識庫的構(gòu)建原理和基本步驟，并初步構(gòu)建旅游領(lǐng)域本體知識庫，為用戶查詢關(guān)鍵詞的語義擴(kuò)展和動態(tài)網(wǎng)頁DeepWeb數(shù)據(jù)獲取提供了基礎(chǔ)。
　　 3.用戶查詢關(guān)鍵詞的語義擴(kuò)展，通過對基于關(guān)鍵詞的查詢接口中用戶輸入的查詢關(guān)鍵詞進(jìn)行本體解析，并在旅游領(lǐng)域本體知識庫的基礎(chǔ)上進(jìn)行語義擴(kuò)展，獲得更充分理解用戶查詢需

4、求的擴(kuò)展查詢關(guān)鍵詞。
　　 4.動態(tài)網(wǎng)頁DeepWeb數(shù)據(jù)獲取關(guān)鍵技術(shù)，指出動態(tài)網(wǎng)頁數(shù)據(jù)獲取的基本流程，并重點(diǎn)研究動態(tài)網(wǎng)頁DeepWeb數(shù)據(jù)獲取關(guān)鍵技術(shù)：DeepWeb查詢接口form表單的發(fā)現(xiàn)技術(shù)、動態(tài)網(wǎng)頁數(shù)據(jù)源的選擇技術(shù)、動態(tài)網(wǎng)頁DeepWeb查詢接口模式抽取技術(shù)和查詢結(jié)果頁面信息抽取技術(shù)。
　　 5.基于語義理解和動態(tài)網(wǎng)頁的主題爬行模型，該模型結(jié)合主題爬蟲、語義理解、動態(tài)網(wǎng)頁三大技術(shù)的優(yōu)勢：通過對用戶查詢關(guān)鍵詞的語