Web信息內(nèi)容變化檢測(cè)技術(shù)研究與實(shí)現(xiàn).pdf

1、當(dāng)前,World Wide Web已經(jīng)成為世界上最大的、類型最齊全的共享信息的載體。在互聯(lián)網(wǎng)為用戶提供豐富、快捷的信息的同時(shí),也造成了信息過載的問題。World WideWeb中的網(wǎng)頁信息量的指數(shù)速度增長給Web信息提取和搜索引擎等應(yīng)用帶來了巨大的壓力?；ヂ?lián)網(wǎng)中的信息變化頻繁,為了實(shí)時(shí)地獲取這些信息,需要對(duì)這些的變化進(jìn)行檢測(cè),并且隨著互聯(lián)網(wǎng)信息以指數(shù)級(jí)形式增長,需要檢測(cè)的數(shù)據(jù)的規(guī)模也隨之增加,這對(duì)網(wǎng)頁變化檢測(cè)算法的效率提出了更高的要求。

2、對(duì)Web信息變化檢測(cè)技術(shù)的研究具有重要意義。
　　 本文使用基于文檔結(jié)構(gòu)樹比較法作為網(wǎng)頁變化檢測(cè)的核心技術(shù),設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于DOM結(jié)構(gòu)的Web信息內(nèi)容變化檢測(cè)方案。整個(gè)方案由檢測(cè)信息定制、網(wǎng)頁變化檢測(cè)和網(wǎng)頁變化可視化三個(gè)部分構(gòu)成。其中本文的關(guān)鍵部分-網(wǎng)頁變化檢測(cè)又包括Web頁面預(yù)處理、Web頁面正文定位、Web頁面編碼和網(wǎng)頁變化比較四個(gè)部分。檢測(cè)信息定制部分是對(duì)需要檢測(cè)的網(wǎng)頁進(jìn)行設(shè)置；Web頁面預(yù)處理過程中采用開源工具Htm

3、lCleaner對(duì)網(wǎng)頁進(jìn)行清洗,并將HTML文檔轉(zhuǎn)化為DOM樹；Web頁面正文定位部分則采用基于文本密度的正文提取方法定位網(wǎng)頁的正文；為了減少網(wǎng)頁的存儲(chǔ)空間和加快后續(xù)的處理速度,Web頁面編碼部分則采用網(wǎng)頁摘要算法對(duì)DOM對(duì)象進(jìn)行編碼,并將編碼所得的數(shù)組對(duì)象和數(shù)組列表對(duì)象存儲(chǔ)于數(shù)據(jù)庫中,作為網(wǎng)頁變化檢測(cè)部分的歷史數(shù)據(jù),同時(shí)根據(jù)可視化顯示歷史網(wǎng)頁的需要,該部分還包含了將PDE集合信息轉(zhuǎn)化為HTML源文檔的功能；網(wǎng)頁變化檢測(cè)部分使用基于歷史