Deep Web頁面結構分析與核心內容提取研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展和廣泛應用，網(wǎng)絡提供給用戶的資源與日俱增。特別是傳統(tǒng)搜索引擎無法搜索到的海量信息資源規(guī)模增長顯著，稱這部分資源為Deep Web。關于Deep Web的研究，是近年來Web數(shù)據(jù)管理方向的研究熱點。
　　在Deep Web數(shù)據(jù)提取方面，很多工作都是對Deep Web頁面數(shù)據(jù)記錄或是數(shù)據(jù)項的研究，如何深入分析Deep Web整個頁面結構的研究以及如何從頁面中定位數(shù)據(jù)記錄所在區(qū)域還很不充分，但是這兩項研究內容對Dee

2、p Web語義標注、Deep Web數(shù)據(jù)提取、Web信息檢索和文本處理具有重要意義。因此，本文主要的研究工作聚焦于任意Deep Web頁面內容結構的提取和Deep Web查詢結果頁面核心內容域的提取。主要研究及成果如下：
　　第一：Deep Web頁面的標簽特征和視覺特征
　　本文通過分析大量的Deep Web頁面發(fā)現(xiàn)，Deep Web頁面具有標簽和視覺兩方面的特征。從這兩個方面入手，提出了一種結合標簽信息和視覺信息分析頁面

3、的方法，該方法從客觀和主觀兩方面分析了Deep Web頁面的特征。采用樹型的結構來表述頁面的標簽信息和視覺信息，分別使用Tag-Tree表示頁面的標簽信息，使用Visual-AttributeTree表示頁面的視覺信息。采用標簽特征和視覺特征相結合的方法的準確性優(yōu)于只依賴于其中一種特征的方法。
　　第二：Deep Web頁面內容結構的提取
　　本文采用樹型結構來表示頁面的內容結構，將這棵樹取名為Visual-Block-Tr

4、ee。樹中的根節(jié)點代表整個頁面，樹中的每個塊對應著頁面中的一個矩形區(qū)域，樹中的葉子塊表示頁面中不可再分部分。本文通過噪聲過濾和視覺塊聚類兩個階段實現(xiàn)頁面內容結構的提取。提出了相似性聚類算法TVS算法，實驗表明該算法能很好地提取頁面的內容結構。
　　第三：Deep Web查詢結果頁面核心內容域(rich-contentarea)的提取
　　本文使用相似性計算算法-TVS算法計算得到同一Web數(shù)據(jù)庫的查詢頁面和查詢結果頁面Vis