基于網(wǎng)頁結構聚類的Web信息提取技術研究.pdf

1、Web已經(jīng)成為世界上最大，類型最齊全的海量信息庫。面對不斷增長的網(wǎng)頁數(shù)據(jù)，急需解決的問題是如何獲取其中有價值的信息或者是所感興趣的信息。Web最常用的描述語言是HTML，這種方式呈現(xiàn)的頁面大都是結構化或半結構化，數(shù)據(jù)由數(shù)據(jù)庫提供，網(wǎng)站動態(tài)生成，同一模板的網(wǎng)頁的主題信息提取方式大致相同。針對這種Web頁面的特點，本文提出了一種基于網(wǎng)頁結構聚類的Web信息提取方法，并設計了基于該方法的原型系統(tǒng)。系統(tǒng)能夠將網(wǎng)頁按照結構的相似性分類，并且可以方

2、便快捷的生成同類網(wǎng)頁提取規(guī)則，依靠生成的規(guī)則能準確提取結構相似網(wǎng)頁的信息。系統(tǒng)分為3個模塊:(1)網(wǎng)頁下載模塊，實現(xiàn)高效的網(wǎng)絡爬蟲采集網(wǎng)頁;(2)規(guī)則學習模塊，將網(wǎng)頁聚類，對不同類網(wǎng)頁生成不同提取規(guī)則;(3)信息提取模塊，按照網(wǎng)頁所屬類別使用相應的提取規(guī)則提取網(wǎng)頁信息。
　　 本文首先研究了網(wǎng)頁的結構，并用DOM（DocumentObjectModel）模型將網(wǎng)頁表示成樹形結構?；诰W(wǎng)頁的樹形結構，分析了網(wǎng)頁結構的相似性計算方法

3、。提出了一種改進的基于樹路徑匹配的網(wǎng)頁結構相似度計算方法，并且比較了該算法與樹編輯距離和樹路徑匹配算法的優(yōu)劣。對網(wǎng)頁聚類采用層次聚類算法，在網(wǎng)頁結構相似度的基礎上，對網(wǎng)頁按結構進行歸類。然后，研究網(wǎng)絡爬蟲技術和網(wǎng)頁預處理技術包括網(wǎng)頁DOM模型、網(wǎng)頁清洗、和網(wǎng)頁結構圖形化顯示。最后，研究了提取規(guī)則的表示方法，采用XPath來定位代提取節(jié)點和XSLT來描述提取規(guī)則。
　　 本文以多個動態(tài)網(wǎng)站的網(wǎng)頁作為數(shù)據(jù)集，通過實驗證明了網(wǎng)頁結構聚